Understanding Auto Regressive Moving Average Model – ARIMA

In my article „How Do I Predict Time Series?”, I provided an overview of time series analysis. Core of the article focused on the concept that future values in a time series are dependent on its past values.

This article serves as an overview of a powerful yet simple model known as ARIMA. Additionally it provides a comparison of two models: GARCH and EWMA. Both models assume that the recent events have higher precedence than former events. This model is important in data science and neural networks.

Please read FinTechExplained disclaimer.

ARIMA stands for Auto Regressive Integrated Moving Average. ARIMA is a simple stochastic time series model that we can use to train and then forecast future time points.

ARIMA can capture complex relationships as it takes error terms and observations of lagged terms. These models rely on regressing a variable on past values.

ARIMA is Auto Regressive — (AR)

Auto Regressive (AR) property of ARIMA is referred to as P.

Past time points of time series data can impact current and future time points. ARIMA models take this concept into account when forecasting current and future values. ARIMA uses a number of lagged observations of time series to forecast observations. Waga jest stosowana do każdego z przeszłych terminów, a wagi mogą się różnić w zależności od tego, jak niedawne one są.

AR(x) oznacza, że x opóźnionych terminów błędu będzie używanych w modelu ARIMA.

ARIMA opiera się na autoregresji. Autoregresja jest procesem polegającym na regresji zmiennej na przeszłych wartościach samej siebie. Autokorelacje stopniowo zanikają i szacują stopień, w jakim biały szum charakteryzuje serię danych.

ARIMA jest zintegrowana – (I)

Jeśli istnieje trend, wtedy seria czasowa jest uważana za niestacjonarną i wykazuje sezonowość. Zintegrowana jest właściwością, która redukuje sezonowość z szeregu czasowego. Modele ARIMA mają pewien stopień dyferencjacji, który eliminuje sezonowość. Więcej informacji na temat różnicowania znajduje się w moim artykule „Jak przewidywać szeregi czasowe?”.

Właściwość D modelu ARIMA reprezentuje stopień różnicowania.

ARIMA jest średnią kroczącą (MA)

Wskaźniki błędu poprzednich punktów czasowych są używane do przewidywania obserwacji bieżącego i przyszłego punktu. Średnia krocząca (MA) usuwa niedeterminizm lub przypadkowe ruchy z szeregu czasowego. Właściwość Q reprezentuje średnią ruchomą w ARIMA. Jest ona wyrażona jako MA(x), gdzie x reprezentuje poprzednie obserwacje, które są używane do obliczenia bieżącej obserwacji.

Modele średniej kroczącej mają stałe okno, a wagi są względne w stosunku do czasu. Oznacza to, że modele MA są bardziej wrażliwe na bieżące wydarzenia i są bardziej zmienne.

P (AutoRegressive), D (Integrated) i Q (Moving Average) to trzy właściwości modelu ARIMA

Współczynniki są obliczane rekurencyjnie. Model jest wybierany w taki sposób, aby szacunkowe wyniki obliczone z modelu były bliższe rzeczywistym wartościom obserwowanym. Proces ten ma charakter iteracyjny.

EWMA Vs GARCH

W tej sekcji chciałem zwrócić uwagę na dwa główne modele: EWMA i GARCH. Modele EWMA i GARCH obracają się wokół koncepcji trwałości modelu.

Trwałość modelu opisuje tempo, w jakim obserwacja powróci do swojej długoterminowej wartości po dużym ruchu. Jeśli obserwujemy zmienność, wysoka trwałość oznacza, że jeśli na rynku wystąpi szokowy ruch, zmienność będzie potrzebowała więcej czasu, aby powrócić do średniej.

Trwałość wiarygodnych modeli powinna być mniejsza niż 1.

Trwałość większa niż 1 oznacza, że model nie jest stabilny i nie ma odwrócenia do średniej.

EWMA jest wykładniczo ważoną średnią kroczącą

EWMA jest modelem średniej kroczącej (MA). Prognozuje on wariancję w danych szeregu czasowego, biorąc średnią ważoną szacowanej wariancji z poprzedniego dnia i zwrotu z poprzedniego dnia. Stąd EWMA wykorzystuje model regresji liniowej bieżących wartości szeregu czasowego względem bieżących i poprzednich nieobserwowanych szoków losowych. Te przypadkowe wstrząsy są znanymi warunkami błędu białego szumu.

Model zakłada, że przyszłe prognozy są funkcją zdarzeń historycznych. Jednak zakłada również, że ostatnie wydarzenia mają wyższy priorytet niż wcześniejsze wydarzenia.

EWMA stosuje wagi do poprzednich i najnowszych zwrotów (znanych jako innowacje) w taki sposób, że ostatnie obserwacje są ważone silniej. Wagi zmniejszają się w tempie wykładniczym w miarę cofania się w czasie. Wagi sumują się do 1. Wagi są przypisane w taki sposób, aby uznać, że najnowsze obserwacje mają większe znaczenie niż starsze obserwacje.

Jest to powód, dla którego model jest znany jako model prognozowania EWMA (Exponentially Weighted Moving Average).

Na wysokim poziomie, rekurencyjny model EWMA można zapisać jako:

Zmienna pod obserwacją = Bieżący wstrząs + Ostatni wstrząs x Waga ostatniego wstrząsu dla modelu EWMA(1)

Autokorelacja jest obliczana jako: Coefficient for lagged random shock / (1 + Coefficient for lagged random shock)

This formula ensures that the weight is smaller for distant observations when compared to recent observations to indicate that recent observations have more importance.

GARCH -Generalised Autoregressive Conditional Hetroskedastic model

GARCH is an alternative method for calculating conditional variance (co variance). The model assumes that the return at time (t) has a particular distribution and the standard deviation of the distribution is indexed by time.

GARCH assumes that the latest return of the stock is dependent on the previous return. Stąd wariancja jest warunkowa w stosunku do poprzednich zwrotów.

GARCH jest funkcją trzech terminów:

1. Długoterminowa wariancja
2. Kwadrat ostatniego zwrotu
3. Poprzednia wariancja

Do każdego z terminów stosuje się wagę. Terminy te znane są jako GAMMA, ALPHA i BETA. Wzór na obliczenie wariancji warunkowej w ramach GARCH to:

(Gamma x Zmienność długoterminowa) + (Alfa x Kwadrat ostatniego zwrotu) + (Beta x Poprzednia zmienność)

Podstawową zasadą GARCH jest to, że Gamma + Alfa + Beta powinny sumować się do 1. GAMMA, ALPHA i BETA są obliczane w taki sposób, aby wartości szacunkowe i rzeczywiste wartości obserwowane były jak najbardziej zbliżone.

Długoterminowy średni współczynnik kowariancji oblicza się jako = (Gamma)/(1-Alfa-Beta)

Długoterminowa wariancja mówi nam o „lepkości” danych do danej wartości, np. 1% oznacza, że dane będą zmierzać w kierunku 1 w miarę upływu czasu. Jest to zasadniczo przypisanie wagi do średniej estymaty wariancji długookresowej, co oznacza, że model rozpoznaje charakterystykę mean reverting zmienności, która jest również wyjaśniona powyżej jako uporczywość modelu. Beta to współczynnik rozkładu i jest on wykładniczy.

Podobieństwa EWMA z GARCH

Możemy zauważyć, że EWMA jest szczególnym przypadkiem GARCH, ponieważ Gamma x Long Term Variance jest ustawiona na 0 w EWMA. To wymusza, aby ALPHA i BETA dodawały się do 1, ponieważ w EWMA bierzemy pod uwagę tylko poprzedni kwadrat zwrotu i poprzednią wariancję.

Model ten ma stałą trwałość i dlatego prognozy długoterminowe różnią się między modelami GARCH i EWMA.

Na koniec chciałem wyjaśnić, dlaczego warto wybrać GARCH zamiast EWMA.

Kiedy powinniśmy używać GARCH zamiast EWMA?

GAMMA i wskaźnik wariancji długoterminowej modeli GARCH pomagają lepiej wyjaśnić historyczną zmienność.

Modele GARCH są dobre w modelowaniu klasteryzacji zmienności. Klasteryzacja zmienności jest koncepcją, która wskazuje, że po okresach wysokiej zmienności następują okresy wysokiej zmienności.

Kiedy powinniśmy używać EWMA zamiast GARCH?

Jeśli zauważymy, że w modelu GARCH, alfa + beta > 1 to musimy użyć modelu EWMA, ponieważ jest on wtedy bardziej stabilny niż GARCH.

Pamiętajmy, że alfa + beta jest znana jako trwałość, a trwałość jest zawsze niższa niż 1 dla stabilnego modelu.

Założenia modeluARIMA

ModelARIMA opiera się na kilku założeniach, w tym:

• Data does not contain anomalies
• Model parameters and error term is constant
• Historic timepoints dictate behaviour of present timepoints which might not hold in stressed market data conditions
• Time series is stationary

Summary

This article provided an overview of ARIMA and highlighted main differences between EWMA and GARCH. These models can be used to forecast time series.

Hope it helps. Please let me know if you have any feedback.