Understanding Auto Regressive Moving Average Model – ARIMA

In my article „How Do I Predict Time Series?”, I provided an overview of time series analysis. Core of the article focused on the concept that future values in a time series are dependent on its past values.

This article serves as an overview of a powerful yet simple model known as ARIMA. Additionally it provides a comparison of two models: GARCH and EWMA. Both models assume that the recent events have higher precedence than former events. This model is important in data science and neural networks.

Please read FinTechExplained disclaimer.

ARIMA stands for Auto Regressive Integrated Moving Average. ARIMA is a simple stochastic time series model that we can use to train and then forecast future time points.

ARIMA can capture complex relationships as it takes error terms and observations of lagged terms. These models rely on regressing a variable on past values.

ARIMA is Auto Regressive — (AR)

Auto Regressive (AR) property of ARIMA is referred to as P.

Past time points of time series data can impact current and future time points. ARIMA models take this concept into account when forecasting current and future values. ARIMA uses a number of lagged observations of time series to forecast observations. Fiecărui termen trecut i se aplică o pondere, iar ponderile pot varia în funcție de cât de recente sunt.

AR(x) înseamnă că x termeni de eroare decalată vor fi utilizați în modelul ARIMA.

ARIMA se bazează pe AutoRegresie. Autoregresia este un proces de regresie a unei variabile pe valorile sale anterioare. Autocorelațiile se diminuează treptat și estimează gradul în care zgomotul alb caracterizează o serie de date.

ARIMA este integrat – (I)

Dacă există o tendință, atunci seria de timp este considerată nestaționară și prezintă sezonalitate. Integrat este o proprietate care reduce sezonalitatea dintr-o serie de timp. Modelele ARIMA au un grad de diferențiere care elimină sezonalitatea. Mai multe informații despre diferențiere sunt prezentate în articolul meu „How Do I Predict Time Series?”.

Proprietatea D a modelului ARIMA reprezintă gradul de diferențiere.

ARIMA este Moving Average – (MA)

Termenii de eroare ai punctelor de timp anterioare sunt utilizați pentru a prezice observația punctului curent și a punctului viitor. Media mobilă (MA) înlătură nedeterminismul sau mișcările aleatorii dintr-o serie de timp. Proprietatea Q reprezintă Media mobilă în ARIMA. Se exprimă ca MA(x), unde x reprezintă observațiile anterioare care sunt utilizate pentru a calcula observația curentă.

Modelele de medie mobilă au o fereastră fixă, iar ponderile sunt relative la timp. Acest lucru implică faptul că modelele MA sunt mai receptive la evenimentul curent și sunt mai volatile.

P (autoregresiv), D (integrat) și Q (medie mobilă) sunt cele trei proprietăți ale modelului ARIMA

Ceficienții sunt calculați recursiv. Modelul este ales astfel încât rezultatele estimate calculate din model să fie mai apropiate de valorile reale observate. Acest proces este de natură iterativă.

EWMA Vs GARCH

În această secțiune, am dorit să evidențiez două modele principale: EWMA și GARCH. Modelele EWMA și GARCH se învârt în jurul conceptului de persistență a modelului.

Persistența modelului descrie rata la care observația va reveni la valoarea sa pe termen lung în urma unei mișcări mari. Dacă observăm volatilitatea, atunci o persistență ridicată înseamnă că, dacă există o mișcare de șoc pe piață, atunci volatilitatea va avea nevoie de mai mult timp pentru a reveni la medie.

Persistența modelelor fiabile ar trebui să fie mai mică de 1.

Persistența mai mare de 1 înseamnă că modelul nu este stabil și că nu există o revenire la medie.

EWMA este media mobilă ponderată exponențial

EWMA este un model de medie mobilă (MA). Acesta prognozează varianța în seriile de date temporale prin luarea mediei ponderate a varianței estimate în ziua precedentă și a randamentului din ziua precedentă. Prin urmare, EWMA utilizează un model de regresie liniară a valorilor actuale ale seriilor de timp în raport cu șocurile aleatorii neobservate actuale și anterioare. Aceste șocuri aleatorii sunt cunoscuți ca termeni de eroare de zgomot alb.

Modelul presupune că previziunile viitoare sunt o funcție a evenimentelor istorice. Cu toate acestea, acesta presupune, de asemenea, că evenimentele recente au o precedență mai mare decât evenimentele anterioare.

EWMA aplică ponderi la randamentele anterioare și la cele mai recente (cunoscute sub numele de inovație), astfel încât observațiile recente sunt ponderate puternic. Ponderile scad cu o rată exponențială pe măsură ce timpul se deplasează înapoi. Ponderile se însumează la 1. Ponderile sunt atribuite astfel încât să se considere că cele mai recente observații au o importanță mai mare decât observațiile mai vechi.

Acesta este motivul pentru care modelul este cunoscut sub numele de model de prognoză Exponențial Weighted Moving Average (EWMA).

La un nivel înalt, modelul recursiv EWMA poate fi scris ca:

Variabila sub observație = Șocul curent + Ultimul șoc x Ponderea ultimului șoc pentru modelul EWMA(1)

Autocorelația este calculată ca: Coefficient for lagged random shock / (1 + Coefficient for lagged random shock)

This formula ensures that the weight is smaller for distant observations when compared to recent observations to indicate that recent observations have more importance.

GARCH -Generalised Autoregressive Conditional Hetroskedastic model

GARCH is an alternative method for calculating conditional variance (co variance). The model assumes that the return at time (t) has a particular distribution and the standard deviation of the distribution is indexed by time.

GARCH assumes that the latest return of the stock is dependent on the previous return. Prin urmare, varianța este condiționată de randamentele anterioare.

GARCH este o funcție de trei termeni:

2. Varianța pe termen lung
3. Square of the Last Return
5. Previous Variance

Se aplică o pondere pentru fiecare dintre termeni. Acești termeni sunt cunoscuți sub numele de GAMMA, ALPHA și BETA. Formula de calcul al varianței condiționate în cadrul GARCH este:

(Gamma x Varianța pe termen lung) + (Alpha x Pătratul ultimei rentabilități) + (Beta x Varianța anterioară)

Regula fundamentală a GARCH este că Gamma + Alpha + Beta ar trebui să însumeze 1. GAMMA, ALPHA și BETA se calculează astfel încât valorile estimate și valorile reale observate să fie cât mai apropiate posibil.

Rata medie de covarianță pe termen lung se calculează apoi ca = (Gamma)/(1-Alfa-Beta)

Varianța pe termen lung ne vorbește despre „aderența datelor” la o valoare, de exemplu, 1% înseamnă că datele se vor îndrepta spre 1 pe măsură ce timpul avansează. În esență, atribuie o pondere estimării medii a varianței pe termen lung, ceea ce implică faptul că modelul recunoaște caracteristica de revenire la medie a volatilității, care este, de asemenea, explicată mai sus ca fiind persistența modelului. Beta reprezintă rata de dezintegrare și este exponențială.

Similitudini ale EWMA cu GARCH

Puteți vedea că EWMA este un caz special de GARCH deoarece Gamma x Long Term Variance este setată la 0 în EWMA. Acest lucru impune ca ALPHA și BETA să se adune la 1, deoarece luăm în considerare doar randamentul anterior la pătrat și varianța anterioară în EWMA.

Aceasta are o persistență permanentă și, prin urmare, previziunile pe termen lung sunt diferite între modelele GARCH și EWMA.

În cele din urmă, am vrut să explic de ce s-ar alege GARCH în detrimentul EWMA.

Când ar trebui să folosim GARCH în detrimentul EWMA?

GAMMA și rata de varianță pe termen lung a modelelor GARCH ajută la explicarea mai bună a volatilității istorice.

Modelele GARCH sunt bune la modelarea grupării volatilității. Gruparea volatilității este conceptul care indică faptul că o perioadă de volatilitate ridicată tinde să fie urmată de perioade de volatilitate ridicată.

Când ar trebui să folosim EWMA în locul GARCH?

Dacă observăm că în modelul GARCH, alfa + beta > 1 atunci trebuie să folosim modelul EWMA pentru că atunci este mai stabil decât GARCH.

Amintiți-vă că alfa + beta este cunoscut sub numele de persistență, iar persistența este întotdeauna mai mică decât 1 pentru un model stabil.

IpotezeARIMA

ModelulARIMA se bazează pe o serie de ipoteze, printre care:

• Data does not contain anomalies
• Model parameters and error term is constant
• Historic timepoints dictate behaviour of present timepoints which might not hold in stressed market data conditions
• Time series is stationary

Summary

This article provided an overview of ARIMA and highlighted main differences between EWMA and GARCH. These models can be used to forecast time series.

Hope it helps. Please let me know if you have any feedback.