Understanding Auto Regressive Moving Average Model – ARIMA

In my article “How Do I Predict Time Series?”, I provided an overview of time series analysis. Core of the article focused on the concept that future values in a time series are dependent on its past values.

This article serves as an overview of a powerful yet simple model known as ARIMA. Additionally it provides a comparison of two models: GARCH and EWMA. Both models assume that the recent events have higher precedence than former events. This model is important in data science and neural networks.

Please read FinTechExplained disclaimer.

ARIMA stands for Auto Regressive Integrated Moving Average. ARIMA is a simple stochastic time series model that we can use to train and then forecast future time points.

ARIMA can capture complex relationships as it takes error terms and observations of lagged terms. These models rely on regressing a variable on past values.

ARIMA is Auto Regressive — (AR)

Auto Regressive (AR) property of ARIMA is referred to as P.

Past time points of time series data can impact current and future time points. ARIMA models take this concept into account when forecasting current and future values. ARIMA uses a number of lagged observations of time series to forecast observations. Op elk van de vertraagde termen wordt een gewicht toegepast en de gewichten kunnen variëren naar gelang van hoe recent ze zijn.

AR(x) betekent dat x vertraagde fouttermen in het ARIMA-model worden gebruikt.

ARIMA berust op auto-regressie. Autoregressie is een proces van regressie van een variabele op vroegere waarden van zichzelf. Autocorrelaties nemen geleidelijk af en schatten de mate waarin witte ruis een reeks gegevens kenmerkt.

ARIMA is Geïntegreerd – (I)

Als er een trend bestaat dan wordt een tijdreeks als niet stationair beschouwd en vertoont deze seizoensgebondenheid. Geïntegreerd is een eigenschap die de seizoensgebondenheid uit een tijdreeks vermindert. ARIMA-modellen hebben een zekere mate van differencing die seizoensinvloeden elimineert. Meer informatie over differentiëren wordt gegeven in mijn artikel “Hoe voorspel ik tijdreeksen?”.

D eigenschap van ARIMA staat voor de mate van differentiëren.

ARIMA is Moving Average – (MA)

Fouttermen van eerdere tijdpunten worden gebruikt om de huidige en toekomstige puntwaarnemingen te voorspellen. Bewegend gemiddelde (MA) verwijdert niet-determinisme of willekeurige bewegingen uit een tijdreeks. De eigenschap Q vertegenwoordigt het voortschrijdend gemiddelde in ARIMA. Zij wordt uitgedrukt als MA(x) waarbij x staat voor eerdere waarnemingen die worden gebruikt om de huidige waarneming te berekenen.

Modellen voor voortschrijdend gemiddelde hebben een vast venster en de gewichten zijn relatief ten opzichte van de tijd. Dit betekent dat MA-modellen beter reageren op actuele gebeurtenissen en volatieler zijn.

P (auto-regressief), D (geïntegreerd) en Q (voortschrijdend gemiddelde) zijn de drie eigenschappen van het ARIMA-model

Coefficiënten worden recursief berekend. Het model wordt zo gekozen dat de geschatte resultaten die uit het model worden berekend, dichter bij de werkelijke waargenomen waarden liggen. Dit proces is iteratief van aard.

EWMA Vs GARCH

In dit deel wil ik twee hoofdmodellen belichten: EWMA en GARCH. EWMA- en GARCH-modellen draaien om het concept van modelpersistentie.

Modelpersistentie beschrijft de snelheid waarmee de waarneming na een grote beweging terugkeert naar haar langetermijnwaarde. Als we volatiliteit waarnemen, betekent een hoge persistentie dat bij een schokkende marktbeweging de volatiliteit er langer over doet om naar het gemiddelde terug te keren.

Persistentie van betrouwbare modellen moet lager zijn dan 1.

Persistentie groter dan 1 betekent dat het model niet stabiel is en dat er geen terugkeer naar het gemiddelde is.

EWMA is Exponentieel gewogen voortschrijdend gemiddelde

EWMA is een voortschrijdend gemiddelde (MA)-model. Het voorspelt de variantie in tijdreeksgegevens door het gewogen gemiddelde te nemen van de geschatte variantie van de vorige dag en het rendement van de vorige dag. EWMA maakt dus gebruik van een lineair regressiemodel van de huidige waarden van tijdreeksen tegen zowel de huidige als de vorige niet-waargenomen willekeurige schokken. Deze willekeurige schokken zijn bekende witte ruis foutentermen.

Het model gaat ervan uit dat toekomstige voorspellingen een functie zijn van historische gebeurtenissen. Het gaat er echter ook van uit dat recente gebeurtenissen een hogere rangorde hebben dan vroegere gebeurtenissen.

EWMA past gewichten toe op het vorige en het laatste rendement (bekend als innovatie), zodanig dat de recente waarnemingen zwaarder worden gewogen. De gewichten nemen exponentieel af naarmate de tijd verstrijkt. De gewichten tellen op tot 1. De gewichten worden zo toegekend dat de laatste waarnemingen zwaarder wegen dan de oudere.

Dit is de reden waarom het model bekend staat als Exponentially Weighted Moving Average (EWMA) forecasting model.

Op een hoog niveau kan het recursieve EWMA-model worden geschreven als:

Variabele onder waarneming = Huidige schok + Laatste schok x Gewicht van laatste schok voor EWMA(1)-model

Autocorrelatie wordt berekend als: Coefficient for lagged random shock / (1 + Coefficient for lagged random shock)

This formula ensures that the weight is smaller for distant observations when compared to recent observations to indicate that recent observations have more importance.

GARCH -Generalised Autoregressive Conditional Hetroskedastic model

GARCH is an alternative method for calculating conditional variance (co variance). The model assumes that the return at time (t) has a particular distribution and the standard deviation of the distribution is indexed by time.

GARCH assumes that the latest return of the stock is dependent on the previous return. De variantie is dus voorwaardelijk voor de vorige rendementen.

GARCH is een functie van drie termen:

1. Lange-termijnvariantie
2. kwadraat van laatste rendement
3. Vorige variantie

Op elk van de termen wordt een gewicht toegepast. Deze termen staan bekend als GAMMA, ALPHA en BETA. De formule om de voorwaardelijke variantie onder GARCH te berekenen is:

(Gamma x Lange Termijn Variantie) + (Alpha x Kwadraat van Laatste Rendement) + (Beta x Vorige Variantie)

De basisregel van GARCH is dat Gamma + Alpha + Beta tot 1 moeten optellen. GAMMA, ALPHA en BETA worden zo berekend dat de geschatte en de werkelijke waargenomen waarden zo dicht mogelijk bij elkaar liggen.

Lange termijn gemiddeldeovariantie wordt dan berekend als = (Gamma)/(1-Alpha-Beta)

Lange termijn variantie zegt ons iets over de mate waarin de gegevens aan een waarde vasthouden. 1% betekent bijvoorbeeld dat de gegevens naar 1 toe bewegen naarmate de tijd verstrijkt. In wezen wordt een gewicht toegekend aan de gemiddelde schatting van de variantie op lange termijn, hetgeen impliceert dat het model de “mean reverting”-eigenschap van de volatiliteit erkent, die hierboven ook is uitgelegd als modelpersistentie. Bèta is de vervalsnelheid en deze is exponentieel.

EWMA overeenkomsten met GARCH

We kunnen zien dat EWMA een speciaal geval is van GARCH omdat Gamma x Lange Termijn Variantie op 0 is gezet in EWMA. Dit dwingt ALPHA en BETA tot 1 op te tellen omdat we in EWMA alleen rekening houden met het vorige rendement in het kwadraat en de vorige variantie.

Het heeft permanente persistentie en de voorspellingen op langere termijn zijn daarom verschillend tussen GARCH en EWMA modellen.

Ten slotte wil ik uitleggen waarom men GARCH boven EWMA zou verkiezen.

Wanneer moeten we GARCH boven EWMA gebruiken?

GAMMA en lange-termijnvariantie van GARCH-modellen helpen bij het beter verklaren van historische volatiliteit.

GARCH-modellen zijn goed in het modelleren van volatiliteitsclustering. Volatiliteitsclustering is het concept dat aangeeft dat een hoge volatiliteitsperiode de neiging heeft te worden gevolgd door perioden van hoge volatiliteit.

Wanneer moeten we EWMA boven GARCH gebruiken?

Als we zien dat in het GARCH-model alpha + beta > 1 zijn, dan moeten we het EWMA-model gebruiken omdat het dan stabieler is dan GARCH.

Houd in gedachten dat alpha + beta bekend staat als persistentie en persistentie is altijd lager dan 1 voor een stabiel model.

ARIMA Veronderstellingen

ARIMA-model is gebaseerd op een aantal veronderstellingen, waaronder:

• Data does not contain anomalies
• Model parameters and error term is constant
• Historic timepoints dictate behaviour of present timepoints which might not hold in stressed market data conditions
• Time series is stationary

Summary

This article provided an overview of ARIMA and highlighted main differences between EWMA and GARCH. These models can be used to forecast time series.

Hope it helps. Please let me know if you have any feedback.