Understanding Auto Regressive Moving Average Model – ARIMA

In my article ”How Do I Predict Time Series?”, I provided an overview of time series analysis. Core of the article focused on the concept that future values in a time series are dependent on its past values.

This article serves as an overview of a powerful yet simple model known as ARIMA. Additionally it provides a comparison of two models: GARCH and EWMA. Both models assume that the recent events have higher precedence than former events. This model is important in data science and neural networks.

Please read FinTechExplained disclaimer.

ARIMA stands for Auto Regressive Integrated Moving Average. ARIMA is a simple stochastic time series model that we can use to train and then forecast future time points.

ARIMA can capture complex relationships as it takes error terms and observations of lagged terms. These models rely on regressing a variable on past values.

ARIMA is Auto Regressive — (AR)

Auto Regressive (AR) property of ARIMA is referred to as P.

Past time points of time series data can impact current and future time points. ARIMA models take this concept into account when forecasting current and future values. ARIMA uses a number of lagged observations of time series to forecast observations. En vikt tillämpas på var och en av de tidigare termerna och vikterna kan variera beroende på hur aktuella de är.

AR(x) innebär att x fördröjda feltermer kommer att användas i ARIMA-modellen.

ARIMA bygger på AutoRegression. Autoregression är en process där en variabel regresseras på tidigare värden av sig själv. Autokorrelationer avtar gradvis och uppskattar i vilken grad vitt brus karaktäriserar en dataserie.

ARIMA är integrerad – (I)

Om det finns en trend anses tidsserien vara icke-stationär och uppvisar säsongsvariationer. Integrerad är en egenskap som minskar säsongsvariationen från en tidsserie. ARIMA-modeller har en grad av differentiering som eliminerar säsongsvariationer. Mer information om differentiering finns i min artikel ”How Do I Predict Time Series?”.

D-egenskapen hos ARIMA representerar graden av differentiering.

ARIMA är Moving Average – (MA)

Feltermer för tidigare tidpunkter används för att förutsäga nuvarande och framtida punkts observation. Moving average (MA) tar bort icke-determinism eller slumpmässiga rörelser från en tidsserie. Egenskapen Q representerar Moving Average i ARIMA. Den uttrycks som MA(x) där x representerar tidigare observationer som används för att beräkna aktuell observation.

Moving average-modeller har ett fast fönster och vikterna är relativa till tiden. Detta innebär att MA-modellerna reagerar mer på aktuella händelser och är mer volatila.

P (AutoRegressive), D (Integrated) och Q (Moving Average) är de tre egenskaperna hos ARIMA-modellen

Koefficienterna beräknas rekursivt. Modellen väljs så att de uppskattade resultaten som beräknas från modellen ligger närmare de faktiska observerade värdena. Denna process är iterativ till sin natur.

EWMA Vs GARCH

I det här avsnittet ville jag lyfta fram två huvudmodeller: EWMA och GARCH. EWMA- och GARCH-modellerna kretsar kring begreppet modellpersistens.

Modellpersistens beskriver hastigheten med vilken observationen återgår till sitt långsiktiga värde efter en stor rörelse. Om vi observerar volatilitet innebär hög persistens att om det sker en chockrörelse på marknaden kommer volatiliteten att ta längre tid att återgå till medelvärdet.

Persistens för tillförlitliga modeller bör vara lägre än 1.

Persistens större än 1 innebär att modellen inte är stabil och att det inte finns någon återgång till medelvärdet.

EWMA är Exponentiellt Viktat Glidande Medelvärde

EWMA är en modell för rörligt medelvärde (MA). Den prognostiserar varians i tidsseriedata genom att ta det viktade genomsnittet av föregående dags uppskattade varians och föregående dags avkastning. EWMA använder därför en linjär regressionsmodell av tidsseriens aktuella värden mot både aktuella och tidigare icke observerade slumpmässiga chocker. Dessa slumpmässiga chocker är kända feltermer med vitt brus.

Modellen utgår från att framtida prognoser är en funktion av historiska händelser. Den utgår dock också från att nyligen inträffade händelser har högre prioritet än tidigare händelser.

EWMA tillämpar vikter på den tidigare och den senaste avkastningen (så kallad innovation) så att de senaste observationerna väger tungt. Vikterna minskar i exponentiell takt när tiden går bakåt. Vikterna summerar till 1. Vikterna tilldelas för att betrakta de senaste observationerna som viktigare än de äldre observationerna.

Detta är anledningen till att modellen är känd som Exponentially Weighted Moving Average (EWMA) prognosmodell.

På en hög nivå kan den rekursiva EWMA-modellen skrivas som:

Variabel under observation = Aktuell chock + Senaste chock x Vikt för senaste chock för EWMA(1)-modellen

Autokorrelation beräknas som: Coefficient for lagged random shock / (1 + Coefficient for lagged random shock)

This formula ensures that the weight is smaller for distant observations when compared to recent observations to indicate that recent observations have more importance.

GARCH -Generalised Autoregressive Conditional Hetroskedastic model

GARCH is an alternative method for calculating conditional variance (co variance). The model assumes that the return at time (t) has a particular distribution and the standard deviation of the distribution is indexed by time.

GARCH assumes that the latest return of the stock is dependent on the previous return. Därför är variansen betingad av den tidigare avkastningen.

GARCH är en funktion av tre termer:

1. Långsiktig variation
3. Kvadrat av senaste avkastning
5. Förra varians

En vikt tillämpas på var och en av termerna. Dessa termer kallas GAMMA, ALPHA och BETA. Formeln för att beräkna villkorad varians enligt GARCH är:

(Gamma x Long Term Variance) + (Alpha x Square of Last Return) + (Beta x Previous Variance)

Den grundläggande regeln för GARCH är att Gamma + Alpha + Beta ska summera till 1. GAMMA, ALPHA och BETA beräknas så att de uppskattade och faktiska observerade värdena ligger så nära varandra som möjligt.

Long Term Average Covariance Rate beräknas då som = (Gamma)/(1-Alpha-Beta)

Long Term Variance berättar om ”dataens fasthet” i förhållande till ett värde, t.ex. 1 % innebär att data rör sig mot 1 när tiden går. Det handlar i huvudsak om att tilldela en vikt till den genomsnittliga långsiktiga variansuppskattningen, vilket innebär att modellen erkänner volatilitets medelvärdesåtergångsegenskaper, vilket också förklaras ovan som modellpersistens. Beta är avklingningshastigheten och den är exponentiell.

.

EWMA likheter med GARCH

Vi kan se att EWMA är ett specialfall av GARCH eftersom Gamma x Long Term Variance är satt till 0 i EWMA. Detta tvingar ALPHA och BETA att summera till 1 eftersom vi endast tar hänsyn till tidigare avkastning i kvadrat och tidigare varians i EWMA.

Den har permanent persistens och prognoser på längre sikt skiljer sig därför mellan GARCH- och EWMA-modellerna.

Slutligt ville jag förklara varför man skulle välja GARCH framför EWMA.

När ska vi använda GARCH framför EWMA?

GAMMA och Long Term Variance rate of GARCH-modeller hjälper till att förklara historisk volatilitet bättre.

GARCH-modeller är bra på att modellera volatilitetskluster. Volatilitetsklustering är ett begrepp som visar att volatilitet under en hög period tenderar att följas av perioder med hög volatilitet.

När ska vi använda EWMA framför GARCH?

Om vi märker att i GARCH-modellen är alfa + beta > 1 så måste vi använda EWMA-modellen eftersom den då är mer stabil än GARCH.

Håll dig till alfa + beta är känt som persistens och persistens är alltid lägre än 1 för en stabil modell.

ARIMA Antaganden

ARIMA-modellen bygger på ett antal antaganden, bland annat:

• Data does not contain anomalies
• Model parameters and error term is constant
• Historic timepoints dictate behaviour of present timepoints which might not hold in stressed market data conditions
• Time series is stationary

Summary

This article provided an overview of ARIMA and highlighted main differences between EWMA and GARCH. These models can be used to forecast time series.

Hope it helps. Please let me know if you have any feedback.