Understanding Auto Regressive Moving Average Model – ARIMA

In my article „How Do I Predict Time Series?“, I provided an overview of time series analysis. Core of the article focused on the concept that future values in a time series are dependent on its past values.

This article serves as an overview of a powerful yet simple model known as ARIMA. Additionally it provides a comparison of two models: GARCH and EWMA. Both models assume that the recent events have higher precedence than former events. This model is important in data science and neural networks.

Please read FinTechExplained disclaimer.

ARIMA stands for Auto Regressive Integrated Moving Average. ARIMA is a simple stochastic time series model that we can use to train and then forecast future time points.

ARIMA can capture complex relationships as it takes error terms and observations of lagged terms. These models rely on regressing a variable on past values.

ARIMA is Auto Regressive — (AR)

Auto Regressive (AR) property of ARIMA is referred to as P.

Past time points of time series data can impact current and future time points. ARIMA models take this concept into account when forecasting current and future values. ARIMA uses a number of lagged observations of time series to forecast observations. Na každý z minulých členů se aplikuje váha a váhy se mohou lišit podle toho, jak jsou aktuální.

AR(x) znamená, že v modelu ARIMA bude použito x zpožděných chybových členů.

ARIMA se opírá o AutoRegression. Autoregrese je proces regrese proměnné na její minulé hodnoty. Autokorelace se postupně rozpadají a odhadují, do jaké míry charakterizuje řadu dat bílý šum.

ARIMA je integrovaná – (I)

Pokud existuje trend, pak se časová řada považuje za nestacionární a vykazuje sezónnost. Integrovanost je vlastnost, která snižuje sezónnost z časové řady. Modely ARIMA mají určitý stupeň diferenciace, který eliminuje sezónnost. Více informací o diferenciaci je uvedeno v mém článku „Jak předpovídat časové řady?“

Vlastnost D modelu ARIMA představuje stupeň diferenciace.

ARIMA je klouzavý průměr – (MA)

K předpovědi pozorování současného a budoucího bodu se používají chybové termíny předchozích časových bodů. Klouzavý průměr (MA) odstraňuje neurčitost nebo náhodné pohyby z časové řady. Vlastnost Q představuje klouzavý průměr v ARIMA. Vyjadřuje se jako MA(x), kde x představuje předchozí pozorování, která se používají k výpočtu aktuálního pozorování.

Modely klouzavého průměru mají pevné okno a váhy se vztahují k času. To znamená, že modely MA více reagují na aktuální událost a jsou volatilnější.

P (AutoRegresivní), D (Integrovaný) a Q (Klouzavý průměr) jsou tři vlastnosti modelu ARIMA

Koeficienty se počítají rekurzivně. Model se volí takový, aby se odhadované výsledky vypočtené z modelu blížily skutečným pozorovaným hodnotám. Tento proces má iterační charakter.

EWMA Vs GARCH

V této části jsem chtěl upozornit na dva hlavní modely: EWMA a GARCH. Modely EWMA a GARCH se točí kolem konceptu perzistence modelu.

Perzistence modelu popisuje míru, s jakou se pozorování po velkém pohybu vrátí ke své dlouhodobé hodnotě. Pokud pozorujeme volatilitu, pak vysoká perzistence znamená, že pokud dojde k nárazovému pohybu na trhu, bude volatilitě trvat déle, než se vrátí ke střední hodnotě.

Persistence spolehlivých modelů by měla být nižší než 1.

Persistence vyšší než 1 znamená, že model není stabilní a nedochází k návratu ke střední hodnotě.

EWMA je exponenciálně vážený klouzavý průměr

EWMA je model klouzavého průměru (MA). Předpovídá rozptyl v datech časových řad pomocí váženého průměru odhadovaného rozptylu předchozího dne a výnosu předchozího dne. EWMA tedy využívá lineární regresní model současných hodnot časové řady vůči současným i předchozím nepozorovaným náhodným šokům. Tyto náhodné šoky jsou známé chybové členy bílého šumu.

Model předpokládá, že budoucí předpovědi jsou funkcí historických událostí. Zároveň však předpokládá, že nedávné události mají vyšší prioritu než dřívější události.

EWMA aplikuje váhy na předchozí a nejnovější výnosy (tzv. inovace) tak, že nedávná pozorování mají vyšší váhu. Váhy klesají exponenciální rychlostí s postupem času zpět. Součet vah je roven 1. Váhy jsou přiřazeny tak, aby se nejnovější pozorování považovala za důležitější než starší pozorování.

Z tohoto důvodu je model znám jako prognostický model s exponenciálně váženým klouzavým průměrem (EWMA).

Na vysoké úrovni lze rekurzivní model EWMA zapsat takto:

Proměnná v pozorování = aktuální šok + poslední šok x váha posledního šoku pro model EWMA(1)

Autokorelace se vypočítá jako: Coefficient for lagged random shock / (1 + Coefficient for lagged random shock)

This formula ensures that the weight is smaller for distant observations when compared to recent observations to indicate that recent observations have more importance.

GARCH -Generalised Autoregressive Conditional Hetroskedastic model

GARCH is an alternative method for calculating conditional variance (co variance). The model assumes that the return at time (t) has a particular distribution and the standard deviation of the distribution is indexed by time.

GARCH assumes that the latest return of the stock is dependent on the previous return. Rozptyl je tedy podmíněn předchozími výnosy.

GARCH je funkcí tří členů:

1. Dlouhodobý rozptyl
2. Čtverec posledního výnosu
3. Předchozí rozptyl

Každému z členů je přiřazena váha. Tyto termíny se označují jako GAMMA, ALPHA a BETA. Vzorec pro výpočet podmíněné variance podle GARCH je:

(Gamma x dlouhodobá variance) + (Alfa x čtverec posledního výnosu) + (Beta x předchozí variance)

Základním pravidlem GARCH je, že Gamma + Alfa + Beta by měly dát dohromady 1. V případě, že je to možné, je to možné. GAMMA, ALFA a BETA se počítají tak, aby odhadované a skutečně pozorované hodnoty byly co nejblíže.

Dlouhodobá průměrná míra kovariance se pak vypočítá jako = (Gamma)/(1-Alfa-Beta)

Dlouhodobá variance vypovídá o „přilnavosti“ dat k určité hodnotě, např. 1 % znamená, že data se budou s postupem času pohybovat směrem k 1. V podstatě jde o přiřazení váhy průměrnému odhadu dlouhodobé variance, což znamená, že model uznává charakteristiku mean revertingu volatility, která je výše vysvětlena také jako perzistence modelu. Beta je míra rozpadu a je exponenciální.

Podobnost EWMA s GARCH

Vidíme, že EWMA je speciálním případem GARCH, protože Gamma x Long Term Variance je v EWMA nastavena na 0. Z toho vyplývá, že EWMA je speciální případ GARCH. To si vynucuje, aby se ALPHA a BETA sečetly na 1, protože v modelu EWMA bereme v úvahu pouze předchozí kvadraturu výnosu a předchozí rozptyl.

Má trvalou perzistenci, a proto se dlouhodobé předpovědi mezi modely GARCH a EWMA liší.

Nakonec jsem chtěl vysvětlit, proč by měl člověk zvolit GARCH místo EWMA.

Kdy bychom měli použít GARCH místo EWMA?

GAMMA a míra dlouhodobé variability GARCH modelů pomáhají lépe vysvětlit historickou volatilitu.

GARCH modely jsou dobré při modelování shlukování volatility. Shlukování volatility je koncept, který naznačuje, že po období vysoké volatility obvykle následují období vysoké volatility.

Kdy bychom měli použít EWMA místo GARCH?

Pokud si všimneme, že v modelu GARCH je alfa + beta > 1, pak musíme použít model EWMA, protože je pak stabilnější než GARCH.

Pamatujte si, že alfa + beta je známá jako perzistence a perzistence je u stabilního modelu vždy nižší než 1. V případě, že je model EWMA stabilnější než GARCH, je třeba použít model EWMA.

Předpoklady modelu GARIMA

Model GARIMA je založen na řadě předpokladů, mezi které patří např:

• Data does not contain anomalies
• Model parameters and error term is constant
• Historic timepoints dictate behaviour of present timepoints which might not hold in stressed market data conditions
• Time series is stationary

Summary

This article provided an overview of ARIMA and highlighted main differences between EWMA and GARCH. These models can be used to forecast time series.

Hope it helps. Please let me know if you have any feedback.