Understanding Auto Regressive Moving Average Model – ARIMA

In my article “How Do I Predict Time Series?”, I provided an overview of time series analysis. Core of the article focused on the concept that future values in a time series are dependent on its past values.

This article serves as an overview of a powerful yet simple model known as ARIMA. Additionally it provides a comparison of two models: GARCH and EWMA. Both models assume that the recent events have higher precedence than former events. This model is important in data science and neural networks.

Please read FinTechExplained disclaimer.

ARIMA stands for Auto Regressive Integrated Moving Average. ARIMA is a simple stochastic time series model that we can use to train and then forecast future time points.

ARIMA can capture complex relationships as it takes error terms and observations of lagged terms. These models rely on regressing a variable on past values.

ARIMA is Auto Regressive — (AR)

Auto Regressive (AR) property of ARIMA is referred to as P.

Past time points of time series data can impact current and future time points. ARIMA models take this concept into account when forecasting current and future values. ARIMA uses a number of lagged observations of time series to forecast observations. Un peso viene applicato a ciascun termine passato e i pesi possono variare in base a quanto sono recenti.

AR(x) significa che x termini di errore ritardati verranno utilizzati nel modello ARIMA.

ARIMA si basa sull’autoregressione. L’autoregressione è un processo di regressione di una variabile sui valori passati di se stessa. Le autocorrelazioni decadono gradualmente e stimano il grado in cui il rumore bianco caratterizza una serie di dati.

ARIMA è integrata – (I)

Se esiste un trend allora la serie temporale è considerata non stazionaria e mostra stagionalità. Integrato è una proprietà che riduce la stagionalità da una serie temporale. I modelli ARIMA hanno un grado di differenziazione che elimina la stagionalità. Maggiori informazioni sulla differenziazione sono descritte nel mio articolo “How Do I Predict Time Series?”.

D proprietà di ARIMA rappresenta il grado di differenziazione.

ARIMA è Moving Average – (MA)

I termini di errore dei punti temporali precedenti sono usati per prevedere l’osservazione del punto corrente e futuro. La media mobile (MA) rimuove il non-determinismo o i movimenti casuali da una serie temporale. La proprietà Q rappresenta la media mobile in ARIMA. Si esprime come MA(x) dove x rappresenta le osservazioni precedenti che sono usate per calcolare l’osservazione corrente.

I modelli a media mobile hanno una finestra fissa e i pesi sono relativi al tempo. Questo implica che i modelli MA sono più reattivi all’evento corrente e sono più volatili.

P (autoregressivo), D (integrato) e Q (media mobile) sono le tre proprietà del modello ARIMA

I coefficienti sono calcolati ricorsivamente. Il modello viene scelto in modo tale che i risultati stimati calcolati dal modello siano più vicini ai valori reali osservati. Questo processo è di natura iterativa.

EWMA Vs GARCH

In questa sezione, ho voluto evidenziare due modelli principali: EWMA e GARCH. I modelli EWMA e GARCH ruotano attorno al concetto di persistenza del modello.

La persistenza del modello descrive il tasso al quale l’osservazione ritornerà al suo valore di lungo termine dopo un grande movimento. Se stiamo osservando la volatilità, un’alta persistenza significa che se c’è un movimento d’urto nel mercato, la volatilità impiegherà più tempo a ritornare alla media.

La persistenza di modelli affidabili dovrebbe essere inferiore a 1.

Persistenza maggiore di 1 significa che il modello non è stabile e non c’è reversione alla media.

EWMA Is Exponentially Weighted Moving Average

EWMA è un modello di media mobile (MA). Prevede la varianza nei dati delle serie temporali prendendo la media ponderata della varianza stimata del giorno precedente e il rendimento del giorno precedente. Quindi l’EWMA utilizza un modello di regressione lineare dei valori attuali delle serie temporali contro gli shock casuali non osservati attuali e precedenti. Questi shock casuali sono termini di errore noti come rumore bianco.

Il modello presuppone che le previsioni future siano una funzione degli eventi storici. Tuttavia assume anche che gli eventi recenti abbiano una precedenza maggiore rispetto agli eventi precedenti.

EWMA applica dei pesi ai rendimenti precedenti e a quelli più recenti (noti come innovazione) in modo tale che le osservazioni recenti siano pesate pesantemente. I pesi diminuiscono ad un tasso esponenziale man mano che si va indietro nel tempo. I pesi sommano a 1. I pesi sono assegnati per considerare le ultime osservazioni più importanti di quelle più vecchie.

Questa è la ragione per cui il modello è conosciuto come modello di previsione Exponentially Weighted Moving Average (EWMA).

Ad un livello elevato, il modello EWMA ricorsivo può essere scritto come:

Variabile sotto osservazione = Shock corrente + Ultimo Shock x Peso dell’ultimo shock per il modello EWMA(1)

L’autocorrelazione è calcolata come: Coefficient for lagged random shock / (1 + Coefficient for lagged random shock)

This formula ensures that the weight is smaller for distant observations when compared to recent observations to indicate that recent observations have more importance.

GARCH -Generalised Autoregressive Conditional Hetroskedastic model

GARCH is an alternative method for calculating conditional variance (co variance). The model assumes that the return at time (t) has a particular distribution and the standard deviation of the distribution is indexed by time.

GARCH assumes that the latest return of the stock is dependent on the previous return. Quindi la varianza è condizionata dai rendimenti precedenti.

GARCH è una funzione di tre termini:

1. Varianza a lungo termine
2. Quadrato dell’ultimo rendimento
3. Varianza precedente

Un peso viene applicato a ciascun termine. Questi termini sono conosciuti come GAMMA, ALPHA e BETA. La formula per calcolare la varianza condizionata sotto GARCH è:

(Gamma x varianza di lungo periodo) + (Alpha x quadrato dell’ultimo rendimento) + (Beta x varianza precedente)

La regola fondamentale di GARCH è che Gamma + Alpha + Beta devono sommarsi a 1. GAMMA, ALPHA e BETA sono calcolati in modo tale che i valori stimati e quelli reali osservati siano il più vicini possibile.

Il tasso medio di covarianza a lungo termine è quindi calcolato come = (Gamma)/(1-Alpha-Beta)

La varianza a lungo termine ci dice della ‘viscosità dei dati’ rispetto a un valore, ad esempio 1% significa che i dati si muoveranno verso 1 con il passare del tempo. Si tratta essenzialmente di assegnare un peso alla stima della varianza media di lungo periodo che implica che il modello riconosce la caratteristica di mean reverting della volatilità che è anche spiegata sopra come persistenza del modello. Beta è il tasso di decadimento ed è esponenziale.

EWMA Similarità con GARCH

Possiamo vedere che EWMA è un caso speciale di GARCH perché Gamma x Varianza di Lungo Termine è impostata a 0 in EWMA. Questo obbliga ALPHA e BETA a sommarsi a 1 perché in EWMA prendiamo in considerazione solo il quadrato del rendimento precedente e la varianza precedente.

Ha una persistenza permanente e le previsioni a lungo termine sono quindi diverse tra i modelli GARCH e EWMA.

Infine, volevo spiegare perché si dovrebbe scegliere GARCH invece di EWMA.

Quando dovremmo usare GARCH invece di EWMA?

GAMMA e il tasso di varianza a lungo termine dei modelli GARCH aiutano a spiegare meglio la volatilità storica.

I modelli GARCH sono buoni per modellare il clustering della volatilità. Il clustering di volatilità è il concetto che indica che un’alta volatilità di periodo tende ad essere seguita da periodi di alta volatilità.

Quando dovremmo usare EWMA invece di GARCH?

Se notiamo che nel modello GARCH, alfa + beta > 1 allora dobbiamo usare il modello EWMA perché è più stabile di GARCH.

Ricordo che alfa + beta è noto come persistenza e la persistenza è sempre inferiore a 1 per un modello stabile.

Ipotesi dell’ARIMA

Il modello ARIMA si basa su una serie di ipotesi tra cui:

• Data does not contain anomalies
• Model parameters and error term is constant
• Historic timepoints dictate behaviour of present timepoints which might not hold in stressed market data conditions
• Time series is stationary

Summary

This article provided an overview of ARIMA and highlighted main differences between EWMA and GARCH. These models can be used to forecast time series.

Hope it helps. Please let me know if you have any feedback.