Understanding Auto Regressive Moving Average Model – ARIMA

In my article “How Do I Predict Time Series?”, I provided an overview of time series analysis. Core of the article focused on the concept that future values in a time series are dependent on its past values.

This article serves as an overview of a powerful yet simple model known as ARIMA. Additionally it provides a comparison of two models: GARCH and EWMA. Both models assume that the recent events have higher precedence than former events. This model is important in data science and neural networks.

Please read FinTechExplained disclaimer.

ARIMA stands for Auto Regressive Integrated Moving Average. ARIMA is a simple stochastic time series model that we can use to train and then forecast future time points.

ARIMA can capture complex relationships as it takes error terms and observations of lagged terms. These models rely on regressing a variable on past values.

ARIMA is Auto Regressive — (AR)

Auto Regressive (AR) property of ARIMA is referred to as P.

Past time points of time series data can impact current and future time points. ARIMA models take this concept into account when forecasting current and future values. ARIMA uses a number of lagged observations of time series to forecast observations. Um peso é aplicado a cada um dos termos passados e os pesos podem variar com base no quão recentes eles são.

AR(x) significa que x termos de erro desfasados serão usados no modelo ARIMA.

ARIMA depende do AutoRegressão. A autoregressão é um processo de regressão de uma variável sobre valores passados de si mesma. A autocorrelação decresce gradualmente e estima o grau em que o ruído branco caracteriza uma série de dados.

ARIMA é integrada – (I)

Se existe uma tendência, então a série temporal é considerada não estacionária e mostra sazonalidade. Integrado é uma propriedade que reduz a sazonalidade de uma série cronológica. Os modelos ARIMA têm um grau de diferenciação que elimina a sazonalidade. Mais informações sobre diferenças estão delineadas no meu artigo “Como posso prever séries cronológicas?”.

D propriedade do ARIMA representa o grau de diferença.

ARIMA é Média Móvel – (MA)

Erro termos de pontos de tempo anteriores são usados para prever a observação do ponto atual e futuro. A Média Móvel (MA) remove movimentos não-determinantes ou aleatórios de uma série temporal. A propriedade Q representa a Média Móvel na ARIMA. É expressa como MA(x) onde x representa observações anteriores que são usadas para calcular a observação atual.

Moving average models have a fixed window and weights are relative to the time. Isto implica que os modelos MA são mais sensíveis ao evento corrente e são mais voláteis.

P (AutoRegressivo), D (Integrado) e Q (Média móvel) são as três propriedades do modelo ARIMA

Coeficientes são calculados recursivamente. O modelo é escolhido de forma a que os resultados estimados calculados a partir do modelo estejam mais próximos dos valores reais observados. Este processo é iterativo por natureza.

EWMA Vs GARCH

Nesta seção, eu queria destacar dois modelos principais: EWMA e GARCH. Os modelos EWMA e GARCH giram em torno do conceito de persistência do modelo.

Modelo A persistência descreve a taxa na qual a observação voltará ao seu valor a longo prazo após um grande movimento. Se estivermos observando volatilidade então a alta persistência significa que se houver um movimento de choque no mercado então a volatilidade levará mais tempo para reverter para a média.

Persistência de modelos confiáveis deve ser menor que 1.

Persistência maior que 1 significa que o modelo não é estável e não há reversão para a média.

OEWMA é uma média móvel exponencialmente ponderada

OEWMA é um modelo de média móvel (MA). Ele prevê a variância nos dados das séries temporais tomando a média ponderada da variância estimada do dia anterior e do retorno do dia anterior. Assim o EWMA utiliza um modelo de regressão linear dos valores atuais das séries cronológicas contra os choques aleatórios atuais e anteriores não observados. Estes choques aleatórios são conhecidos como termos de erro de ruído branco.

O modelo assume que as previsões futuras são uma função de eventos históricos. Contudo também assume que eventos recentes têm maior precedência do que eventos anteriores.

EWMA aplica pesos ao anterior e ao último retorno (conhecido como inovação) de tal forma que as observações recentes são ponderadas fortemente. Os pesos diminuem a uma taxa exponencial à medida que o tempo se desloca para trás. A soma dos pesos para 1. Os pesos são atribuídos para considerar as últimas observações como tendo mais importância do que as observações mais antigas.

Esta é a razão pela qual o modelo é conhecido como modelo de previsão de Média Móvel Exponencialmente Ponderada (EWMA).

A um nível elevado, o modelo EWMA recursivo pode ser escrito como:

Variável Sob Observação = Choque de Corrente + Último Choque x Peso do último choque para o modelo EWMA(1)

Autocorrelação é computada como: Coefficient for lagged random shock / (1 + Coefficient for lagged random shock)

This formula ensures that the weight is smaller for distant observations when compared to recent observations to indicate that recent observations have more importance.

GARCH -Generalised Autoregressive Conditional Hetroskedastic model

GARCH is an alternative method for calculating conditional variance (co variance). The model assumes that the return at time (t) has a particular distribution and the standard deviation of the distribution is indexed by time.

GARCH assumes that the latest return of the stock is dependent on the previous return. Portanto a variância é condicional aos retornos anteriores.

GARCH é uma função de três termos:

1. Desvio de Longo Prazo
2. Quadrado do Último Retorno
3. Desvio Anterior

Um peso é aplicado a cada um dos termos. Estes termos são conhecidos como GAMMA, ALPHA e BETA. A fórmula para calcular a variância condicional sob GARCH é:

(Gama x Variância de Longo Prazo) + (Alfa x Quadrado do Último Retorno) + (Beta x Variância Anterior)

A regra fundamental do GARCH é que Gama + Alfa + Beta deve somar até 1. GAMMA, ALFA e BETA são calculados de forma que os valores estimados e reais observados sejam os mais próximos possíveis.

A Taxa de Covariância Média a Longo Prazo é então calculada como = (Gama)/(1-Alpha-Beta)

A Variância a Longo Prazo nos diz sobre a ‘aderência dos dados’ a um valor, por exemplo, 1% significa que os dados se moverão para 1 à medida que o tempo avança. É essencialmente a atribuição de um peso para a estimativa da variância média de longo prazo o que implica que o modelo reconhece a característica de reversão da volatilidade média que também é explicada acima como persistência do modelo. Beta é a taxa de decaimento e é exponencial.

EWMA Similaridades com GARCH

Vemos que EWMA é um caso especial de GARCH porque Gama x Variância de Longo Prazo está ajustado a 0 em EWMA. Isto obriga ALPHA e BETA a somar até 1 porque só levamos em conta o retorno anterior ao quadrado e a variância anterior em EWMA.

Tem persistência permanente e as previsões a longo prazo são portanto diferentes entre os modelos GARCH e EWMA.

Finalmente, eu queria explicar porque se escolheria GARCH em vez de EWMA.

Quando devemos usar GARCH em vez de EWMA?

GAMMA e Taxa de Variação de Longo Prazo dos modelos GARCH ajudam a explicar melhor a volatilidade histórica.

Os modelos GARCH são bons em modelagem de clusters de volatilidade. O clustering da volatilidade é o conceito que indica que períodos de alta volatilidade tendem a ser seguidos por períodos de alta volatilidade.

Quando devemos usar EWMA sobre GARCH?

Se notarmos que no modelo GARCH, alfa + beta > 1 então devemos usar o modelo EWMA porque ele é então mais estável que o GARCH.

Alfa + beta é conhecido como persistência e a persistência é sempre menor que 1 para um modelo estável.

ARIMA Suposições

Modelo EWMA é baseado em uma série de suposições, incluindo:

• Data does not contain anomalies
• Model parameters and error term is constant
• Historic timepoints dictate behaviour of present timepoints which might not hold in stressed market data conditions
• Time series is stationary

Summary

This article provided an overview of ARIMA and highlighted main differences between EWMA and GARCH. These models can be used to forecast time series.

Hope it helps. Please let me know if you have any feedback.