Understanding Auto Regressive Moving Average Model – ARIMA

In my article « How Do I Predict Time Series? », I provided an overview of time series analysis. Core of the article focused on the concept that future values in a time series are dependent on its past values.

This article serves as an overview of a powerful yet simple model known as ARIMA. Additionally it provides a comparison of two models: GARCH and EWMA. Both models assume that the recent events have higher precedence than former events. This model is important in data science and neural networks.

Please read FinTechExplained disclaimer.

ARIMA stands for Auto Regressive Integrated Moving Average. ARIMA is a simple stochastic time series model that we can use to train and then forecast future time points.

ARIMA can capture complex relationships as it takes error terms and observations of lagged terms. These models rely on regressing a variable on past values.

ARIMA is Auto Regressive — (AR)

Auto Regressive (AR) property of ARIMA is referred to as P.

Past time points of time series data can impact current and future time points. ARIMA models take this concept into account when forecasting current and future values. ARIMA uses a number of lagged observations of time series to forecast observations. Un poids est appliqué à chacun des termes passés et les poids peuvent varier en fonction de leur caractère récent.

AR(x) signifie que x termes d’erreur décalés vont être utilisés dans le modèle ARIMA.

Le modèle ARIMA repose sur l’autorégression. L’autorégression consiste à régresser une variable sur les valeurs passées d’elle-même. Les autocorrélations décroissent progressivement et estiment le degré auquel le bruit blanc caractérise une série de données.

ARIMA est intégré – (I)

Si une tendance existe, alors la série temporelle est considérée comme non stationnaire et présente une saisonnalité. Intégré est une propriété qui réduit la saisonnalité d’une série temporelle. Les modèles ARIMA ont un degré de différentiation qui élimine la saisonnalité. Plus d’informations sur la différenciation sont présentées dans mon article « Comment prédire les séries temporelles ? ».

La propriété D d’ARIMA représente le degré de différenciation.

ARIMA est Moyenne mobile – (MA)

Les termes d’erreur des points temporels précédents sont utilisés pour prédire l’observation du point actuel et futur. La moyenne mobile (MA) supprime le non-déterminisme ou les mouvements aléatoires d’une série chronologique. La propriété Q représente la moyenne mobile dans ARIMA. Elle est exprimée par MA(x) où x représente les observations précédentes qui sont utilisées pour calculer l’observation actuelle.

Les modèles de moyenne mobile ont une fenêtre fixe et les poids sont relatifs au temps. Cela implique que les modèles MA sont plus sensibles à l’événement actuel et sont plus volatils.

P (autorégressif), D (intégré) et Q (moyenne mobile) sont les trois propriétés du modèle ARIMA

Les coefficients sont calculés de manière récursive. Le modèle est choisi de telle sorte que les résultats estimés calculés à partir du modèle soient plus proches des valeurs réelles observées. Ce processus est itératif par nature.

EWMA Vs GARCH

Dans cette section, je voulais mettre en évidence deux modèles principaux : EWMA et GARCH. Les modèles EWMA et GARCH tournent autour du concept de persistance du modèle.

La persistance du modèle décrit le taux auquel l’observation reviendra à sa valeur à long terme après un grand mouvement. Si nous observons la volatilité, alors une persistance élevée signifie que s’il y a un mouvement de choc sur le marché, alors la volatilité prendra plus de temps pour revenir à la moyenne.

La persistance des modèles fiables doit être inférieure à 1.

La persistance supérieure à 1 signifie que le modèle n’est pas stable et qu’il n’y a pas de retour à la moyenne.

EWMA Is Exponentially Weighted Moving Average

EWMA est un modèle de moyenne mobile (MA). Il prévoit la variance des données de séries temporelles en prenant la moyenne pondérée de la variance estimée du jour précédent et du rendement du jour précédent. L’EWMA utilise donc un modèle de régression linéaire des valeurs actuelles de la série chronologique par rapport aux chocs aléatoires non observés actuels et précédents. Ces chocs aléatoires sont des termes d’erreur de bruit blanc connus.

Le modèle suppose que les prévisions futures sont une fonction des événements historiques. Cependant, il suppose également que les événements récents ont une plus grande préséance que les événements antérieurs.

L’EWMA applique des pondérations aux retours précédents et aux derniers retours (connus sous le nom d’innovation) de sorte que les observations récentes soient fortement pondérées. Les pondérations diminuent à un rythme exponentiel à mesure que le temps recule. La somme des pondérations est égale à 1. Les pondérations sont attribuées pour considérer que les dernières observations ont plus d’importance que les observations plus anciennes.

C’est la raison pour laquelle le modèle est connu sous le nom de modèle de prévision Exponentially Weighted Moving Average (EWMA).

À un niveau élevé, le modèle EWMA récursif peut être écrit comme suit :

Variable sous observation = Choc actuel + Dernier choc x Poids du dernier choc pour le modèle EWMA(1)

L’autocorrélation est calculée comme suit : Coefficient for lagged random shock / (1 + Coefficient for lagged random shock)

This formula ensures that the weight is smaller for distant observations when compared to recent observations to indicate that recent observations have more importance.

GARCH -Generalised Autoregressive Conditional Hetroskedastic model

GARCH is an alternative method for calculating conditional variance (co variance). The model assumes that the return at time (t) has a particular distribution and the standard deviation of the distribution is indexed by time.

GARCH assumes that the latest return of the stock is dependent on the previous return. Par conséquent, la variance est conditionnelle aux rendements précédents.

GARCH est une fonction de trois termes :

1. Variance à long terme
2. Carré du dernier rendement
3. Variance précédente

Un poids est appliqué à chacun des termes. Ces termes sont connus sous le nom de GAMMA, ALPHA et BETA. La formule pour calculer la variance conditionnelle sous GARCH est:

(Gamma x Variance à long terme) + (Alpha x Carré du dernier rendement) + (Beta x Variance précédente)

La règle fondamentale de GARCH est que la somme de Gamma + Alpha + Beta doit être égale à 1. GAMMA, ALPHA et BETA sont calculés de telle sorte que les valeurs estimées et les valeurs réelles observées soient aussi proches que possible.

Le taux de covariance moyen à long terme est alors calculé comme suit : = (Gamma)/(1-Alpha-Beta)

La variance à long terme nous renseigne sur la  » viscosité  » des données par rapport à une valeur, par exemple, 1 % signifie que les données se rapprocheront de 1 à mesure que le temps avance. Il s’agit essentiellement d’attribuer un poids à l’estimation moyenne de la variance à long terme, ce qui implique que le modèle reconnaît la caractéristique de retour à la moyenne de la volatilité qui est également expliquée ci-dessus comme la persistance du modèle. Le bêta est le taux de décroissance et il est exponentiel.

.

EWMA Similitudes avec GARCH

Nous pouvons voir que l’EWMA est un cas particulier de GARCH car le Gamma x Variance à long terme est fixé à 0 dans l’EWMA. Cela oblige ALPHA et BETA à s’additionner à 1 car nous ne prenons en compte que le rendement précédent au carré et la variance précédente dans EWMA.

Il a une persistance permanente et les prévisions à plus long terme sont donc différentes entre les modèles GARCH et EWMA.

Enfin, je voulais expliquer pourquoi on choisirait le GARCH plutôt que l’EWMA.

Quand devrions-nous utiliser le GARCH plutôt que l’EWMA ?

Le GARCH et le taux de variance à long terme des modèles GARCH aident à mieux expliquer la volatilité historique.

Les modèles GARCH sont bons pour modéliser le regroupement de la volatilité. Le clustering de la volatilité est le concept qui indique que les périodes de forte volatilité ont tendance à être suivies de périodes de forte volatilité.

Quand devrions-nous utiliser l’EWMA plutôt que le GARCH ?

Si nous remarquons que dans le modèle GARCH, alpha + bêta > 1 alors nous devons utiliser le modèle EWMA car il est alors plus stable que GARCH.

Rappellez-vous que alpha + bêta est connu comme la persistance et la persistance est toujours inférieure à 1 pour un modèle stable.

Hypothèses du modèle GARCH

Le modèle GARCH repose sur un certain nombre d’hypothèses, notamment :

• Data does not contain anomalies
• Model parameters and error term is constant
• Historic timepoints dictate behaviour of present timepoints which might not hold in stressed market data conditions
• Time series is stationary

Summary

This article provided an overview of ARIMA and highlighted main differences between EWMA and GARCH. These models can be used to forecast time series.

Hope it helps. Please let me know if you have any feedback.