1.1　线性模型

理论线性模型的重要建构基础是独立同分布（i.i.d）的。如果序列的所有各项都独立于其他项，而且各项具有相同分布，那么我们就定义序列εt（t=1，…，T）是独立同分布序列（i.i.d）。因此，如果pt（x）是序列εt的概率密度函数，那么对于任何的t，都有pt（x）=p（x），而且任意n个εt的联合分布等于其边际分布的乘积。我们观察直到时间T的整个序列，序列在时间T+1的取值不会受到前期取值的任何影响，而且源于同一分布。

独立同分布要求很强的限制条件。有时出于许多目的，特别是对于线性模型，只需要考虑一个更为简单的称为“白噪声”（white noise）的过程。如果一个时间序列et，t=1，…，T，满足均值m=E［et］是常数，方差σ2=Var（et）都是常数，并且所有的协方差Cov［et，es］（t≠s）等于零的话，我们就称之为白噪声序列。因而，对于白噪声序列，我们只需要考虑一阶矩和二阶矩的性质。序列的上述性质称为“白噪声性质”，显然，具备白噪声性质的序列不一定是独立同分布序列。

鞅差分序列（martingale differences）与白噪声序列密切相关。如果E［xt|xt-j，j≥1］=xt-1，鞅差分表示为Δxt=xt-xt-1，并且E［Δxt|xt-j，j≥1］=0，那么序列xt称为鞅。鞅差分具有与白噪声相同的均值和协方差性质，但是方差无须为常数。白噪声序列和鞅差分序列都具有明确的线性性质，但是它们的非线性特征并不明显。例如，它们的定义中并不包括（对于整数p），尽管研究非线性过程需要我们知道这些数量关系。

两个重要的线性模型是移动平均模型（the moving average process）和自回归模型（the autoregressive process）。如果εt是独立同分布的零均值序列，那么一个移动平均模型就是：

yt=εt+c1εt-1+c2εt-2

我们记作yt～MA（2），存在两期滞后。自回归模型的例子为：

yt=a1yt-1+a2yt-2+εt

其中，εt是独立同分布的零均值序列，我们记作AR（2），依然具有两期滞后。显然，很容易定义MA（q）和AR（p）过程（其中p和q为正整数）。更为广泛的过程是自回归移动平均模型，例如：

yt=a1yt-1+a2yt-2+εt+c1εt-1

我们记作yt～ARMA（2，1），这一过程具有yt的两期滞后和一个随机项εt。ARMA（p，q）模型更常见于线性模型理论，这样的线性模型的主要特征是其记忆长度（在模型中由p和q的值来概括）和特殊的解释变量假定，比如通常假定为独立同分布，或者至少是一个鞅差分过程。在实践中，我们只检验εt的白噪声性质。

一些线性模型具有“长记忆”（long-memory）性质，即当h变大时，E［yt+h|yt-j，j≥0］并不必然趋向于零。如果这个值趋向于零，就称之为“短记忆”（short-memory）。“短记忆”的必要条件是当h变大时，协方差Cov［yt+h，yt］→0。如果当h很大，|ρ|<1时，yt的均值、方差为常数，并且协方差|Cov（yt+h，yt）|<Aρh，那么我们就称yt是“平稳”的（stationary）（更为精确的定义将在1.4节给出）。长记忆序列的一个例子是：差分是平稳的序列，记作ARIMA（p，1，q），或者简记为yt～I（1）。如果d阶差分才是平稳的，那么我们就称为d阶单整序列，记作I（d）。

以上定义的ARIMA模型是单变量的。这一模型的一个自然扩展就是使用yt自身的p期滞后、εt的q期滞后和其他解释向量xt的线性组合来解释yt。得到，

我们称之为ARMAX模型的变形形式，其中X是“外生的”。

另一个扩展是向量yt的联立模型的向量自回归模型（VAR），例如：

其中，y由n个变量组成，每一个aj都是一个n×n阶矩阵，εt是独立同分布向量。并且，

Cov（εjt，εks）=0（t≠s）=σjk（t=s）

即，解释变量可以出现同期影响。Granger和Newbold（1986），Harvey（1981），以及其他一些学者的文献讨论过这些模型。

显然，还存在其他的线性模型，而且其中一些模型还相当独特，不过我们在这里不展开讨论。