簡單線性回歸

在統計學中，線性回歸是利用稱為線性回歸方程的最小二乘函式對一個或多個自變數和因變數之間關係進行建模的一種回歸分析。這種函式是一個或多個稱為回歸係數的模型參數的線性組合。一個帶有一個自變數的線性回歸方程代表一條直線。我們需要對線性回歸結果進行統計分析。

基本介紹

• 中文名：簡單線性回歸
• 學科：統計學
• 屬性：線性組合
• 給定：一個隨機樣本

理論模型

給定一個隨機樣本，一個線性回歸模型假設回歸子Yi和回歸量之間的關係可能是不完美的。我們加入一個誤差項（也是一個隨機變數）來捕獲除了之外任何對Yi的影響。所以一個多變數線性回歸模型表示為以下的形式：

其他的模型可能被認定成非線性模型。一個線性回歸模型不需要是自變數的線性函式。線性在這裡表示Yi的條件均值在參數β里是線性的。例如：模型在β1和β2里是線性的，但在里是非線性的，它是Xi的非線性函式。

數據和估計

區分隨機變數和這些變數的觀測值是很重要的。通常來說，觀測值或數據（以小寫字母表記）包括了n個值 .我們有p + 1個參數需要決定，為了估計這些參數，使用矩陣表記是很有用的。其中Y是一個包括了觀測值的列向量，包括了未觀測的隨機成份以及回歸量的觀測值矩陣X：X通常包括一個常數項。如果X列之間存在線性相關，那么參數向量β就不能以最小二乘法估計除非β被限制，比如要求它的一些元素之和為0。

古典假設

樣本是在總體之中隨機抽取出來的。因變數在實直線上是連續的，殘差項是獨立同分布的，也就是說，殘差是i.i.d.且服從高斯分布。這些假設意味著殘差項不依賴自變數的值，所以和自變數（預測變數）之間是相互獨立的。在這些假設下，建立一個顯示線性回歸作為條件預期模型的簡單線性回歸。

最小二乘法估計

回歸分析的最初目的是估計模型的參數以便達到對數據的最佳擬合。在決定一個最佳擬合的不同標準之中，最小二乘法是非常優越的。