Regresja wielokrotna

Z regresją wielokrotną (wieloraką) mamy do czynienia, jeśli zmianna zależna $Y$ związana jest z większą ilością zmiennych niezależnych $X_1,X_2,..., X_k$.

Model regresji wielokrotnej wyraża się wzorem:

$Y= \alpha_0+\alpha_1X_1+\alpha_2X_2+...+\alpha_kX_k+\epsilon$,

co możemy zapisać także w postaci macierzowej:

$Y=X\cdotp \alpha$,   gdzie $X=[1,X_1,X_2,\dots,X_k]$

Zatem estymować będziemy wektor parametrów:

$\alpha=\left[\begin{array}{c}\alpha_0\\ \alpha_1\\ \vdots \\ \alpha_k \end{array}\right]$

Dla próby składającej się z $n$ obserwacji $(k+1)$-wymiarowej zmiennej $(1,X_1,\dots,X_k)$ macierz $x$ wymiaru $n\times (k+1)$ oraz wektor wartości empirycznych $y$ możemy zapisać następująco:

$x=\left[\begin{array}{cccc}1 & x_{11} & \cdots & x_{1k}\\1 & x_{21} & \cdots & x_{2k}\\ \vdots & \vdots & \ddots & \vdots \\1 & x_{n1} & \cdots & x_{nk}\end{array}\right]$,       $y=\left[\begin{array}{c}y_1\\y_2\\ \vdots \\y_n\end{array}\right]$.

Jedynki w pierwszej kolumnie macierzy $X$ odpowiadają wyrazowi wolnemu $\alpha_0$ z modelu.

Estymator wektora $\alpha$ możemy wyznaczyć Metodą Najmniejszych Kwadratów, korzystając ze wzoru:

$\hat{\alpha}=(x^Tx)^{-1}x^Ty$

Analiza dobroci dopasowania modelu

Dobroć dopasowania modelu $\hat{Y}=X\cdotp \hat{\alpha}$ do danych rzeczywistych możemy ocenić interpretując wartości następujących współczynników:

• Wariancja resztowa i odchylenie standardowe reszt:

$S_{\epsilon}^2=\frac{\sum_{i=1}^n(y_i-\hat{y_i})^2}{n-(k+1)},~~~~S_{\epsilon}=\sqrt{S_{\epsilon}^2}$,

gdzie:

- $y_i,~~i=1,2,...,n$ - wartości empiryczne,

- $\hat{y_i},~~i=1,2,...,n$ - wartości teoretyczne wyznaczone z modelu.

Wyznaczone w ten sposób odchylenie standardowe reszt modelu informuje, o ile zaobserwowane wartości zmiennej $Y$ przeciętnie odbiegają od teoretycznych wartości tej zmiennej wyznaczonych z modelu.

• Współczynnik zmienności losowej

Współczynnik zmienności losowej pozwala na ocenę dobroci dopasowania modelu w stosunku do przeciętnego poziomu wielkości opisywanej zmiennej $Y$. Współczynnik ten wyraża się wzorem:

$V_{\epsilon}=\frac{S_{\epsilon}}{\overline{y}}\cdot 100\%$,

gdzie:

- $\overline{y}$ - średnia arytmetyczna wartości empirycznych $y_i,~~i=1,2,...,n$,

Współczynnik $V_{\epsilon}$ mówi nam, jaką część średniego poziomu wartości zmiennej $Y$ z próby stanowi średni błąd dopasowania modelu (odchylenie standardowe reszt).

Innymi słowy, współczynnik ten informuje nas, o ile - średnio rzecz ujmując - mylimy się, szacując wartości zmiennej objaśnianej $Y$ za pomocą wyznaczonego modelu.

• Współczynnik determinacji

Współczynnik determinacji $R^2$ jest miarą dobroci dopasowania informującą, jaką część zmienności wartości empirycznych zmiennej $Y$ ($y_i,~~i=1,2,...,n$), stanowi zmienność wartości teoretycznych tej zmiennej. Współczynnik determinacji dany jest wzorem:

$R^2 = 1-\frac{\sum_{i=1}^n (y_i-\hat{y_i})^2}{\sum_{i=1}^n (y_i-\overline{y})^2}$.

Współczynnik $R^2$ przyjmuje wartości z przedziału $[0,1]$. Im wartość $R^2$ bliższa 1, tym lepsze dopasowanie modelu do rzeczywistej tendencji zmiennej $Y$.

Na tym etapie możliwe jest także zdefiniowanie współczynnika korelacji wielorakiej, który obliczamy jako pierwiastek z współczynnika determinacji $R^2$:

$R=\sqrt{R^2}$.

Współczynnik korelacji wielorakiej określa stopień łącznego wpływu wszystkich zmiennych objaśniających na zmienną objaśnianą.