Regresyon Analizi (Regression Analysis)

İki veya daha çok sayıda değişken arasında bir ilişki bulunup bulunmadığı ,eğer varsa bu ilişkinin derecesinin saptanması istatistikte sık araştırılan konulardan biridir. İstatistik anlamda iki değişken arasındaki ilişki,değerlerinin karşılıklı değişimleri arasında bir bağlılık şeklindedir. Xdeğişkeninin değerleri değişirken buna bağlı olarak Y değişkeninin değerleri de aynı veya zıt yönde değişiyorsa, bu iki değişken arasında bir ilişki olduğu söylenebilir. Örneğin gelir düzeyleri ile birlikte tasarrufların çoğalması,bir malın arzı artarken fiyatının düşmesi, satışlarla beraber karların yükselmesi gibi. Araştırılacak değişkenlere ilişkin veriler bileşik seri şeklinde düzenleniyorsa  aynı birimlerin iki ayrı değişkene göre dağılımını gösteren “bileşik dağılım serileri” ortaya çıkar.iki farklı değişkenin aynı dönemlerde aldıkları değerler inceleniyorsa “zaman serileri” ortaya çıkıyor demektir. Değişkenler arasındaki ilişki bir “neden-sonuç” ilişkisi olup her zaman net ve kolay görünmeyebilir. Dolayısıyla değişkenlerin birlikte değişiyor olması her zaman aralarında bir neden-sonuç ilişkisinin var olduğu anlamını taşımaz.
Regresyon analizinde serbest değişken sayısı bir ise “ basit regresyon modeli”, iki veya daha fazla ise “ çoklu regresyon modeli” olarak  adlandırılır.
Basit doğrusal regresyon
Değişkenler arasında bulunduğu varsayılan gerçek doğrusal ilişki,tek bir serbest değişken içeren bir doğru denklemi ile gösterilirse basit doğrusal regresyon modeli elde edilir. Ana kütle için bu denklem şu şekilde yazılabilir:
i    = α + β x  + ε
Burada  ε ile gösterilen değer hata(error) terimidir.
Bu modelin   “α ve β” parametrelerini bulmak için x serbest değişkeni ve Y bağımlı değişkeni ile ilgili gözlemlere ihtiyaç vardır. Bu değişkenlerin ana kütlelerini oluşturan bütün değerleri bilmek imkansız olduğu için örneklemeye başvurulur. Böylelikle α ve β parametrelerinin tahmini olan “ ave b” katsayıları bulunabilir. Örnek için de aynı denklem ;
y= a + bx + e
Şeklinde yazılır.
α ve β parametrelerinin bir tahmini olan “a ve b” katsayıları “en küçük kareler yöntemi” kullanılarak hesaplanabilir.
Elimizde gözlemle elde ettiğimiz n adet ikili değerler( x ve y ) varsa ve aralarında doğrusal bir ilişkinin olduğu tahmin ediliyorsa bunları bir doğru denklemi ile ifade edebiliriz. Bu durumda her xdeğeri için iki tane değeri olacaktır. Bunlardan birincisi ölçülen gerçek değeri, diğeri ise denklemle elde edilen teorik y değeridir. Bu iki değer arasındaki farklar i. gözlem için:
e = y i  – (a + b x i  )
şeklindedir.farkların kareleri toplamının minimum olması gerektiğinden
Σ e2 =  Σ (y i  – (a+ b x i))2 = minimum yazılır. (i= 1,…,n)
Denklemi minimum yapmak için a ve b katsayılarına göre kısmi türev alınarak sıfıra eşitlenir.
de
_____    = 2 Σ (-1)(y-a-bx) =- Σy + n*a +b Σ x =0
da
de
_____  = 2 Σ (-x)(y-a-bx) =- Σxy + a Σ x +b Σ x2 =0
db
Negatif işaretli terimler eşitliğin sağ tarafına geçirilir ve normal denklemler aşağıdaki gibi elde edilir.
Σy  = n*a +  b Σ x
Σxy = a Σ x +b Σ x2
Beta (b) Katsayısının Testi
Regresyon denklemindeki a katsayısı sabit olduğu için iki değişken arasındaki ilişkiyi göstermemektedir. Bundan dolayı testler b katsayısı için yapılır. Testlerin amacı değişkenler arasındaki ilişkinin güçlü olup olmadığını araştırmaktır. Hipotezler şu şekilde yazılırlar:
H: B = 0 (Ana kütlede x deki bir birimlik değişim y yi  etkilememektedir,iki değişken arasında         ilişki yoktur. )
H: B ≠ 0 (Ana kütlede x deki  bir birimlik değişme y de önemli bir değişme yapar.iki değişken arasındaki ilişki önemlidir. )
Anlamlılık düzeyi( α ) bu testlerde küçük tutulmakta genellikle %1 veya %5 kullanılmaktadır. Örnek regresyon katsayısının standart değişkene dönüştürülmesi  için aşağıdaki durumlar dikkate alınır:
n < 30 ise (n-2) serbestlik derecesi alınarak t dağılımı, n≥ 30 ise z(normal dağılım) kullanılır. Standart değişkenler şu şekilde hesaplanmaktadır.
          b – B                                      b – B
t = _______                      z =________
            S b                                                        b
b , b katsayısının standart hatasının tahmini olup aşağıdaki gibi hesaplanır:
                 S y x
b =  __________
            √ Σ ( x-x )2