فصل سوم: مدل رگرسيون دو متغيره: مسأله تخمين

مقدمه

روش حداقل مربعات معمولي

تخمين زننده ها

خصوصيات تخمين ‌زننده ‌ها

خصوصيات خط رگرسيون

فرضيات اساسي روش حداقل مربعات

خطاي معيار (استاندارد) يا دقت تخمين‌هاي حداقل مربعات

ويژگيهاي واريانس

خصوصيات تخمين ‎زننده‎ هاي حداقل مربعات

قضيه گوس مارکف

معيار اندازه‌ گيري ميزان همبستگي

فصل سوم
مدل رگرسيون دو متغيره : مساله تخمين

چکيده :
          در اين فصل سعي در تخمين حتی الامکان دقيق تابع رگرسيون جامعه (PRF) بر اساس تابع رگرسيون نمونه (SRF) به روش حداقل مربعات معمولي (OLS) مي‌باشد. 
روش حداقل مربعات معمولي :
 اين روش منصوب به كارل فردريك گوس مي‌باشد. 
 قاعده كلي حداقل مربعات:
از آنجايي كه                مي‌باشد (اثبات ضميمه):

معادله اول نرمال    
 
 
2) معادله دوم نرمال 

0 = معادله اول نرمال    

0= معادله دوم نرمال    
تخمين زننده ها :
خصوصيات تخمين‌زننده‌ها
منحصراً بر حسب مقادير قابل مشاهده بيان مي‌شوند. 
تخمين زنهاي نقطه‌اي هستند.
خصوصيات خط رگرسيون
1. اين خط از ميانگين X و Y نمونه مي‌گذرد.    
2. مقدار متوسط Y تخمين زده شده  مساوي است بامقدار متوسط Y واقعي:                     

3.مقدار ميانگين باقيمانده‌ها (ei) صفر است.
             
 معادله اول  نرمال 

4. باقيمانده‌هاي ei با Yi پيش‌بيني شده همبستگي ندارند. 
با توجه به اين نكته كه

5. باقيمانده‌هاي ei با Xi همبستگي ندارند.
معادله دوم نرمال 
فرضيات اساسي روش حداقل مربعات 
فرض (1): ميانگين Uiها صفر است . E (Ui I Xi) = 0   
                              

فرض (2): عدم وجود خودهمبستگي بين uها 

فرض (3): يكساني (همساني) واريانس Uiها

فرض (4): كوواريانس صفر بين Ui و Xi 

 فرض فرعي: تمام مقادير X نبايد مشابه باشند.
 فرض (5): مدل رگرسيون دقيقاً تصريح شده است (عدم وجود خطاي تصريح يا تورش)

خطاي معيار (استاندارد) يا دقت تخمين‌هاي حداقل مربعات
فروض :

فروض:
ويژگيهاي واريانس: 
 1) واريانس    مستقيماً با        اما به طور معكوس با        تناسب دارد.
 2) واريانس    با      و          بطور مستقيم، ولي با            وحجم نمونه به طور معكوس تناسب دارد. 
 3)       و     از نمونه‌اي به نمونه ديگر تغيير مي‌يابند و در يك نمونه مفروض نيز وابسته به يكديگرند .
خصوصيات تخمين‎زننده‎هاي حداقل مربعات 
 1. خطي      
 2. بدون تورش                           کارآيي         جامعيت
 3. حداقل واريانس

قضيه گوس مارکف :
                با توجه به فروض مدل کلاسيک، رگرسيون خطي،تخمين‎زننده‎هاي حداقل مربعات در بين تخمين زننده‎هاي خطي، بدون تورش و داراي حداقل واريانس(BLUE) مي‎باشند.
    ضريب تعيين 2R: «معيار خوبي برازش» 
         معياري است که چگونگي خوبي برازش خط رگرسيون نمونه را اندازه‎گيري مي‎کند. 

مجموع مربعات كل (TSS)
                
مجموع مربعات توضيح داده شده (ESS)
           

مجموع مربعات باقيمانده (RSS)

                                   TSS = ESS + RSS      
رابطه قبل را بر TSS تقسيم مي‌كنيم:

ويژگي‌هاي R2:
1) كميتي غيرمنفي است.
2) 

معيار اندازه‌گيري ميزان همبستگي 
ويژگي هاي r :
1) مي‌تواند مثبت يا منفي باشد.
2) 
3) كميتي قرينه مي‌باشد.            r YX =  r XY
4) مستقل از مبدأ و مقياس اندازه‌گيري مي‌باشد.
5) اگر X و Y مستقل باشند ،ضريب همبستگي بين آنها صفر است اما عكس اين قضيه الزاماً صحيح نمي‌باشد.
6) معياري جهت همبستگي يا وابستگي خطي است و براي توصيف ارتباطات غيرخطي قابل استفاده نيست.
7) بيانگر هيچ‌گونه رابطه علت و معلولي نمي‌باشد .