Kur taikomas mažiausių kvadratų metodas? Mažiausių kvadratų metodas „Excel“. Regresinė analizė Mažiausių kvadratų regresija

Pasirinkus regresinės funkcijos tipą, t.y. nagrinėjamo Y priklausomybės nuo X (arba X nuo Y) modelio tipas, pavyzdžiui, tiesinis modelis y x \u003d a + bx, būtina nustatyti konkrečias koeficientų vertes. modelis.

Esant skirtingoms a ir b reikšmėms, galima sukurti begalinį skaičių y x =a+bx formos priklausomybių, t.y., koordinačių plokštumoje yra begalinis linijų skaičius, tačiau mums reikia tokios priklausomybės, kad geriausiai atitinka pastebėtas vertes. Taigi, problema sumažinama iki geriausių koeficientų parinkimo.

Mes ieškome tiesinės funkcijos a + bx, pagrįstos tik tam tikru turimų stebėjimų skaičiumi. Norėdami rasti funkciją, kuri geriausiai atitinka stebimas reikšmes, naudojame mažiausių kvadratų metodą.

Pažymėkite: Y i - reikšmė, apskaičiuota pagal lygtį Y i =a+bx i . y i - išmatuota vertė, ε i =y i -Y i - skirtumas tarp išmatuotų ir apskaičiuotų verčių, ε i =y i -a-bx i .

Mažiausių kvadratų metodas reikalauja, kad ε i , skirtumas tarp išmatuotų y i ir Y i reikšmių, apskaičiuotų pagal lygtį, būtų minimalus. Todėl koeficientus a ir b randame taip, kad stebimų verčių kvadratinių nuokrypių suma nuo tiesiosios regresijos linijos verčių būtų mažiausia:

Ištyrę šią argumentų a funkciją ir pasitelkę išvestines iki ekstremumo, galime įrodyti, kad funkcija įgyja minimalią reikšmę, jei koeficientai a ir b yra sistemos sprendiniai:

(2)

Jei abi normaliųjų lygčių puses padalinsime iš n, gausime:

Turint omenyje (3)

Gauk , iš čia, pakeitę a reikšmę pirmoje lygtyje, gauname:

Šiuo atveju b vadinamas regresijos koeficientu; a vadinamas laisvuoju regresijos lygties nariu ir apskaičiuojamas pagal formulę:

Gauta tiesė yra teorinės regresijos linijos įvertis. Mes turime:

Taigi, yra tiesinės regresijos lygtis.

Regresija gali būti tiesioginė (b>0) ir atvirkštinė (b 1 pavyzdys. X ir Y reikšmių matavimo rezultatai pateikti lentelėje:

Darant prielaidą, kad tarp X ir Y yra tiesinis ryšys y=a+bx, nustatykite koeficientus a ir b mažiausių kvadratų metodu.

Sprendimas. Čia n=5
x i =-2+0+1+2+4=5;
x i 2 =4+0+1+4+16=25
x i y i =-2 0,5+0 1+1 1,5+2 2+4 3=16,5
y i =0,5+1+1,5+2+3=8

o normali sistema (2) turi formą

Išspręsdami šią sistemą, gauname: b=0,425, a=1,175. Todėl y=1,175+0,425x.

2 pavyzdys. Yra 10 ekonominių rodiklių (X) ir (Y) stebėjimų imtis.

Reikia rasti imties regresijos lygtį Y ant X. Sukonstruoti imties regresijos tiesę Y ties X.

Sprendimas. 1. Surūšiuokime duomenis pagal reikšmes x i ir y i . Gauname naują lentelę:

Norėdami supaprastinti skaičiavimus, sudarysime skaičiavimo lentelę, kurioje įvesime reikiamas skaitines reikšmes.

Pagal (4) formulę apskaičiuojame regresijos koeficientą

ir pagal (5) formulę

Taigi imties regresijos lygtis atrodo taip: y=-59,34+1,3804x.
Nubraižykime taškus (x i ; y i) koordinačių plokštumoje ir pažymėkime regresijos tiesę.

4 pav

4 paveiksle parodyta, kaip stebimos reikšmės yra regresijos linijos atžvilgiu. Norėdami skaitiniu būdu įvertinti y i nuokrypius nuo Y i , kur y i yra stebimos reikšmės, o Y i yra regresijos būdu nustatytos vertės, sudarysime lentelę:

Y i reikšmės apskaičiuojamos pagal regresijos lygtį.

Pastebimas kai kurių pastebėtų verčių nukrypimas nuo regresijos linijos paaiškinamas nedideliu stebėjimų skaičiumi. Tiriant Y tiesinės priklausomybės nuo X laipsnį, atsižvelgiama į stebėjimų skaičių. Priklausomybės stiprumą lemia koreliacijos koeficiento reikšmė.

Mažiausių kvadratų metodas yra vienas iš labiausiai paplitusių ir labiausiai išvystytas dėl jo linijinių parametrų įvertinimo metodų paprastumas ir efektyvumas. Tuo pačiu metu jį naudojant reikia laikytis tam tikro atsargumo, nes naudojant jį sukurti modeliai gali neatitikti daugelio jų parametrų kokybės reikalavimų ir dėl to „negerai“ atspindėti proceso raidos modelius.

Išsamiau panagrinėkime tiesinio ekonometrinio modelio parametrų įvertinimo taikant mažiausiųjų kvadratų metodą procedūrą. Tokį modelį bendra forma galima pavaizduoti (1.2) lygtimi:

y t = a 0 + a 1 x 1 t +...+ a n x nt + ε t .

Pradiniai duomenys vertinant parametrus a 0 , a 1 ,..., a n yra priklausomo kintamojo reikšmių vektorius y= (y 1 , y 2 , ... , y T)" ir nepriklausomų kintamųjų reikšmių matrica

kuriame pirmasis stulpelis, susidedantis iš vienetų, atitinka modelio koeficientą .

Mažiausių kvadratų metodas gavo savo pavadinimą remiantis pagrindiniu principu, kad jo pagrindu gauti parametrų įverčiai turi atitikti: modelio paklaidos kvadratų suma turi būti minimali.

Užduočių sprendimo mažiausių kvadratų metodu pavyzdžiai

2.1 pavyzdys. Prekybos įmonė turi 12 parduotuvių tinklą, apie kurių veiklą informacija pateikta lentelėje. 2.1.

Įmonės vadovybė norėtų sužinoti, kaip metinis dydis priklauso nuo parduotuvės prekybos ploto.

2.1 lentelė

Mažiausių kvadratų sprendimas. Nurodykime - metinės parduotuvės apyvartą, milijonus rublių; - parduotuvės prekybos plotas, tūkst.m2.

2.1 pav. 2.1 pavyzdžio sklaida

Nustatyti funkcinio ryšio tarp kintamųjų formą ir sudaryti sklaidos diagramą (2.1 pav.).

Remiantis sklaidos diagrama, galime daryti išvadą, kad metinė apyvarta teigiamai priklauso nuo pardavimo ploto (t.y. y padidės augant ). Tinkamiausia funkcinio ryšio forma yra − linijinis.

Informacija apie tolesnius skaičiavimus pateikta lentelėje. 2.2. Naudodami mažiausių kvadratų metodą, įvertiname tiesinio vieno koeficiento ekonometrinio modelio parametrus

2.2 lentelė

Šiuo būdu,

Todėl, prekybos plotui padidėjus 1 tūkst. m 2, o kitiems rodikliams nesikeičiant, vidutinė metinė apyvarta padidėja 67,8871 mln. rublių.

2.2 pavyzdys.Įmonės vadovybė pastebėjo, kad metinė apyvarta priklauso ne tik nuo parduotuvės prekybos ploto (žr. 2.1 pavyzdį), bet ir nuo vidutinio lankytojų skaičiaus. Atitinkama informacija pateikta lentelėje. 2.3.

2.3 lentelė

Sprendimas. Pažymėkite – vidutinis parduotuvės lankytojų skaičius per dieną, tūkst. žmonių.

Nustatyti funkcinio ryšio tarp kintamųjų formą ir sudaryti sklaidos diagramą (2.2 pav.).

Remiantis sklaidos diagrama, galime daryti išvadą, kad metinė apyvarta yra teigiamai susijusi su vidutiniu lankytojų skaičiumi per dieną (t.y. y augs augant). Funkcinės priklausomybės forma yra tiesinė.

Ryžiai. 2.2. Taškinė diagrama, pavyzdžiui, 2.2

2.4 lentelė

Apskritai būtina nustatyti dviejų faktorių ekonometrinio modelio parametrus

y t \u003d a 0 + a 1 x 1 t + a 2 x 2 t + ε t

Informacija, reikalinga tolesniems skaičiavimams, pateikta lentelėje. 2.4.

Įvertinkime tiesinio dviejų faktorių ekonometrinio modelio parametrus mažiausių kvadratų metodu.

Šiuo būdu,

Įvertinus koeficientą =61,6583, matyti, kad, esant visiems kitiems dalykams, pardavimo plotui padidėjus 1 tūkst. m 2, metinė apyvarta padidės vidutiniškai 61,6583 mln.

Kuris randa plačiausią pritaikymą įvairiose mokslo ir praktikos srityse. Tai gali būti fizika, chemija, biologija, ekonomika, sociologija, psichologija ir t. t. ir taip toliau. Likimo valia man dažnai tenka susidurti su ekonomika, todėl šiandien pasirūpinsiu jums bilietu į nuostabią šalį, vadinamą Ekonometrija=) ... Kaip tu to nenori?! Ten labai gerai – tereikia apsispręsti! …Tačiau tikriausiai tikrai norite išmokti spręsti problemas mažiausių kvadratų. O ypač stropūs skaitytojai išmoks juos išspręsti ne tik tiksliai, bet ir LABAI GREITAI ;-) Bet pirmiausia bendras problemos išdėstymas+ susijęs pavyzdys:

Tegul rodikliai tiriami kokioje nors dalykinėje srityje, kuri turi kiekybinę išraišką. Tuo pačiu yra pagrindo manyti, kad rodiklis priklauso nuo rodiklio. Ši prielaida gali būti ir mokslinė hipotezė, ir pagrįsta elementariu sveiku protu. Tačiau palikime mokslą nuošalyje ir tyrinėkime patrauklesnes sritis – būtent bakalėjos parduotuves. Pažymėti taip:

– maisto prekių parduotuvės prekybos plotas, kv.m,
- maisto prekių parduotuvės metinė apyvarta, milijonai rublių.

Visiškai aišku, kad kuo didesnis parduotuvės plotas, tuo daugeliu atvejų didesnė jos apyvarta.

Tarkime, atlikę stebėjimus / eksperimentus / skaičiavimus / šokius su tamburinu, turime skaitinius duomenis:

Su bakalėjos parduotuvėmis, manau, viskas aišku: - tai 1-os parduotuvės plotas, - jos metinė apyvarta, - 2-osios parduotuvės plotas, - jos metinė apyvarta ir t.t. Beje, prieiti prie įslaptintos medžiagos visai nebūtina – gana tikslų apyvartos įvertinimą galima gauti naudojant matematinė statistika. Tačiau nesiblaškykite, komercinio šnipinėjimo kursas jau mokamas =)

Lentelinius duomenis taip pat galima rašyti taškų forma ir pavaizduoti mums įprastu būdu. Dekarto sistema .

Atsakykime į svarbų klausimą: kiek balų reikia kokybiniam tyrimui?

Kuo didesnis, tuo geriau. Minimalus leistinas rinkinys susideda iš 5-6 taškų. Be to, esant nedideliam duomenų kiekiui, „nenormalūs“ rezultatai neturėtų būti įtraukti į imtį. Taigi, pavyzdžiui, maža elito parduotuvė gali padėti daug daugiau nei „jų kolegos“, taip iškraipydami bendrą modelį, kurį reikia rasti!

Jei tai gana paprasta, turime pasirinkti funkciją, tvarkaraštį kuri eina kuo arčiau taškų . Tokia funkcija vadinama apytikslis (apytikslis - apytikslis) arba teorinė funkcija . Paprastai tariant, čia iš karto atsiranda akivaizdus „pretendentas“ – aukšto laipsnio daugianario, kurio grafikas eina per VISUS taškus. Tačiau ši parinktis yra sudėtinga ir dažnai tiesiog neteisinga. (nes diagrama visą laiką „vėjo“ ir prastai atspindės pagrindinę tendenciją).

Taigi norima funkcija turi būti pakankamai paprasta ir tuo pačiu adekvačiai atspindėti priklausomybę. Kaip jau galima spėti, vienas iš būdų rasti tokias funkcijas vadinamas mažiausių kvadratų. Pirmiausia bendrai panagrinėkime jo esmę. Tegul kuri nors funkcija apytiksliai atitinka eksperimentinius duomenis:


Kaip įvertinti šio aproksimavimo tikslumą? Taip pat apskaičiuokime skirtumus (nukrypimus) tarp eksperimentinių ir funkcinių verčių (mes studijuojame piešinį). Pirma mintis, kuri ateina į galvą, yra įvertinti, kokia suma yra didelė, tačiau problema ta, kad skirtumai gali būti neigiami. (pavyzdžiui, ) ir nukrypimai dėl tokio sumavimo panaikins vienas kitą. Todėl, kaip aproksimacijos tikslumo įvertinimą, ji siūlo paimti sumą moduliai nukrypimai:

arba sulankstyta forma: (staiga, kas nežino: yra sumos piktograma ir yra pagalbinis kintamasis - "skaitiklis", kuris užima reikšmes nuo 1 iki ).

Aproksimuodami eksperimentinius taškus su skirtingomis funkcijomis, gausime skirtingas reikšmes ir akivaizdu, kad kur ši suma mažesnė, ta funkcija tikslesnė.

Toks metodas egzistuoja ir vadinamas mažiausio modulio metodas. Tačiau praktikoje jis tapo daug plačiau paplitęs. mažiausių kvadratų metodas, kuriame galimos neigiamos reikšmės pašalinamos ne pagal modulį, o padalijus nuokrypius kvadratu:

, po kurio pastangos nukreipiamos į tokios funkcijos parinkimą, kad kvadratinių nuokrypių suma buvo kuo mažesnis. Tiesą sakant, iš čia ir kilo metodo pavadinimas.

Ir dabar grįžtame prie kito svarbaus dalyko: kaip minėta aukščiau, pasirinkta funkcija turėtų būti gana paprasta, tačiau tokių funkcijų taip pat yra daug: linijinis , hiperbolinis, eksponentinis, logaritminis, kvadratinis ir tt Ir, žinoma, čia iš karto norėčiau „sumažinti veiklos sritį“. Kokią funkcijų klasę pasirinkti tyrimui? Primityvi, bet efektyvi technika:

- Lengviausias būdas traukti taškus brėžinyje ir išanalizuokite jų vietą. Jei jie linkę būti tiesia linija, tuomet turėtumėte ieškoti tiesios linijos lygtis su optimaliomis reikšmėmis ir . Kitaip tariant, užduotis yra rasti TOKIUS koeficientus – kad kvadratinių nuokrypių suma būtų mažiausia.

Jei taškai yra, pavyzdžiui, išilgai hiperbolė, tada aišku, kad tiesinė funkcija duos prastą aproksimaciją. Šiuo atveju mes ieškome „palankiausių“ hiperbolės lygties koeficientų - tie, kurie duoda mažiausią kvadratų sumą .

Dabar atkreipkite dėmesį, kad abiem atvejais kalbame apie dviejų kintamųjų funkcijos, kurio argumentai yra ieškojo priklausomybės parinkčių:

O iš esmės reikia išspręsti standartinę problemą – surasti mažiausiai dviejų kintamųjų funkcijos.

Prisiminkite mūsų pavyzdį: tarkime, kad „parduotuvės“ taškai paprastai yra tiesioje linijoje ir yra pagrindo manyti, kad yra tiesinė priklausomybė apyvartos iš prekybos zonos. Raskime TOKIUS koeficientus "a" ir "būti", kad kvadratinių nuokrypių suma buvo mažiausias. Viskas kaip įprasta – pirma I eilės daliniai vediniai. Pagal tiesiškumo taisyklė galite atskirti tiesiai po sumos piktograma:

Jei norite šią informaciją panaudoti rašiniui ar kursiniam darbui, būsiu labai dėkingas už nuorodą šaltinių sąraše, tokių detalių skaičiavimų niekur nerasite:

Sukurkime standartinę sistemą:

Kiekvieną lygtį sumažiname „dviem“ ir, be to, „išskaidome“ sumas:

Pastaba : savarankiškai analizuokite, kodėl „a“ ir „be“ galima išimti iš sumos piktogramos. Beje, formaliai tai galima padaryti su suma

Perrašykime sistemą „taikoma“ forma:

po kurio pradedamas brėžti mūsų problemos sprendimo algoritmas:

Ar žinome taškų koordinates? Mes žinome. Sumos ar galime rasti? Lengvai. Mes sudarome paprasčiausią dviejų tiesinių lygčių su dviem nežinomaisiais sistema(„a“ ir „beh“). Mes išsprendžiame sistemą, pvz. Cramerio metodas, todėl susidaro stacionarus taškas . Tikrinama pakankama sąlyga ekstremumui, galime patikrinti, ar šiuo metu funkcija pasiekia tiksliai minimumas. Patikrinimas yra susijęs su papildomais skaičiavimais, todėl paliksime jį užkulisiuose. (jei reikia, trūkstamą kadrą galima peržiūrėti). Padarome galutinę išvadą:

Funkcija geriausias būdas (bent jau lyginant su bet kuria kita tiesine funkcija) apytiksliai prilygsta eksperimentiniams taškams . Grubiai tariant, jo grafikas eina kuo arčiau šių taškų. Pagal tradiciją ekonometrija taip pat vadinama gauta aproksimacinė funkcija suporuota tiesinės regresijos lygtis .

Nagrinėjama problema turi didelę praktinę reikšmę. Mūsų pavyzdyje – lygtis leidžia numatyti, kokia apyvarta ("yig") bus parduotuvėje su vienokia ar kitokia pardavimo ploto verte (viena ar kita "x" reikšmė). Taip, gauta prognozė bus tik prognozė, tačiau daugeliu atvejų ji pasirodys gana tiksli.

Išanalizuosiu tik vieną problemą su „tikraisiais“ skaičiais, nes joje nėra jokių sunkumų - visi skaičiavimai yra 7-8 klasių mokyklos programos lygiu. 95 procentais atvejų jūsų bus paprašyta rasti tiesiog tiesinę funkciją, tačiau pačioje straipsnio pabaigoje parodysiu, kad optimalios hiperbolės, eksponento ir kai kurių kitų funkcijų lygtis nėra sunkiau.

Tiesą sakant, belieka išdalinti žadėtas gėrybes – kad išmoktumėte tokius pavyzdžius išspręsti ne tik tiksliai, bet ir greitai. Atidžiai studijuojame standartą:

Užduotis

Ištyrus ryšį tarp dviejų rodiklių, gautos šios skaičių poros:

Naudodami mažiausių kvadratų metodą, raskite tiesinę funkciją, kuri geriausiai atitinka empirinę funkciją (Patyręs) duomenis. Padarykite brėžinį, kuriame Dekarto stačiakampėje koordinačių sistemoje nubraižykite eksperimentinius taškus ir aproksimacinės funkcijos grafiką . Raskite kvadratinių nuokrypių tarp empirinių ir teorinių verčių sumą. Sužinokite, ar funkcija bus geresnė (pagal mažiausiųjų kvadratų metodą) apytiksliai eksperimentiniai taškai.

Atkreipkite dėmesį, kad „x“ reikšmės yra natūralios vertybės, ir tai turi būdingą prasmingą reikšmę, apie kurią pakalbėsiu šiek tiek vėliau; bet jie, žinoma, gali būti trupmeniniai. Be to, atsižvelgiant į konkrečios užduoties turinį, „X“ ir „G“ reikšmės gali būti visiškai arba iš dalies neigiamos. Na, mes gavome „beveidę“ užduotį, ir mes ją pradedame sprendimas:

Kaip sistemos sprendimą randame optimalios funkcijos koeficientus:

Siekiant kompaktiškesnio žymėjimo, kintamojo „skaitiklis“ galima praleisti, nes jau aišku, kad sumavimas atliekamas nuo 1 iki .

Patogiau reikiamas sumas apskaičiuoti lentelės forma:


Skaičiavimai gali būti atliekami naudojant mikroskaičiuotuvą, tačiau daug geriau naudoti „Excel“ - tiek greičiau, tiek be klaidų; žiūrėkite trumpą vaizdo įrašą:

Taigi gauname štai ką sistema:

Čia galite padauginti antrą lygtį iš 3 ir iš 1-osios lygties atimkite 2-ąjį dėmenį. Bet tai yra sėkmė – praktikoje sistemos dažnai nėra padovanotos, ir tokiais atvejais tai gelbsti Cramerio metodas:
, todėl sistema turi unikalų sprendimą.

Patikrinkime. Suprantu, kad nenoriu, bet kam praleisti klaidas ten, kur jų tikrai negalima praleisti? Rastą sprendimą pakeiskite kiekvienos sistemos lygties kairėje pusėje:

Gaunamos tinkamos atitinkamų lygčių dalys, o tai reiškia, kad sistema išspręsta teisingai.

Taigi norima aproksimacinė funkcija: – nuo visos tiesinės funkcijos eksperimentinius duomenis geriausiai atitinka jis.

Skirtingai nei tiesiai parduotuvės apyvartos priklausomybė nuo jos ploto, nustatyta priklausomybė yra atvirkščiai (principas "kuo daugiau - tuo mažiau"), ir šį faktą iš karto atskleidžia neigiamas kampo koeficientas. Funkcija informuoja, kad padidėjus tam tikram rodikliui 1 vienetu, priklausomo rodiklio reikšmė mažėja vidutinis 0,65 vnt. Kaip sakoma, kuo didesnė grikių kaina, tuo mažiau parduodama.

Norėdami nubraižyti apytikslę funkciją, randame dvi jos reikšmes:

ir atlikite piešinį:


Sukonstruota linija vadinama tendencijų linija (būtent linijinė tendencijos linija, t. y. bendruoju atveju tendencija nebūtinai yra tiesi linija). Visi žino posakį „būti tendencijoje“, ir manau, kad šiam terminui papildomų komentarų nereikia.

Apskaičiuokite kvadratinių nuokrypių sumą tarp empirinių ir teorinių vertybių. Geometriškai tai yra „raudonųjų“ atkarpų ilgių kvadratų suma (iš kurių du tokie maži, kad net nesimatote).

Apibendrinkime skaičiavimus lentelėje:


Jie vėl gali būti atliekami rankiniu būdu, tik tuo atveju, jei pateiksiu 1 punkto pavyzdį:

bet daug efektyviau daryti jau žinomu būdu:

Pakartokime: kokia rezultato prasmė? Nuo visos tiesinės funkcijos funkcijoje eksponentas yra mažiausias, tai yra, jo šeimoje jis yra geriausias aproksimacija. Ir čia, beje, galutinis problemos klausimas neatsitiktinis: o jeigu siūloma eksponentinė funkcija ar būtų geriau apytiksliai eksperimentinius taškus?

Raskime atitinkamą kvadratinių nuokrypių sumą – kad juos atskirčiau, pažymėsiu raide „epsilon“. Technika lygiai tokia pati:


Ir dar kartą kiekvienam ugnies skaičiavimui 1 taškui:

Programoje „Excel“ naudojame standartinę funkciją EXP (Sintaksę galite rasti „Excel“ žinyne).

Išvada: , todėl eksponentinė funkcija eksperimentinius taškus aproksimuoja blogiau nei tiesė .

Bet čia reikia pažymėti, kad „blogiau“ yra dar nereiškia, kas blogai. Dabar sukūriau šios eksponentinės funkcijos grafiką – ji taip pat praeina arti taškų - tiek, kad be analitinio tyrimo sunku pasakyti, kuri funkcija tikslesnė.

Tai užbaigia sprendimą, ir aš grįžtu prie ginčo gamtinių vertybių klausimo. Įvairiuose tyrimuose, kaip taisyklė, ekonominiai ar sociologiniai mėnesiai, metai ar kiti vienodi laiko intervalai numeruojami natūraliu „X“. Apsvarstykite, pavyzdžiui, tokią problemą.

Mažiausių kvadratų metodas (LSM) leidžia įvertinti įvairius dydžius naudojant daugelio matavimų, kuriuose yra atsitiktinių paklaidų, rezultatus.

Būdingas MNC

Pagrindinė šio metodo idėja yra ta, kad klaidų kvadratų suma yra laikoma problemos sprendimo tikslumo kriterijumi, kurį siekiama sumažinti iki minimumo. Naudojant šį metodą, galima taikyti tiek skaitinius, tiek analitinius metodus.

Visų pirma, kaip skaitmeninis įgyvendinimas, mažiausių kvadratų metodas reiškia, kad reikia atlikti kuo daugiau nežinomo atsitiktinio dydžio matavimų. Be to, kuo daugiau skaičiavimų, tuo tikslesnis bus sprendimas. Remiantis šiuo skaičiavimų rinkiniu (pradiniais duomenimis), gaunamas kitas siūlomų sprendimų rinkinys, iš kurio atrenkamas geriausias. Jei sprendinių rinkinys yra parametrizuotas, mažiausių kvadratų metodas bus sumažintas iki optimalios parametrų reikšmės.

Kaip analitinis požiūris į LSM įgyvendinimą pradinių duomenų (matavimų) ir siūlomų sprendimų aibėje, apibrėžiami kai kurie (funkciniai), kuriuos galima išreikšti formule, gauta kaip tam tikra hipotezė, kurią reikia patvirtinti. . Šiuo atveju mažiausių kvadratų metodas sumažinamas iki šios funkcijos minimumo suradimo pradinių duomenų kvadratinių klaidų aibėje.

Atkreipkite dėmesį, kad ne pačios klaidos, o klaidų kvadratai. Kodėl? Faktas yra tas, kad dažnai matavimų nukrypimai nuo tikslios vertės yra teigiami ir neigiami. Nustatant vidurkį, paprastas sumavimas gali lemti neteisingą išvadą apie įvertinimo kokybę, nes abipusis teigiamų ir neigiamų verčių panaikinimas sumažins matavimų rinkinio atrankos galią. Ir, atitinkamai, vertinimo tikslumas.

Kad taip neatsitiktų, kvadratiniai nuokrypiai sumuojami. Dar daugiau, norint suvienodinti išmatuotos vertės ir galutinio įvertinimo matmenis, išgauti naudojama klaidų kvadratų suma

Kai kurios MNC programos

MNC plačiai naudojamas įvairiose srityse. Pavyzdžiui, tikimybių teorijoje ir matematinėje statistikoje metodas naudojamas norint nustatyti tokią atsitiktinio dydžio charakteristiką kaip standartinis nuokrypis, kuris nustato atsitiktinio dydžio verčių diapazono plotį.

Po lygiavimo gauname tokios formos funkciją: g (x) = x + 1 3 + 1 .

Šiuos duomenis galime aproksimuoti tiesiniu ryšiu y = a x + b, apskaičiavę atitinkamus parametrus. Norėdami tai padaryti, turėsime taikyti vadinamąjį mažiausių kvadratų metodą. Taip pat turėsite padaryti brėžinį, kad patikrintumėte, kuri linija geriausiai suderins eksperimentinius duomenis.

Kas tiksliai yra OLS (mažiausių kvadratų metodas)

Pagrindinis dalykas, kurį turime padaryti, yra rasti tokius tiesinės priklausomybės koeficientus, kuriems esant dviejų kintamųjų F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 funkcijos reikšmė būtų mažiausia . Kitaip tariant, esant tam tikroms a ir b reikšmėms, pateiktų duomenų kvadratinių nuokrypių nuo gautos tiesės suma turės mažiausią reikšmę. Tai yra mažiausių kvadratų metodo reikšmė. Viskas, ką turime padaryti, kad išspręstume pavyzdį, tai rasti dviejų kintamųjų funkcijos ekstremumą.

Kaip išvesti koeficientų skaičiavimo formules

Norint išvesti koeficientų skaičiavimo formules, reikia sudaryti ir išspręsti lygčių sistemą su dviem kintamaisiais. Tam apskaičiuojame išraiškos F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 dalines išvestines a ir b atžvilgiu ir prilyginame jas 0 .

δ F (a , b) δ a = 0 δ F (a , b) δ b = 0 ⇔ - 2 ∑ i = 1 n (y i - (a x i + b)) x i = 0 - 2 ∑ i = 1 n ( y i - (a x i + b)) = 0 ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + ∑ b i = a 1 n x i + ∑ b i = i = i ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + n b = ∑ i = 1 n y i

Norėdami išspręsti lygčių sistemą, galite naudoti bet kokius metodus, tokius kaip pakeitimas arba Cramerio metodas. Dėl to turėtume gauti formules, kurios apskaičiuoja koeficientus mažiausių kvadratų metodu.

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n i = 1 n - i i = 1 n x i 2 b = ∑ i = 1 n ∑ i = 1 n ∑ y

Mes apskaičiavome kintamųjų, kuriems taikoma funkcija, reikšmes
F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 įgis mažiausią reikšmę. Trečioje pastraipoje įrodysime, kodėl taip yra.

Tai mažiausių kvadratų metodo taikymas praktikoje. Jo formulė, kuri naudojama parametrui a rasti, apima ∑ i = 1 n x i, ∑ i = 1 n y i, ∑ i = 1 n x i y i, ∑ i = 1 n x i 2 ir parametrą
n – žymi eksperimentinių duomenų kiekį. Patariame kiekvieną sumą skaičiuoti atskirai. Koeficiento reikšmė b apskaičiuojama iš karto po a .

Grįžkime prie pradinio pavyzdžio.

1 pavyzdys

Čia mes turime n lygų penkiems. Kad būtų patogiau apskaičiuoti reikiamas sumas, įtrauktas į koeficientų formules, užpildome lentelę.

Sprendimas

Ketvirtoje eilutėje pateikiami duomenys, gauti padauginus antrosios eilutės reikšmes iš trečiosios kiekvieno asmens i . Penktoje eilutėje yra duomenys iš antrojo kvadrato. Paskutiniame stulpelyje rodomos atskirų eilučių verčių sumos.

Naudokime mažiausių kvadratų metodą, kad apskaičiuotume mums reikalingus koeficientus a ir b. Norėdami tai padaryti, pakeiskite norimas vertes iš paskutinio stulpelio ir apskaičiuokite sumas:

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 a i = 1 n 1 n i = 1 n 1 n - 12 12, 9 5 46 - 12 2 b = 12, 9 - a 12 5 ⇒ a ≈ 0, 165 b ≈ 2, 184

Gavome, kad norima apytikslė tiesė atrodys taip y = 0, 165 x + 2, 184. Dabar turime nustatyti, kuri eilutė geriausiai apytiksliai atitiks duomenis - g (x) = x + 1 3 + 1 arba 0 , 165 x + 2 , 184 . Apskaičiuokime mažiausių kvadratų metodą.

Norėdami apskaičiuoti paklaidą, turime rasti duomenų kvadratinių nuokrypių sumas iš eilučių σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 ir σ 2 = ∑ i = 1 n (y i - g (x i)) 2 , mažiausia reikšmė atitiks tinkamesnę eilutę.

σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 = = ∑ i = 1 5 (y i - (0 , 165 x i + 2 , 184)) 2 ≈ 0 , 019 σ i = ∑ i = ∑ i = 1 5 1 n (y i - g (x i)) 2 = = ∑ i = 1 5 (y i - (x i + 1 3 + 1)) 2 ≈ 0, 096

Atsakymas: nuo σ 1< σ 2 , то прямой, наилучшим образом аппроксимирующей исходные данные, будет
y = 0, 165 x + 2, 184.

Mažiausių kvadratų metodas aiškiai parodytas grafinėje iliustracijoje. Raudona linija žymi tiesę g (x) = x + 1 3 + 1, mėlyna linija žymi y = 0, 165 x + 2, 184. Neapdoroti duomenys pažymėti rausvais taškais.

Paaiškinkime, kodėl reikalingi būtent tokio tipo aproksimacijos.

Jie gali būti naudojami sprendžiant problemas, reikalaujančias duomenų išlyginimo, taip pat tose, kur duomenis reikia interpoliuoti arba ekstrapoliuoti. Pavyzdžiui, aukščiau aptartoje užduotyje būtų galima rasti stebimo dydžio y reikšmę, kai x = 3 arba kai x = 6 . Tokiems pavyzdžiams skyrėme atskirą straipsnį.

LSM metodo įrodymas

Kad funkcija gautų mažiausią apskaičiuotų a ir b reikšmę, būtina, kad tam tikrame taške formos F (a, b) formos diferencialo kvadratinės formos matrica = ∑ i = 1 n ( y i - (a x i + b)) 2 būti teigiamas apibrėžtas. Parodykime, kaip jis turėtų atrodyti.

2 pavyzdys

Turime šios formos antros eilės skirtumą:

d 2 F (a ; b) = δ 2 F (a ; b) δ a 2 d 2 a + 2 δ 2 F (a ; b) δ a δ b d a d b + δ 2 F (a ; b) δ b 2 d 2b

Sprendimas

δ 2 F (a ; b) δ a 2 = δ δ F (a ; b) δ a δ a = = δ - 2 ∑ i = 1 n (y i - (a x i + b)) x i δ a = 2 ∑ i = 1 n (x i) 2 δ 2 F (a ; b) δ a δ b = δ δ F (a ; b) δ a δ b = = δ - 2 ∑ i = 1 n (y i - (a x i + b) ) x i δ b = 2 ∑ i = 1 n x i δ 2 F (a ; b) δ b 2 = δ δ F (a ; b) δ b δ b = δ - 2 ∑ i = 1 n (y i - (a x i + b)) δ b = 2 ∑ i = 1 n (1) = 2 n

Kitaip tariant, jį galima parašyti taip: d 2 F (a ; b) = 2 ∑ i = 1 n (x i) 2 d 2 a + 2 2 ∑ x i i = 1 n d a d b + (2 n) d 2 b .

Gavome kvadratinės formos M = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n matricą.

Šiuo atveju atskirų elementų reikšmės nesikeis priklausomai nuo a ir b . Ar ši matrica yra teigiama? Norėdami atsakyti į šį klausimą, patikrinkime, ar jo kampiniai nepilnamečiai yra teigiami.

Apskaičiuokite pirmos eilės kampinį mažąjį: 2 ∑ i = 1 n (x i) 2 > 0 . Kadangi taškai x i nesutampa, nelygybė yra griežta. Tai atsižvelgsime į tolesnius skaičiavimus.

Apskaičiuojame antros eilės kampinį minorą:

d e t (M) = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n = 4 n ∑ i = 1 n (x i) 2 - 12 n i = i

Po to pereiname prie nelygybės n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 įrodymo, naudojant matematinę indukciją.

1. Patikrinkime, ar ši nelygybė galioja savavališkai n . Paimkime 2 ir apskaičiuokime:

2 ∑ i = 1 2 (x i) 2 - ∑ i = 1 2 x i 2 = 2 x 1 2 + x 2 2 - x 1 + x 2 2 = = x 1 2 - 2 x 1 x 2 + x 2 2 = x 1 + x 2 2 > 0

Gavome teisingą lygybę (jei reikšmės x 1 ir x 2 nesutampa).

1. Darykime prielaidą, kad ši nelygybė bus teisinga n , t.y. n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 – tiesa.
2. Dabar įrodykime pagrįstumą n + 1 , t.y. kad (n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 > 0, jei n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 .

Skaičiuojame:

(n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 = = (n + 1) ∑ i = 1 n (x i) 2 + x n + 1 2 - ∑ i = 1 n x i + x n + 1 2 = = n ∑ i = 1 n (x i) 2 + n x n + 1 2 + ∑ i = 1 n (x i) 2 + x n + 1 2 - - ∑ i = 1 n x i 2 + x n + 1 ∑ i = 1 n x i + x n + 1 2 = = ∑ i = 1 n (x i) 2 - i = 1 n x i 2 + n x n + 1 2 - x n + 1 + i = 1 n x n (x i) 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + x n + 1 2 - 2 x n + 1 x 1 + x 1 2 + + x n + 1 2 - 2 x n + 1 x 2 + x 2 2 + . . . + x n + 1 2 - 2 x n + 1 x 1 + x n 2 = = n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + + (x n + 1 - x 1) 2 + (x n + 1) - x 2) 2 + . . . + (x n - 1 - x n) 2 > 0

Išraiška, esanti riestiniuose skliaustuose, bus didesnė nei 0 (remiantis tuo, ką padarėme 2 veiksme), o likusieji terminai bus didesni už 0, nes jie visi yra skaičių kvadratai. Mes įrodėme nelygybę.

Atsakymas: rasti a ir b atitiks mažiausią funkcijos reikšmę F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2, o tai reiškia, kad jie yra pageidaujami mažiausių kvadratų metodo parametrai (LSM).

Jei tekste pastebėjote klaidą, pažymėkite ją ir paspauskite Ctrl+Enter