Unde se aplică metoda celor mai mici pătrate? Metoda celor mai mici pătrate în Excel. Analiza regresiei Regresia cu cele mai mici pătrate

Alegerea tipului de funcție de regresie, de ex. tipul modelului considerat al dependenței lui Y de X (sau X de Y), de exemplu, un model liniar y x = a + bx, este necesar să se determine valorile specifice ale coeficienților modelului.

Pentru diferite valori ale lui a și b, este posibil să construim un număr infinit de dependențe de forma y x =a+bx, adică există un număr infinit de linii pe planul de coordonate, dar avem nevoie de o astfel de dependență încât corespunde în cel mai bun mod valorilor observate. Astfel, problema se reduce la selectarea celor mai buni coeficienți.

Căutăm o funcție liniară a + bx, bazată doar pe un anumit număr de observații disponibile. Pentru a găsi funcția cu cea mai bună potrivire la valorile observate, folosim metoda celor mai mici pătrate.

Se notează: Y i - valoarea calculată prin ecuația Y i =a+bx i . y i - valoarea măsurată, ε i =y i -Y i - diferența dintre valorile măsurate și cele calculate, ε i =y i -a-bx i .

Metoda celor mai mici pătrate necesită ca ε i , diferența dintre yi măsurat și valorile lui Y i calculate din ecuație, să fie minimă. Prin urmare, găsim coeficienții a și b astfel încât suma abaterilor pătrate ale valorilor observate de la valorile de pe dreapta de regresie să fie cea mai mică:

Investigand aceasta functie a argumentelor a si cu ajutorul derivatelor la un extrem, putem demonstra ca functia ia o valoare minima daca coeficientii a si b sunt solutii ale sistemului:

(2)

Dacă împărțim ambele părți ale ecuațiilor normale la n, obținem:

Dat fiind (3)

obține , de aici, înlocuind valoarea lui a în prima ecuație, obținem:

În acest caz, b se numește coeficient de regresie; a se numește membrul liber al ecuației de regresie și se calculează prin formula:

Linia dreaptă rezultată este o estimare pentru dreapta de regresie teoretică. Avem:

Asa de, este o ecuație de regresie liniară.

Regresia poate fi directă (b>0) și inversă (b Exemplul 1. Rezultatele măsurării valorilor X și Y sunt date în tabel:

Presupunând că există o relație liniară între X și Y y=a+bx, determinați coeficienții a și b folosind metoda celor mai mici pătrate.

Soluţie. Aici n=5
x i =-2+0+1+2+4=5;
x i 2 =4+0+1+4+16=25
x i y i =-2 0,5+0 1+1 1,5+2 2+4 3=16,5
y i =0,5+1+1,5+2+3=8

iar sistemul normal (2) are forma

Rezolvând acest sistem, obținem: b=0,425, a=1,175. Prin urmare y=1,175+0,425x.

Exemplul 2. Există un eșantion de 10 observații ale indicatorilor economici (X) și (Y).

Este necesar să găsiți o ecuație de regresie eșantion Y pe X. Construiți o dreaptă de regresie eșantion Y pe X.

Soluţie. 1. Să sortăm datele după valorile x i și y i . Primim un nou tabel:

Pentru a simplifica calculele, vom alcătui un tabel de calcul în care vom introduce valorile numerice necesare.

Conform formulei (4), calculăm coeficientul de regresie

și prin formula (5)

Astfel, ecuația de regresie a probei arată ca y=-59,34+1,3804x.
Să trasăm punctele (x i ; y i) pe planul de coordonate și să marchem dreapta de regresie.

Fig 4

Figura 4 arată cum sunt situate valorile observate în raport cu linia de regresie. Pentru a estima numeric abaterile lui y i de la Y i , unde y i sunt valori observate, iar Y i sunt valori determinate prin regresie, vom face un tabel:

Valorile Y i sunt calculate conform ecuației de regresie.

Abaterea vizibilă a unor valori observate de la linia de regresie se explică prin numărul mic de observații. Când se studiază gradul de dependență liniară a lui Y față de X, se ia în considerare numărul de observații. Forța dependenței este determinată de valoarea coeficientului de corelație.

Metoda celor mai mici pătrate este una dintre cele mai comune și mai dezvoltate datorită ei simplitatea și eficiența metodelor de estimare a parametrilor liniar. În același timp, trebuie avută o anumită precauție atunci când îl utilizați, deoarece modelele construite folosindu-l pot să nu îndeplinească o serie de cerințe privind calitatea parametrilor lor și, ca urmare, să nu reflecte „bine” modelele de dezvoltare a procesului.

Să luăm în considerare mai detaliat procedura de estimare a parametrilor unui model econometric liniar folosind metoda celor mai mici pătrate. Un astfel de model în formă generală poate fi reprezentat prin ecuația (1.2):

y t = a 0 + a 1 x 1 t +...+ a n x nt + ε t .

Datele inițiale la estimarea parametrilor a 0 , a 1 ,..., a n este vectorul valorilor variabilei dependente y= (y 1 , y 2 , ... , y T)" și matricea valorilor variabilelor independente

în care prima coloană, formată din unele, corespunde coeficientului modelului .

Metoda celor mai mici pătrate și-a primit numele pe baza principiului de bază conform căruia estimările parametrilor obținute pe baza ei trebuie să satisfacă: suma pătratelor erorii de model ar trebui să fie minimă.

Exemple de rezolvare a problemelor prin metoda celor mai mici pătrate

Exemplul 2.1. Societatea comercială are o rețea de 12 magazine, informații despre activitățile cărora sunt prezentate în tabel. 2.1.

Conducerea companiei ar dori să știe cum dimensiunea anuală depinde de zona de vânzare a magazinului.

Tabelul 2.1

Soluția celor mai mici pătrate. Să desemnăm - cifra de afaceri anuală a celui de-al-lea magazin, milioane de ruble; - suprafața de vânzare a celui de-al-lea magazin, mii m2.

Fig.2.1. Scatterplot pentru Exemplul 2.1

Pentru a determina forma relației funcționale dintre variabile și a construi un grafic de dispersie (Fig. 2.1).

Pe baza diagramei de dispersie, putem concluziona că cifra de afaceri anuală este dependentă pozitiv de zona de vânzare (adică, y va crește odată cu creșterea ). Cea mai potrivită formă de conexiune funcțională este − liniar.

Informațiile pentru calcule suplimentare sunt prezentate în tabel. 2.2. Folosind metoda celor mai mici pătrate, estimăm parametrii modelului econometric liniar cu un singur factor

Tabelul 2.2

În acest fel,

Prin urmare, cu o creștere a suprafeței de tranzacționare cu 1 mie m 2, restul fiind egale, cifra de afaceri medie anuală crește cu 67,8871 milioane de ruble.

Exemplul 2.2. Conducerea întreprinderii a observat că cifra de afaceri anuală depinde nu numai de zona de vânzare a magazinului (vezi exemplul 2.1), ci și de numărul mediu de vizitatori. Informațiile relevante sunt prezentate în tabel. 2.3.

Tabelul 2.3

Soluţie. Indicați - numărul mediu de vizitatori ai magazinului pe zi, mii de persoane.

Pentru a determina forma relației funcționale dintre variabile și a construi un grafic de dispersie (Fig. 2.2).

Pe baza diagramei de dispersie, putem concluziona că cifra de afaceri anuală este legată pozitiv de numărul mediu de vizitatori pe zi (adică, y va crește odată cu creșterea ). Forma dependenței funcționale este liniară.

Orez. 2.2. Scatterplot, de exemplu 2.2

Tabelul 2.4

În general, este necesar să se determine parametrii modelului econometric cu doi factori

y t \u003d a 0 + a 1 x 1 t + a 2 x 2 t + ε t

Informațiile necesare pentru calcule ulterioare sunt prezentate în tabel. 2.4.

Să estimăm parametrii unui model econometric liniar cu doi factori folosind metoda celor mai mici pătrate.

În acest fel,

Evaluarea coeficientului = 61,6583 arată că, în condițiile egale, cu o creștere a suprafeței de tranzacționare cu 1 mie m 2, cifra de afaceri anuală va crește cu o medie de 61,6583 milioane ruble.

Care găsește cea mai largă aplicație în diverse domenii ale științei și practicii. Poate fi fizică, chimie, biologie, economie, sociologie, psihologie și așa mai departe. Prin voința sorții, de multe ori trebuie să mă ocup de economie și, prin urmare, astăzi vă voi aranja un bilet către o țară uimitoare numită Econometrie=) … Cum nu vrei asta?! Este foarte bine - trebuie doar să te decizi! …Dar ceea ce probabil că vrei cu siguranță este să înveți cum să rezolvi problemele cele mai mici pătrate. Și mai ales cititorii harnici vor învăța să le rezolve nu doar cu acuratețe, ci și FOARTE RAPID ;-) Dar mai întâi expunerea generală a problemei+ exemplu înrudit:

Să fie studiați indicatorii într-o anumită materie care au o expresie cantitativă. În același timp, există toate motivele să credem că indicatorul depinde de indicator. Această ipoteză poate fi atât o ipoteză științifică, cât și bazată pe bun simț elementar. Să lăsăm totuși știința deoparte și să explorăm zone mai apetisante - și anume, magazinele alimentare. Se notează prin:

– spațiu comercial al unui magazin alimentar, mp,
- cifra de afaceri anuală a unui magazin alimentar, milioane de ruble.

Este destul de clar că, cu cât suprafața magazinului este mai mare, cu atât cifra de afaceri este mai mare în majoritatea cazurilor.

Să presupunem că după efectuarea de observații / experimente / calcule / dans cu o tamburină, avem la dispoziție date numerice:

Cu magazinele alimentare, cred că totul este clar: - aceasta este zona primului magazin, - cifra de afaceri anuală a acestuia, - zona celui de-al doilea magazin, - cifra de afaceri anuală etc. Apropo, nu este deloc necesar să aveți acces la materiale clasificate - o evaluare destul de precisă a cifrei de afaceri poate fi obținută folosind statistici matematice. Cu toate acestea, nu vă lăsați distras, cursul de spionaj comercial este deja plătit =)

Datele tabelare pot fi scrise și sub formă de puncte și descrise în mod obișnuit pentru noi. Sistemul cartezian .

Să răspundem la o întrebare importantă: de câte puncte sunt necesare pentru un studiu calitativ?

Cu cât mai mare cu atât mai bine. Setul minim admis este format din 5-6 puncte. În plus, cu o cantitate mică de date, rezultatele „anormale” nu ar trebui incluse în eșantion. Deci, de exemplu, un mic magazin de elită poate ajuta ordine de mărime mai mult decât „colegii lor”, distorsionând astfel modelul general care trebuie găsit!

Dacă este destul de simplu, trebuie să alegem o funcție, programa care trece cât mai aproape de puncte . O astfel de funcție este numită aproximând (aproximare - aproximare) sau functie teoretica . În general, aici apare imediat un „pretendint” evident - un polinom de grad înalt, al cărui grafic trece prin TOATE punctele. Dar această opțiune este complicată și adesea pur și simplu incorectă. (deoarece graficul se va „vânta” tot timpul și reflectă slab tendința principală).

Astfel, funcția dorită trebuie să fie suficient de simplă și, în același timp, să reflecte adecvat dependența. După cum ați putea ghici, una dintre metodele pentru găsirea unor astfel de funcții este numită cele mai mici pătrate. În primul rând, să analizăm esența sa într-un mod general. Fie ca o funcție să aproximeze datele experimentale:


Cum se evaluează acuratețea acestei aproximări? Să calculăm și diferențele (abaterile) dintre valorile experimentale și cele funcționale (studiam desenul). Primul gând care îmi vine în minte este de a estima cât de mare este suma, dar problema este că diferențele pot fi negative. (de exemplu, ) iar abaterile ca urmare a unei astfel de însumări se vor anula reciproc. Prin urmare, ca o estimare a preciziei aproximării, se sugerează să ia suma module abateri:

sau în formă pliată: (brusc, cine nu știe: este pictograma sumă și este o variabilă auxiliară-„contor”, care ia valori de la 1 la ).

Prin aproximarea punctelor experimentale cu diferite funcții, vom obține diferite valori ale lui , și este evident că acolo unde această sumă este mai mică, acea funcție este mai precisă.

O astfel de metodă există și este numită metoda modulului minim. Cu toate acestea, în practică a devenit mult mai răspândită. metoda celor mai mici pătrate, în care posibilele valori negative sunt eliminate nu prin modul, ci prin pătrarea abaterilor:

, după care eforturile sunt direcționate către selectarea unei astfel de funcție încât suma abaterilor pătrate era cât se poate de mică. De fapt, de aici și numele metodei.

Și acum revenim la un alt punct important: după cum sa menționat mai sus, funcția selectată ar trebui să fie destul de simplă - dar există și multe astfel de funcții: liniar , hiperbolic, exponenţială, logaritmică, pătratică etc. Și, bineînțeles, aici aș vrea imediat să „reduiesc domeniul de activitate”. Ce clasă de funcții să alegeți pentru cercetare? Tehnica primitivă, dar eficientă:

- Cel mai simplu mod de a atrage puncte pe desen și analizați locația acestora. Dacă tind să fie în linie dreaptă, atunci ar trebui să cauți ecuație în linie dreaptă cu valori optime și . Cu alte cuvinte, sarcina este de a găsi ACEPTĂ coeficienți - astfel încât suma abaterilor pătrate să fie cea mai mică.

Dacă punctele sunt situate, de exemplu, de-a lungul hiperbolă, atunci este clar că funcția liniară va da o aproximare slabă. În acest caz, căutăm cei mai „favorabili” coeficienți pentru ecuația hiperbolei - cele care dau suma minima de patrate .

Acum observați că în ambele cazuri vorbim despre funcţiile a două variabile, ale căror argumente sunt opțiuni de dependență căutate:

Și, în esență, trebuie să rezolvăm o problemă standard - să găsim minim de o funcție a două variabile.

Amintiți-vă exemplul nostru: să presupunem că punctele „magazin” tind să fie situate în linie dreaptă și că există toate motivele să credem că prezența relație liniară cifra de afaceri din zona de tranzactionare. Să găsim astfel de coeficienți „a” și „fi”, astfel încât suma abaterilor pătrate era cel mai mic. Totul ca de obicei - mai întâi derivate parțiale de ordinul I. Conform regula liniarității puteți diferenția chiar sub pictograma sumă:

Dacă doriți să folosiți aceste informații pentru un eseu sau o lucrare de curs, vă voi fi foarte recunoscător pentru linkul din lista de surse, nu veți găsi nicăieri astfel de calcule detaliate:

Să facem un sistem standard:

Reducem fiecare ecuație cu un „doi” și, în plus, „despărțim” sumele:

Notă : analizați în mod independent de ce „a” și „fi” pot fi scoase din pictograma sumă. Apropo, formal acest lucru se poate face cu suma

Să rescriem sistemul într-o formă „aplicată”:

după care începe să fie trasat algoritmul pentru rezolvarea problemei noastre:

Cunoaștem coordonatele punctelor? Noi stim. Sume putem gasi? Uşor. Compunem cel mai simplu sistem de două ecuații liniare cu două necunoscute("a" și "beh"). Rezolvăm sistemul, de exemplu, metoda lui Cramer, rezultând un punct staționar . Control condiție suficientă pentru un extremum, putem verifica că în acest moment funcția ajunge precis minim. Verificarea este asociată cu calcule suplimentare și, prin urmare, o vom lăsa în culise. (dacă este necesar, cadrul lipsă poate fi vizualizat). Tragem concluzia finală:

Funcţie cel mai bun mod (cel puțin în comparație cu orice altă funcție liniară) aproximează punctele experimentale . În linii mari, graficul său trece cât mai aproape de aceste puncte. In traditie econometrie funcţia de aproximare rezultată se mai numeşte ecuația de regresie liniară pereche .

Problema luată în considerare este de mare importanță practică. În situația cu exemplul nostru, ecuația vă permite să preziceți ce fel de cifră de afaceri ("yig") va fi la magazinul cu una sau alta valoare a zonei de vânzare (unul sau altul sens al lui „x”). Da, prognoza rezultată va fi doar o prognoză, dar în multe cazuri se va dovedi a fi destul de precisă.

Voi analiza doar o singură problemă cu numerele „reale”, deoarece nu există dificultăți în ea - toate calculele sunt la nivelul programului școlar din clasele 7-8. În 95% din cazuri, vi se va cere să găsiți doar o funcție liniară, dar la sfârșitul articolului voi arăta că nu este mai dificil să găsiți ecuațiile pentru hiperbola optimă, exponent și alte funcții.

De fapt, rămâne să distribuiți bunătățile promise - astfel încât să învățați cum să rezolvați astfel de exemple nu numai cu acuratețe, ci și rapid. Studiem cu atenție standardul:

O sarcină

În urma studierii relației dintre doi indicatori, s-au obținut următoarele perechi de numere:

Folosind metoda celor mai mici pătrate, găsiți funcția liniară care aproximează cel mai bine empiric (cu experienta) date. Realizați un desen pe care, într-un sistem de coordonate dreptunghiular cartezian, să trasați punctele experimentale și un grafic al funcției de aproximare . Aflați suma abaterilor pătrate dintre valorile empirice și teoretice. Aflați dacă funcția este mai bună (în ceea ce privește metoda celor mai mici pătrate) puncte experimentale aproximative.

Rețineți că valorile „x” sunt valori naturale, iar aceasta are o semnificație caracteristică, despre care voi vorbi puțin mai târziu; dar ele, desigur, pot fi fracționate. În plus, în funcție de conținutul unei anumite sarcini, atât valorile „X” cât și „G” pot fi complet sau parțial negative. Ei bine, ni s-a dat o sarcină „fără chip” și o începem soluţie:

Găsim coeficienții funcției optime ca soluție a sistemului:

În scopul unei notații mai compacte, variabila „contor” poate fi omisă, deoarece este deja clar că însumarea se realizează de la 1 la .

Este mai convenabil să calculați sumele necesare într-o formă tabelară:


Calculele pot fi efectuate pe un microcalculator, dar este mult mai bine să utilizați Excel - atât mai rapid, cât și fără erori; vezi un scurt video:

Astfel, obținem următoarele sistem:

Aici puteți înmulți a doua ecuație cu 3 și scădeți al 2-lea din prima ecuație termen cu termen. Dar acesta este noroc - în practică, sistemele nu sunt adesea dotate și, în astfel de cazuri, economisesc metoda lui Cramer:
, astfel încât sistemul are o soluție unică.

Hai să facem o verificare. Înțeleg că nu vreau, dar de ce să sari peste greșeli în care nu le poți rata? Înlocuiți soluția găsită în partea stângă a fiecărei ecuații a sistemului:

Se obțin părțile corecte ale ecuațiilor corespunzătoare, ceea ce înseamnă că sistemul este rezolvat corect.

Astfel, funcția de aproximare dorită: – de la toate funcțiile liniare datele experimentale sunt cel mai bine aproximate prin aceasta.

Spre deosebire de Drept dependenţa cifrei de afaceri a magazinului de suprafaţa acestuia, dependenţa constatată este verso (principiul „cu cât mai mult – cu atât mai puțin”), iar acest fapt este imediat relevat de negativ coeficient unghiular. Funcţie ne informează că odată cu creșterea unui anumit indicator cu 1 unitate, valoarea indicatorului dependent scade in medie cu 0,65 unități. După cum se spune, cu cât prețul hrișcii este mai mare, cu atât se vând mai puțin.

Pentru a reprezenta graficul funcției de aproximare, găsim două dintre valorile acesteia:

și executați desenul:


Linia construită se numește linie de tendință (și anume, o linie de tendință liniară, adică, în cazul general, o tendință nu este neapărat o linie dreaptă). Toată lumea este familiarizată cu expresia „a fi în tendință”, și cred că acest termen nu are nevoie de comentarii suplimentare.

Calculați suma abaterilor pătrate între valorile empirice şi cele teoretice. Din punct de vedere geometric, aceasta este suma pătratelor lungimii segmentelor „crimson”. (dintre care două sunt atât de mici încât nici nu le poți vedea).

Să rezumam calculele într-un tabel:


Ele pot fi din nou efectuate manual, doar în cazul în care voi da un exemplu pentru primul punct:

dar este mult mai eficient să faci modul deja cunoscut:

Să repetăm: care este sensul rezultatului? Din toate funcțiile liniare funcţie exponentul este cel mai mic, adică în familia sa este cea mai bună aproximare. Și aici, apropo, întrebarea finală a problemei nu este întâmplătoare: ce se întâmplă dacă funcția exponențială propusă va fi mai bine să aproximăm punctele experimentale?

Să găsim suma corespunzătoare a abaterilor pătrate - pentru a le distinge, le voi desemna cu litera „epsilon”. Tehnica este exact aceeași:


Și din nou pentru fiecare calcul de incendiu pentru primul punct:

În Excel, folosim funcția standard EXP (Sintaxa poate fi găsită în Ajutor Excel).

Concluzie: , deci funcția exponențială aproximează punctele experimentale mai rău decât dreapta .

Dar trebuie remarcat aici că „mai rău” este nu înseamnă încă, Ce s-a întâmplat. Acum am construit un grafic al acestei funcții exponențiale - și trece, de asemenea, aproape de puncte - atât de mult încât fără un studiu analitic este greu de spus care funcție este mai precisă.

Aceasta completează soluția și revin la întrebarea valorilor naturale ale argumentului. În diverse studii, de regulă, economice sau sociologice, lunile, anii sau alte intervale de timp egale sunt numerotate cu „X” natural. Luați în considerare, de exemplu, o astfel de problemă.

Metoda celor mai mici pătrate (LSM) vă permite să estimați diferite cantități folosind rezultatele multor măsurători care conțin erori aleatorii.

MNC caracteristic

Ideea principală a acestei metode este că suma erorilor pătrate este considerată un criteriu pentru acuratețea soluției problemei, care se urmărește a fi minimizată. Atunci când se utilizează această metodă, pot fi aplicate atât abordări numerice, cât și abordări analitice.

În special, ca implementare numerică, metoda celor mai mici pătrate implică realizarea cât mai multor măsurători ale unei variabile aleatoare necunoscute. Mai mult, cu cât mai multe calcule, cu atât soluția va fi mai precisă. Pe acest set de calcule (date inițiale) se obține un alt set de soluții propuse, din care apoi se selectează cea mai bună. Dacă mulțimea de soluții este parametrizată, atunci metoda celor mai mici pătrate se va reduce la găsirea valorii optime a parametrilor.

Ca abordare analitică a implementării LSM pe setul de date inițiale (măsurători) și setul de soluții propus, se definesc unele (funcționale), care pot fi exprimate printr-o formulă obținută ca o anumită ipoteză care trebuie confirmată. . În acest caz, metoda celor mai mici pătrate se reduce la găsirea minimului acestei funcționale pe setul de erori pătrate ale datelor inițiale.

Rețineți că nu erorile în sine, ci pătratele erorilor. De ce? Faptul este că adesea abaterile măsurătorilor de la valoarea exactă sunt atât pozitive, cât și negative. La determinarea mediei, suma simplă poate duce la o concluzie incorectă cu privire la calitatea estimării, deoarece anularea reciprocă a valorilor pozitive și negative va reduce puterea de eșantionare a setului de măsurători. Și, în consecință, acuratețea evaluării.

Pentru a preveni acest lucru, abaterile la pătrat sunt însumate. Mai mult decât atât, pentru a egaliza dimensiunea valorii măsurate și estimarea finală, se utilizează suma erorilor pătrate pentru a extrage

Unele aplicații ale MNC-urilor

MNC este utilizat pe scară largă în diverse domenii. De exemplu, în teoria probabilității și statistica matematică, metoda este utilizată pentru a determina o astfel de caracteristică a unei variabile aleatoare precum abaterea standard, care determină lățimea intervalului de valori ale variabilei aleatoare.

După aliniere, obținem o funcție de următoarea formă: g (x) = x + 1 3 + 1 .

Putem aproxima aceste date cu o relație liniară y = a x + b calculând parametrii corespunzători. Pentru a face acest lucru, va trebui să aplicăm așa-numita metodă a celor mai mici pătrate. De asemenea, va trebui să faceți un desen pentru a verifica care linie va alinia cel mai bine datele experimentale.

Ce este exact MOL (metoda celor mai mici pătrate)

Principalul lucru pe care trebuie să-l facem este să găsim astfel de coeficienți de dependență liniară la care valoarea funcției a două variabile F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 va fi cea mai mică . Cu alte cuvinte, pentru anumite valori ale lui a și b, suma abaterilor pătrate ale datelor prezentate de la linia dreaptă rezultată va avea o valoare minimă. Acesta este sensul metodei celor mai mici pătrate. Tot ce trebuie să facem pentru a rezolva exemplul este să găsim extremul funcției a două variabile.

Cum se obțin formule pentru calcularea coeficienților

Pentru a deriva formule de calcul a coeficientilor este necesara alcatuirea si rezolvarea unui sistem de ecuatii cu doua variabile. Pentru a face acest lucru, calculăm derivatele parțiale ale expresiei F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 față de a și b și le echivalăm cu 0 .

δ F (a , b) δ a = 0 δ F (a , b) δ b = 0 ⇔ - 2 ∑ i = 1 n (y i - (a x i + b)) x i = 0 - 2 ∑ i = 1 n ( y i - (a x i + b)) = 0 ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + ∑ i = 1 n b = ∑ i = 1 n y i ⇔ ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + n b = ∑ i = 1 n y i

Pentru a rezolva un sistem de ecuații, puteți utiliza orice metodă, cum ar fi substituția sau metoda lui Cramer. Ca rezultat, ar trebui să obținem formule care calculează coeficienții folosind metoda celor mai mici pătrate.

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n x i n

Am calculat valorile variabilelor pentru care funcția
F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 va lua valoarea minimă. În al treilea paragraf, vom demonstra de ce este așa.

Aceasta este aplicarea metodei celor mai mici pătrate în practică. Formula sa, care este folosită pentru a găsi parametrul a , include ∑ i = 1 n x i , ∑ i = 1 n y i , ∑ i = 1 n x i y i , ∑ i = 1 n x i 2 , iar parametrul
n - denotă cantitatea de date experimentale. Vă sfătuim să calculați fiecare sumă separat. Valoarea coeficientului b se calculează imediat după a .

Să revenim la exemplul inițial.

Exemplul 1

Aici avem n egal cu cinci. Pentru a face mai convenabil calculul sumelor necesare incluse în formulele coeficientului, completăm tabelul.

Soluţie

Al patrulea rând conține datele obținute prin înmulțirea valorilor din al doilea rând cu valorile celui de-al treilea pentru fiecare individ i . A cincea linie conține datele din al doilea pătrat. Ultima coloană arată sumele valorilor rândurilor individuale.

Să folosim metoda celor mai mici pătrate pentru a calcula coeficienții a și b de care avem nevoie. Pentru a face acest lucru, înlocuiți valorile dorite din ultima coloană și calculați sumele:

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n x i n ⇒ a = 5 8 - 12 12, 9 5 46 - 12 2 b = 12, 9 - a 12 5 ⇒ a ≈ 0, 165 b ≈ 2, 184

Am obținut că linia dreaptă de aproximare dorită va arăta ca y = 0, 165 x + 2, 184. Acum trebuie să determinăm care linie va aproxima cel mai bine datele - g (x) = x + 1 3 + 1 sau 0 , 165 x + 2 , 184 . Să facem o estimare folosind metoda celor mai mici pătrate.

Pentru a calcula eroarea, trebuie să găsim sumele abaterilor pătrate ale datelor din liniile σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 și σ 2 = ∑ i = 1 n (y i - g (x i)) 2 , valoarea minimă va corespunde unei linii mai potrivite.

σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 = = ∑ i = 1 5 (y i - (0 , 165 x i + 2 , 184)) 2 ≈ 0 , 019 σ 2 = ∑ i = 1 n (y i - g (x i)) 2 = = ∑ i = 1 5 (y i - (x i + 1 3 + 1)) 2 ≈ 0 , 096

Răspuns: deoarece σ 1< σ 2 , то прямой, наилучшим образом аппроксимирующей исходные данные, будет
y = 0 , 165 x + 2 , 184 .

Metoda celor mai mici pătrate este prezentată clar în ilustrația grafică. Linia roșie marchează linia dreaptă g (x) = x + 1 3 + 1, linia albastră marchează y = 0, 165 x + 2, 184. Datele brute sunt marcate cu puncte roz.

Să explicăm de ce sunt necesare exact aproximări de acest tip.

Ele pot fi utilizate în probleme care necesită netezirea datelor, precum și în acelea în care datele trebuie interpolate sau extrapolate. De exemplu, în problema discutată mai sus, se poate găsi valoarea mărimii observate y la x = 3 sau la x = 6 . Am dedicat un articol separat unor astfel de exemple.

Dovada metodei LSM

Pentru ca funcția să ia valoarea minimă pentru a și b calculat, este necesar ca la un punct dat matricea formei pătratice a diferenţialului funcţiei de forma F (a, b) = ∑ i = 1 n ( y i - (a x i + b)) 2 fi definit pozitiv. Să arătăm cum ar trebui să arate.

Exemplul 2

Avem o diferenţială de ordinul doi de următoarea formă:

d 2 F (a ; b) = δ 2 F (a ; b) δ a 2 d 2 a + 2 δ 2 F (a ; b) δ a δ b d a d b + δ 2 F (a ; b) δ b 2 d 2b

Soluţie

δ 2 F (a ; b) δ a 2 = δ δ F (a ; b) δ a δ a = = δ - 2 ∑ i = 1 n (y i - (a x i + b)) x i δ a = 2 ∑ i = 1 n (x i) 2 δ 2 F (a ; b) δ a δ b = δ δ F (a ; b) δ a δ b = = δ - 2 ∑ i = 1 n (y i - (a x i + b) ) x i δ b = 2 ∑ i = 1 n x i δ 2 F (a ; b) δ b 2 = δ δ F (a ; b) δ b δ b = δ - 2 ∑ i = 1 n (y i - (a x i + b)) δ b = 2 ∑ i = 1 n (1) = 2 n

Cu alte cuvinte, se poate scrie astfel: d 2 F (a ; b) = 2 ∑ i = 1 n (x i) 2 d 2 a + 2 2 ∑ x i i = 1 n d a d b + (2 n) d 2 b .

Am obţinut o matrice de formă pătratică M = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n .

În acest caz, valorile elementelor individuale nu se vor schimba în funcție de a și b. Este această matrice pozitivă definită? Pentru a răspunde la această întrebare, să verificăm dacă minorele sale unghiulare sunt pozitive.

Calculați unghiular de ordinul întâi: 2 ∑ i = 1 n (x i) 2 > 0 . Deoarece punctele x i nu coincid, inegalitatea este strictă. Vom ține cont de acest lucru în calculele ulterioare.

Calculăm minorul unghiular de ordinul doi:

d e t (M) = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n = 4 n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2

După aceea, trecem la demonstrarea inegalității n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 folosind inducția matematică.

1. Să verificăm dacă această inegalitate este valabilă pentru n arbitrar. Să luăm 2 și să calculăm:

2 ∑ i = 1 2 (x i) 2 - ∑ i = 1 2 x i 2 = 2 x 1 2 + x 2 2 - x 1 + x 2 2 = = x 1 2 - 2 x 1 x 2 + x 2 2 = x 1 + x 2 2 > 0

Am obținut egalitatea corectă (dacă valorile x 1 și x 2 nu se potrivesc).

1. Să presupunem că această inegalitate va fi adevărată pentru n , i.e. n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 – adevărat.
2. Acum să demonstrăm validitatea pentru n + 1 , adică. că (n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 > 0 dacă n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 .

Calculam:

(n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 = = (n + 1) ∑ i = 1 n (x i) 2 + x n + 1 2 - ∑ i = 1 n x i + x n + 1 2 = = n ∑ i = 1 n (x i) 2 + n x n + 1 2 + ∑ i = 1 n (x i) 2 + x n + 1 2 - - ∑ i = 1 n x i 2 + 2 x n + 1 ∑ i = 1 n x i + x n + 1 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + n x n + 1 2 - x n + 1 ∑ i = 1 n x i + ∑ i = 1 n (x i) 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + x n + 1 2 - 2 x n + 1 x 1 + x 1 2 + + x n + 1 2 - 2 x n + 1 x 2 + x 2 2 + . . . + x n + 1 2 - 2 x n + 1 x 1 + x n 2 = = n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + + (x n + 1 - x 1) 2 + (x n + 1) - x 2) 2 + . . . + (x n - 1 - x n) 2 > 0

Expresia cuprinsă între acolade va fi mai mare decât 0 (pe baza a ceea ce am presupus la pasul 2), iar restul termenilor va fi mai mare decât 0 deoarece toți sunt pătrate de numere. Am dovedit inegalitatea.

Răspuns: a și b găsite vor corespunde celei mai mici valori a funcției F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2, ceea ce înseamnă că sunt parametrii doriti ai metodei celor mai mici pătrate (LSM).

Dacă observați o greșeală în text, vă rugăm să o evidențiați și să apăsați Ctrl+Enter