Metoda celor mai mici pătrate exemple de rezolvare a problemelor. Elaborarea unei prognoze folosind metoda celor mai mici pătrate. Un exemplu de rezolvare a unei probleme Rezolvarea unui sistem de ecuații prin metoda celor mai mici pătrate

Aproximăm funcția printr-un polinom de gradul 2. Pentru a face acest lucru, calculăm coeficienții sistemului normal de ecuații:

, ,

Să compunem un sistem normal de cele mai mici pătrate, care are forma:

Solutia sistemului se gaseste usor:, , .

Astfel, polinomul de gradul II se găsește: .

Context teoretic

Înapoi la pagină<Введение в вычислительную математику. Примеры>

Exemplul 2. Aflarea gradului optim al unui polinom.

Înapoi la pagină<Введение в вычислительную математику. Примеры>

Exemplul 3. Derivarea unui sistem normal de ecuații pentru găsirea parametrilor unei dependențe empirice.

Să derivăm un sistem de ecuații pentru determinarea coeficienților și funcțiilor , care realizează aproximarea rădăcină pătratică medie a funcției date în raport cu punctele. Compuneți o funcție și scrieți condiția extremum necesară pentru aceasta:

Atunci sistemul normal va lua forma:

Am obținut un sistem liniar de ecuații pentru parametrii necunoscuți și care este ușor de rezolvat.

Context teoretic

Înapoi la pagină<Введение в вычислительную математику. Примеры>

Exemplu.

Date experimentale despre valorile variabilelor Xși la sunt date în tabel.

Ca urmare a alinierii lor, funcția

Folosind metoda celor mai mici pătrate, aproximați aceste date cu o dependență liniară y=ax+b(găsiți opțiuni Ași b). Aflarea care dintre cele două linii este mai bună (în sensul metodei celor mai mici pătrate) aliniază datele experimentale. Faceți un desen.

Esența metodei celor mai mici pătrate (LSM).

Problema este de a găsi coeficienții de dependență liniară pentru care funcția a două variabile Ași bia cea mai mică valoare. Adică având în vedere datele Ași b suma abaterilor pătrate ale datelor experimentale de la linia dreaptă găsită va fi cea mai mică. Acesta este punctul întreg al metodei celor mai mici pătrate.

Astfel, soluția exemplului se reduce la găsirea extremului unei funcții a două variabile.

Derivarea formulelor pentru găsirea coeficienților.

Se compilează și se rezolvă un sistem de două ecuații cu două necunoscute. Găsirea derivatelor parțiale ale funcțiilor prin variabile Ași b, echivalăm aceste derivate cu zero.

Rezolvăm sistemul de ecuații rezultat prin orice metodă (de exemplu metoda de substitutie sau metoda lui Cramer) și obțineți formule pentru găsirea coeficienților folosind metoda celor mai mici pătrate (LSM).

Cu date Ași b funcţie ia cea mai mică valoare. Dovada acestui fapt este dată mai jos în textul de la sfârșitul paginii.

Aceasta este întreaga metodă a celor mai mici pătrate. Formula pentru găsirea parametrului A conține sumele , , , și parametrul n este cantitatea de date experimentale. Se recomandă ca valorile acestor sume să fie calculate separat.

Coeficient b găsit după calcul A.

Este timpul să ne amintim de exemplul original.

Soluţie.

În exemplul nostru n=5. Completam tabelul pentru comoditatea calculării sumelor care sunt incluse în formulele coeficienților necesari.

Valorile din al patrulea rând al tabelului se obțin prin înmulțirea valorilor celui de-al 2-lea rând cu valorile celui de-al 3-lea rând pentru fiecare număr i.

Valorile din al cincilea rând al tabelului se obțin prin pătrarea valorilor din al doilea rând pentru fiecare număr i.

Valorile ultimei coloane a tabelului sunt sumele valorilor de pe rânduri.

Folosim formulele metodei celor mai mici pătrate pentru a găsi coeficienții Ași b. Înlocuim în ele valorile corespunzătoare din ultima coloană a tabelului:

Prin urmare, y=0,165x+2,184 este linia dreaptă de aproximare dorită.

Rămâne să aflăm care dintre rânduri y=0,165x+2,184 sau aproximează mai bine datele originale, adică să facă o estimare folosind metoda celor mai mici pătrate.

Estimarea erorii metodei celor mai mici pătrate.

Pentru a face acest lucru, trebuie să calculați sumele abaterilor pătrate ale datelor originale din aceste linii și , o valoare mai mică corespunde unei linii care aproximează mai bine datele originale în ceea ce privește metoda celor mai mici pătrate.

De la , apoi linia y=0,165x+2,184 aproximează mai bine datele originale.

Ilustrare grafică a metodei celor mai mici pătrate (LSM).

Totul arată grozav în topuri. Linia roșie este linia găsită y=0,165x+2,184, linia albastră este , punctele roz sunt datele originale.

Pentru ce este, pentru ce sunt toate aceste aproximări?

Eu personal folosesc pentru a rezolva probleme de netezire a datelor, probleme de interpolare și extrapolare (în exemplul original, vi se poate cere să găsiți valoarea valorii observate y la x=3 sau când x=6 conform metodei MNC). Dar vom vorbi mai multe despre asta mai târziu într-o altă secțiune a site-ului.

Începutul paginii

Dovada.

Așa că atunci când este găsit Ași b funcția ia cea mai mică valoare, este necesar ca în acest moment matricea formei pătratice a diferenţialului de ordinul doi pentru funcţie a fost pozitiv definit. Să o arătăm.

Diferenţialul de ordinul doi are forma:

Acesta este

Prin urmare, matricea formei pătratice are forma

iar valorile elementelor nu depind de Ași b.

Să arătăm că matricea este definită pozitivă. Acest lucru necesită ca unghiurile minore să fie pozitive.

Minor unghiular de ordinul întâi . Inegalitatea este strictă, deoarece punctele nu coincid. Acest lucru va fi implicat în cele ce urmează.

Minor unghiular de ordinul doi

Să demonstrăm asta metoda de inducție matematică.

Concluzie: valori găsite Ași b corespund celei mai mici valori a funcției , prin urmare, sunt parametrii doriti pentru metoda celor mai mici pătrate.

Nu ai timp să-ți dai seama?
Comandați o soluție

Începutul paginii

Elaborarea unei prognoze folosind metoda celor mai mici pătrate. Exemplu de rezolvare a problemei

Extrapolarea — aceasta este o metodă de cercetare științifică, care se bazează pe diseminarea tendințelor, modelelor, relațiilor trecute și prezente cu dezvoltarea viitoare a obiectului de prognoză. Metodele de extrapolare includ metoda mediei mobile, metoda netezirii exponențiale, metoda celor mai mici pătrate.

Esență metoda celor mai mici pătrate constă în minimizarea sumei abaterilor pătrate dintre valorile observate şi cele calculate. Valorile calculate se găsesc în funcție de ecuația selectată - ecuația de regresie. Cu cât distanța dintre valorile reale și cele calculate este mai mică, cu atât prognoza este mai precisă pe baza ecuației de regresie.

Analiza teoretică a esenței fenomenului studiat, a cărui modificare este afișată printr-o serie temporală, servește drept bază pentru alegerea unei curbe. Considerații despre natura creșterii nivelurilor seriei sunt uneori luate în considerare. Deci, dacă creșterea producției este de așteptat într-o progresie aritmetică, atunci netezirea este efectuată în linie dreaptă. Dacă se dovedește că creșterea este exponențială, atunci netezirea ar trebui făcută în funcție de funcția exponențială.

Formula de lucru a metodei celor mai mici pătrate : Y t+1 = a*X + b, unde t + 1 este perioada de prognoză; Уt+1 – indicator prezis; a și b sunt coeficienți; X este un simbol al timpului.

Coeficienții a și b se calculează după următoarele formule:

unde, Uf - valorile reale ale seriei de dinamică; n este numărul de niveluri din seria temporală;

Netezirea seriilor de timp prin metoda celor mai mici pătrate servește la reflectarea tiparelor de dezvoltare a fenomenului studiat. În exprimarea analitică a unei tendințe, timpul este considerat ca o variabilă independentă, iar nivelurile seriei acționează în funcție de această variabilă independentă.

Dezvoltarea unui fenomen nu depinde de câți ani au trecut de la punctul de plecare, ci de ce factori i-au influențat dezvoltarea, în ce direcție și cu ce intensitate. Din aceasta rezultă clar că dezvoltarea unui fenomen în timp apare ca urmare a acțiunii acestor factori.

Stabilirea corectă a tipului de curbă, tipul de dependență analitică de timp este una dintre cele mai dificile sarcini ale analizei pre-predictive. .

Alegerea tipului de funcție care descrie tendința, ai cărui parametri sunt determinați prin metoda celor mai mici pătrate, este în majoritatea cazurilor empirică, prin construirea unui număr de funcții și compararea lor între ele în ceea ce privește valoarea rădăcinii. -eroare pătratică medie, calculată prin formula:

unde Uf - valorile reale ale seriei de dinamică; Ur – valori calculate (netezite) ale seriei de timp; n este numărul de niveluri din seria temporală; p este numărul de parametri definiți în formulele care descriu tendința (tendința de dezvoltare).

Dezavantajele metodei celor mai mici pătrate :

• atunci când se încearcă descrierea fenomenului economic studiat folosind o ecuație matematică, prognoza va fi precisă pentru o perioadă scurtă de timp și ecuația de regresie ar trebui recalculată pe măsură ce noi informații devin disponibile;
• complexitatea selecției ecuației de regresie, care poate fi rezolvată folosind programe de calculator standard.

Un exemplu de utilizare a metodei celor mai mici pătrate pentru a dezvolta o prognoză

O sarcină . Există date care caracterizează nivelul șomajului în regiune, %

• Construiți o prognoză a ratei șomajului în regiune pentru lunile noiembrie, decembrie, ianuarie, folosind metodele: medie mobilă, netezire exponențială, cele mai mici pătrate.
• Calculați erorile din prognozele rezultate folosind fiecare metodă.
• Comparați rezultatele obținute, trageți concluzii.

Soluția celor mai mici pătrate

Pentru rezolvare, vom alcătui un tabel în care vom face calculele necesare:

ε = 28,63/10 = 2,86% exactitatea prognozeiînalt.

Concluzie : Compararea rezultatelor obţinute în calcule metoda mediei mobile , netezire exponenţială și metoda celor mai mici pătrate, putem spune că eroarea relativă medie în calcule prin metoda de netezire exponențială se încadrează în 20-50%. Aceasta înseamnă că precizia predicției în acest caz este doar satisfăcătoare.

În primul și al treilea caz, acuratețea prognozei este mare, deoarece eroarea relativă medie este mai mică de 10%. Dar metoda mediei mobile a făcut posibilă obținerea unor rezultate mai fiabile (prognoză pentru noiembrie - 1,52%, prognoză pentru decembrie - 1,53%, prognoză pentru ianuarie - 1,49%), deoarece eroarea relativă medie la utilizarea acestei metode este cea mai mică - 1 ,13%.

Metoda celor mai mici pătrate

Alte articole conexe:

Lista surselor utilizate

1. Recomandări științifice și metodologice privind problemele diagnosticării riscurilor sociale și prognozării provocărilor, amenințărilor și consecințelor sociale. Universitatea Socială de Stat din Rusia. Moscova. 2010;
2. Vladimirova L.P. Prognoza si planificare in conditii de piata: Proc. indemnizatie. M .: Editura „Dashkov and Co”, 2001;
3. Novikova N.V., Pozdeeva O.G. Prognoza economiei naționale: Ghid educațional și metodologic. Ekaterinburg: Editura Ural. stat. economie universitate, 2007;
4. Slutskin L.N. Curs de MBA în previziunea afacerilor. Moscova: Alpina Business Books, 2006.

Programul MNE

Introduceți datele

Date și aproximare y = a + b x

i- numărul punctului experimental;
x i- valoarea parametrului fix la punct i;
y eu- valoarea parametrului măsurat în punct i;
ω i- greutate de măsurare la punct i;
y i, calc.- diferenţa dintre valoarea măsurată şi valoarea calculată din regresie y la punct i;
S x i (x i)- estimarea erorii x i la măsurare y la punct i.

Date și aproximare y = k x

Faceți clic pe diagramă

Manual de utilizare pentru programul online MNC.

În câmpul de date, introduceți pe fiecare linie separată valorile lui `x` și `y` la un punct experimental. Valorile trebuie separate prin spații albe (spațiu sau tab).

A treia valoare poate fi greutatea punctului lui `w`. Dacă greutatea punctului nu este specificată, atunci aceasta este egală cu unu. În majoritatea covârșitoare a cazurilor, ponderile punctelor experimentale sunt necunoscute sau necalculate; toate datele experimentale sunt considerate echivalente. Uneori, ponderile din intervalul de valori studiat nu sunt cu siguranță echivalente și pot fi chiar calculate teoretic. De exemplu, în spectrofotometrie, greutățile pot fi calculate folosind formule simple, deși practic toată lumea neglijează acest lucru pentru a reduce costurile cu forța de muncă.

Datele pot fi lipite prin clipboard dintr-o foaie de calcul dintr-o suită de birou, cum ar fi Excel din Microsoft Office sau Calc din Open Office. Pentru a face acest lucru, în foaia de calcul, selectați intervalul de date de copiat, copiați în clipboard și inserați datele în câmpul de date de pe această pagină.

Pentru a calcula prin metoda celor mai mici pătrate, sunt necesare cel puțin două puncte pentru a determina doi coeficienți `b` - tangenta unghiului de înclinare a dreptei și `a` - valoarea tăiată de linia dreaptă pe `y ` axa.

Pentru a estima eroarea coeficienților de regresie calculați, este necesar să setați numărul de puncte experimentale la mai mult de două.

Metoda celor mai mici pătrate (LSM).

Cu cât numărul de puncte experimentale este mai mare, cu atât estimarea statistică a coeficienților este mai precisă (datorită scăderii coeficientului Student) și cu atât estimarea este mai apropiată de estimarea eșantionului general.

Obținerea valorilor în fiecare punct experimental este adesea asociată cu costuri semnificative ale forței de muncă, prin urmare, se efectuează adesea un număr compromis de experimente, ceea ce oferă o estimare digerabilă și nu duce la costuri excesive ale forței de muncă. De regulă, numărul de puncte experimentale pentru o dependență liniară a celor mai mici pătrate cu doi coeficienți este ales în regiunea de 5-7 puncte.

O scurtă teorie a celor mai mici pătrate pentru dependența liniară

Să presupunem că avem un set de date experimentale sub formă de perechi de valori [`y_i`, `x_i`], unde `i` este numărul unei măsurători experimentale de la 1 la `n`; `y_i` - valoarea valorii măsurate în punctul `i`; `x_i` - valoarea parametrului pe care îl setăm în punctul `i`.

Un exemplu este operarea legii lui Ohm. Schimbând tensiunea (diferența de potențial) între secțiunile circuitului electric, măsurăm cantitatea de curent care trece prin această secțiune. Fizica ne oferă dependența găsită experimental:

„I=U/R”,
unde `I` - puterea curentului; `R` - rezistenta; `U` - tensiune.

În acest caz, `y_i` este valoarea curentului măsurat, iar `x_i` este valoarea tensiunii.

Ca un alt exemplu, luați în considerare absorbția luminii de către o soluție a unei substanțe în soluție. Chimia ne dă formula:

`A = εl C`,
unde „A” este densitatea optică a soluției; `ε` - transmitanța soluției; `l` - lungimea drumului când lumina trece printr-o cuvă cu o soluție; `C` este concentrația substanței dizolvate.

În acest caz, `y_i` este densitatea optică măsurată `A`, iar `x_i` este concentrația substanței pe care am stabilit-o.

Vom lua în considerare cazul în care eroarea relativă în setarea lui `x_i` este mult mai mică decât eroarea relativă în măsurarea `y_i`. De asemenea, vom presupune că toate valorile măsurate ale lui `y_i` sunt aleatorii și distribuite normal, adică. respectă legea distribuției normale.

În cazul unei dependențe liniare a lui `y` de `x`, putem scrie dependența teoretică:
`y = a + bx`.

Din punct de vedere geometric, coeficientul `b` denotă tangenta unghiului de înclinare al dreptei la axa `x`, iar coeficientul `a` - valoarea lui `y` în punctul de intersecție al linie cu axa `y` (cu `x = 0`).

Aflarea parametrilor dreptei de regresie.

Într-un experiment, valorile măsurate ale lui `y_i` nu pot sta exact pe linia teoretică din cauza erorilor de măsurare, care sunt întotdeauna inerente vieții reale. Prin urmare, o ecuație liniară trebuie reprezentată printr-un sistem de ecuații:
`y_i = a + b x_i + ε_i` (1),
unde `ε_i` este eroarea de măsurare necunoscută a lui `y` în al `i`-lea experiment.

Dependența (1) se mai numește regresie, adică dependenţa celor două mărimi una faţă de alta cu semnificaţie statistică.

Sarcina restabilirii dependenței este de a găsi coeficienții `a` și `b` din punctele experimentale [`y_i`, `x_i`].

Pentru a găsi coeficienții `a` și `b` se utilizează de obicei metoda celor mai mici pătrate(MNK). Este un caz special al principiului maximului probabilitate.

Să rescriem (1) ca `ε_i = y_i - a - b x_i`.

Apoi suma erorilor pătrate va fi
`Φ = sum_(i=1)^(n) ε_i^2 = sum_(i=1)^(n) (y_i - a - b x_i)^2`. (2)

Principiul metodei celor mai mici pătrate este de a minimiza suma (2) în raport cu parametrii `a` și `b`.

Minimul este atins atunci când derivatele parțiale ale sumei (2) față de coeficienții `a` și `b` sunt egale cu zero:
`frac(partial Φ)(partial a) = frac(partial sum_(i=1)^(n) (y_i - a - b x_i)^2)(partial a) = 0`
`frac(partial Φ)(partial b) = frac(partial sum_(i=1)^(n) (y_i - a - b x_i)^2)(partial b) = 0`

Extinderea derivatelor, obținem un sistem de două ecuații cu două necunoscute:
`sum_(i=1)^(n) (2a + 2bx_i - 2y_i) = sum_(i=1)^(n) (a + bx_i - y_i) = 0`
`sum_(i=1)^(n) (2bx_i^2 + 2ax_i - 2x_iy_i) = sum_(i=1)^(n) (bx_i^2 + ax_i - x_iy_i) = 0`

Deschidem parantezele și transferăm sumele independente de coeficienții doriti în cealaltă jumătate, obținem un sistem de ecuații liniare:
`sum_(i=1)^(n) y_i = a n + b sum_(i=1)^(n) bx_i`
`sum_(i=1)^(n) x_iy_i = a sum_(i=1)^(n) x_i + b sum_(i=1)^(n) x_i^2`

Rezolvând sistemul rezultat, găsim formule pentru coeficienții `a` și `b`:

`a = frac(sum_(i=1)^(n) y_i sum_(i=1)^(n) x_i^2 - sum_(i=1)^(n) x_i sum_(i=1)^(n) ) x_iy_i) (n sum_(i=1)^(n) x_i^2 — (sum_(i=1)^(n) x_i)^2)` (3.1)

`b = frac(n sum_(i=1)^(n) x_iy_i - sum_(i=1)^(n) x_i sum_(i=1)^(n) y_i) (n sum_(i=1)^ (n) x_i^2 - (sum_(i=1)^(n) x_i)^2)` (3.2)

Aceste formule au soluții când `n > 1` (linia poate fi trasă folosind cel puțin 2 puncte) și când determinantul `D = n sum_(i=1)^(n) x_i^2 — (sum_(i= 1) )^(n) x_i)^2 != 0`, adică. când punctele `x_i` din experiment sunt diferite (adică când linia nu este verticală).

Estimarea erorilor în coeficienții dreptei de regresie

Pentru o estimare mai precisă a erorii în calcularea coeficienților `a` și `b`, este de dorit un număr mare de puncte experimentale. Când `n = 2`, este imposibil să se estimeze eroarea coeficienților, deoarece linia de aproximare va trece în mod unic prin două puncte.

Se determină eroarea variabilei aleatoare `V` legea acumulării erorilor
`S_V^2 = sum_(i=1)^p (frac(partial f)(partial z_i))^2 S_(z_i)^2`,
unde `p` este numărul de parametri `z_i` cu eroare `S_(z_i)` care afectează eroarea `S_V`;
`f` este o funcție de dependență a lui `V` pe `z_i`.

Să scriem legea cumulării erorilor pentru eroarea coeficienților `a` și `b`
`S_a^2 = sum_(i=1)^(n)(frac(parțial a)(parțial y_i))^2 S_(y_i)^2 + sum_(i=1)^(n)(frac(parțial a) )(parțial x_i))^2 S_(x_i)^2 = S_y^2 sum_(i=1)^(n)(frac(parțial a)(parțial y_i))^2 `,
`S_b^2 = sum_(i=1)^(n)(frac(parțial b)(parțial y_i))^2 S_(y_i)^2 + sum_(i=1)^(n)(frac(parțial b) )(parțial x_i))^2 S_(x_i)^2 = S_y^2 sum_(i=1)^(n)(frac(parțial b)(parțial y_i))^2 `,
deoarece `S_(x_i)^2 = 0` (am făcut anterior o rezervă că eroarea lui `x` este neglijabilă).

`S_y^2 = S_(y_i)^2` - eroarea (varianță, abatere standard pătrată) în dimensiunea `y`, presupunând că eroarea este uniformă pentru toate valorile `y`.

Înlocuind formulele pentru calcularea `a` și `b` în expresiile rezultate, obținem

`S_a^2 = S_y^2 frac(sum_(i=1)^(n) (sum_(i=1)^(n) x_i^2 - x_i sum_(i=1)^(n) x_i)^2 ) (D^2) = S_y^2 frac((n sum_(i=1)^(n) x_i^2 - (sum_(i=1)^(n) x_i)^2) sum_(i=1) ^(n) x_i^2) (D^2) = S_y^2 frac(sum_(i=1)^(n) x_i^2) (D)` (4.1)

`S_b^2 = S_y^2 frac(sum_(i=1)^(n) (n x_i - sum_(i=1)^(n) x_i)^2) (D^2) = S_y^2 frac( n (n sum_(i=1)^(n) x_i^2 - (sum_(i=1)^(n) x_i)^2)) (D^2) = S_y^2 frac(n) (D) „(4.2)

În majoritatea experimentelor reale, valoarea lui `Sy` nu este măsurată. Pentru a face acest lucru, este necesar să se efectueze mai multe măsurători (experimente) paralele la unul sau mai multe puncte ale planului, ceea ce crește timpul (și eventual costul) experimentului. Prin urmare, de obicei se presupune că abaterea lui `y` de la linia de regresie poate fi considerată aleatorie. Estimarea varianței `y` în acest caz este calculată prin formula.

`S_y^2 = S_(y, rest)^2 = frac(sum_(i=1)^n (y_i - a - b x_i)^2) (n-2)`.

Divizorul `n-2` apare deoarece am redus numărul de grade de libertate datorită calculului a doi coeficienți pentru același eșantion de date experimentale.

Această estimare se mai numește și varianța reziduală relativă la dreapta de regresie `S_(y, rest)^2`.

Evaluarea semnificației coeficienților se realizează după criteriul Studentului

`t_a = frac(|a|) (S_a)`, `t_b = frac(|b|) (S_b)`

Dacă criteriile calculate `t_a`, `t_b` sunt mai mici decât criteriile tabelului `t(P, n-2)`, atunci se consideră că coeficientul corespunzător nu este semnificativ diferit de zero cu o probabilitate dată `P`.

Pentru a evalua calitatea descrierii unei relații liniare, puteți compara `S_(y, rest)^2` și `S_(bar y)` relativ la medie folosind criteriul Fisher.

`S_(bar y) = frac(sum_(i=1)^n (y_i - bar y)^2) (n-1) = frac(sum_(i=1)^n (y_i - (sum_(i=) 1)^n y_i) /n)^2) (n-1)` - estimarea eșantionului a varianței lui `y` față de medie.

Pentru a evalua eficacitatea ecuației de regresie pentru descrierea dependenței, se calculează coeficientul Fisher
`F = S_(bar y) / S_(y, rest)^2`,
care este comparat cu coeficientul Fisher tabelar `F(p, n-1, n-2)`.

Dacă `F > F(P, n-1, n-2)`, diferența dintre descrierea dependenței `y = f(x)` folosind ecuația de regresie și descrierea folosind media este considerată semnificativă statistic cu probabilitate `P`. Acestea. regresia descrie dependența mai bine decât răspândirea lui `y` în jurul mediei.

Faceți clic pe diagramă
pentru a adăuga valori la tabel

Metoda celor mai mici pătrate. Metoda celor mai mici pătrate înseamnă determinarea parametrilor necunoscuți a, b, c, dependența funcțională acceptată

Metoda celor mai mici pătrate înseamnă determinarea unor parametri necunoscuți a, b, c,... dependenta functionala acceptata

y = f(x,a,b,c,...),

care ar furniza un minim al pătratului mediu (varianta) erorii

, (24)

unde x i , y i - mulţime de perechi de numere obţinute din experiment.

Deoarece condiția pentru extremul unei funcții a mai multor variabile este condiția ca derivatele sale parțiale să fie egale cu zero, atunci parametrii a, b, c,... sunt determinate din sistemul de ecuații:

; ; ; … (25)

Trebuie amintit că metoda celor mai mici pătrate este utilizată pentru a selecta parametrii după forma funcției y = f(x) definit.

Dacă din considerente teoretice este imposibil să tragem concluzii despre care ar trebui să fie formula empirică, atunci trebuie să ne ghidăm după reprezentări vizuale, în primul rând printr-o reprezentare grafică a datelor observate.

În practică, cel mai adesea limitat la următoarele tipuri de funcții:

1) liniară ;

2) a pătratică .

(Vezi poza). Este necesar să găsiți ecuația unei linii drepte

Cu cât numărul în valoare absolută este mai mic, cu atât se alege mai bine linia dreaptă (2). Ca o caracteristică a preciziei selecției unei linii drepte (2), putem lua suma pătratelor

Condițiile minime pentru S vor fi

	(6)
	(7)

Ecuațiile (6) și (7) pot fi scrise sub următoarea formă:

	(8)
	(9)

Din ecuațiile (8) și (9) este ușor de găsit a și b din valorile experimentale x i și y i . Linia (2) definită prin ecuațiile (8) și (9) se numește dreptă obținută prin metoda celor mai mici pătrate (acest nume subliniază că suma pătratelor S are un minim). Ecuațiile (8) și (9), din care se determină linia dreaptă (2), se numesc ecuații normale.

Este posibil să se indice un mod simplu și general de compilare a ecuațiilor normale. Folosind punctele experimentale (1) și ecuația (2), putem scrie sistemul de ecuații pentru a și b

Înmulțiți părțile din stânga și dreapta ale fiecăreia dintre aceste ecuații cu coeficientul de la prima necunoscută a (adică x 1 , x 2 , ..., x n) și adăugați ecuațiile rezultate, rezultând prima ecuație normală (8).

Înmulțim părțile stânga și dreaptă ale fiecăreia dintre aceste ecuații cu coeficientul celei de-a doua necunoscute b, adică. cu 1 și adăugați ecuațiile rezultate, rezultând a doua ecuație normală (9).

Această metodă de obținere a ecuațiilor normale este generală: este potrivită, de exemplu, pentru funcție

este o valoare constantă și trebuie determinată din datele experimentale (1).

Sistemul de ecuații pentru k se poate scrie:

Găsiți linia (2) folosind metoda celor mai mici pătrate.

Soluţie. Găsim:

x i =21, y i =46,3, x i 2 =91, x i y i =179,1.

Scriem ecuațiile (8) și (9)

De aici găsim

Estimarea preciziei metodei celor mai mici pătrate

Să dăm o estimare a preciziei metodei pentru cazul liniar când are loc ecuația (2).

Fie valorile experimentale x i exacte, iar valorile experimentale y i au erori aleatoare cu aceeași varianță pentru tot i.

Introducem notația

Atunci soluțiile ecuațiilor (8) și (9) pot fi reprezentate ca

	(17)
	(18)
Unde
	(19)
Din ecuația (17) găsim
	(20)
În mod similar, din ecuația (18) obținem
	(21)
deoarece
	(22)
Din ecuațiile (21) și (22) găsim
	(23)

Ecuațiile (20) și (23) oferă o estimare a preciziei coeficienților determinați de ecuațiile (8) și (9).

Rețineți că coeficienții a și b sunt corelați. Prin simple transformări găsim momentul de corelare a acestora.

De aici găsim

0,072 la x=1 și 6,

0,041 la x=3,5.

Literatură

Ţărm. Ya. B. Metode statistice de analiză și control al calității și fiabilității. M.: Gosenergoizdat, 1962, p. 552, p. 92-98.

Această carte este destinată unei game largi de ingineri (institute de cercetare, birouri de proiectare, locuri de testare și fabrici) implicați în determinarea calității și fiabilității echipamentelor electronice și a altor produse industriale de masă (construcții de mașini, fabricarea de instrumente, artilerie etc.).

Cartea oferă o aplicare a metodelor statisticii matematice la prelucrarea și evaluarea rezultatelor testelor, în care se determină calitatea și fiabilitatea produselor testate. Pentru comoditatea cititorilor, sunt oferite informațiile necesare din statisticile matematice, precum și un număr mare de tabele matematice auxiliare care facilitează calculele necesare.

Prezentarea este ilustrată de un număr mare de exemple preluate din domeniul electronicii radio și al tehnologiei de artilerie.

Metoda celor mai mici pătrate este una dintre cele mai comune și mai dezvoltate datorită ei simplitatea și eficiența metodelor de estimare a parametrilor liniar. În același timp, trebuie avută o anumită precauție atunci când îl utilizați, deoarece modelele construite folosindu-l pot să nu îndeplinească o serie de cerințe pentru calitatea parametrilor lor și, ca urmare, să nu reflecte „bine” modelele de dezvoltare a procesului.

Să luăm în considerare mai detaliat procedura de estimare a parametrilor unui model econometric liniar folosind metoda celor mai mici pătrate. Un astfel de model în formă generală poate fi reprezentat prin ecuația (1.2):

y t = a 0 + a 1 x 1 t +...+ a n x nt + ε t .

Datele inițiale la estimarea parametrilor a 0 , a 1 ,..., a n este vectorul valorilor variabilei dependente y= (y 1 , y 2 , ... , y T)" și matricea valorilor variabilelor independente

în care prima coloană, formată din unele, corespunde coeficientului modelului .

Metoda celor mai mici pătrate și-a primit numele pe baza principiului de bază conform căruia estimările parametrilor obținute pe baza ei ar trebui să satisfacă: suma pătratelor erorii de model ar trebui să fie minimă.

Exemple de rezolvare a problemelor prin metoda celor mai mici pătrate

Exemplul 2.1. Societatea comercială are o rețea de 12 magazine, informații despre activitățile cărora sunt prezentate în tabel. 2.1.

Conducerea companiei ar dori să știe cum dimensiunea anuală depinde de zona de vânzare a magazinului.

Tabelul 2.1

Soluția celor mai mici pătrate. Să desemnăm - cifra de afaceri anuală a celui de-al-lea magazin, milioane de ruble; - suprafața de vânzare a celui de-al-lea magazin, mii m2.

Fig.2.1. Scatterplot pentru Exemplul 2.1

Pentru a determina forma relației funcționale dintre variabile și a construi un grafic de dispersie (Fig. 2.1).

Pe baza diagramei de dispersie, putem concluziona că cifra de afaceri anuală este dependentă pozitiv de zona de vânzare (adică, y va crește odată cu creșterea ). Cea mai potrivită formă de conexiune funcțională este − liniar.

Informațiile pentru calcule suplimentare sunt prezentate în tabel. 2.2. Folosind metoda celor mai mici pătrate, estimăm parametrii modelului econometric liniar cu un singur factor

Tabelul 2.2

În acest fel,

Prin urmare, cu o creștere a suprafeței de tranzacționare cu 1 mie m 2, restul fiind egale, cifra de afaceri medie anuală crește cu 67,8871 milioane de ruble.

Exemplul 2.2. Conducerea întreprinderii a observat că cifra de afaceri anuală depinde nu numai de zona de vânzare a magazinului (vezi exemplul 2.1), ci și de numărul mediu de vizitatori. Informațiile relevante sunt prezentate în tabel. 2.3.

Tabelul 2.3

Soluţie. Indicați - numărul mediu de vizitatori ai magazinului pe zi, mii de persoane.

Pentru a determina forma relației funcționale dintre variabile și a construi un grafic de dispersie (Fig. 2.2).

Pe baza diagramei de dispersie, putem concluziona că cifra de afaceri anuală este legată pozitiv de numărul mediu de vizitatori pe zi (adică, y va crește odată cu creșterea ). Forma dependenței funcționale este liniară.

Orez. 2.2. Scatterplot, de exemplu 2.2

Tabelul 2.4

În general, este necesar să se determine parametrii modelului econometric cu doi factori

y t \u003d a 0 + a 1 x 1 t + a 2 x 2 t + ε t

Informațiile necesare pentru calcule ulterioare sunt prezentate în tabel. 2.4.

Să estimăm parametrii unui model econometric liniar cu doi factori folosind metoda celor mai mici pătrate.

În acest fel,

Evaluarea coeficientului = 61,6583 arată că, în condițiile egale, cu o creștere a suprafeței de tranzacționare cu 1 mie m 2, cifra de afaceri anuală va crește cu o medie de 61,6583 milioane ruble.

• lecție introductivă este gratuit;
• Un număr mare de profesori cu experiență (nativi și vorbitori de limbă rusă);
• Cursuri NU pentru o anumită perioadă (lună, șase luni, an), ci pentru un anumit număr de lecții (5, 10, 20, 50);
• Peste 10.000 de clienți mulțumiți.
• Costul unei lecții cu un profesor vorbitor de limbă rusă - de la 600 de ruble, cu un vorbitor nativ - de la 1500 de ruble

Esența metodei celor mai mici pătrate este în găsirea parametrilor unui model de tendință care descrie cel mai bine tendința de dezvoltare a unui fenomen aleatoriu în timp sau spațiu (o tendință este o linie care caracterizează tendința acestei dezvoltări). Sarcina metodei celor mai mici pătrate (OLS) este de a găsi nu doar un model de tendință, ci de a găsi cel mai bun sau optim model. Acest model va fi optim dacă suma abaterilor pătrate dintre valorile reale observate și valorile de tendință calculate corespunzătoare este minimă (cea mai mică):

unde este abaterea standard dintre valoarea reală observată

și valoarea de tendință calculată corespunzătoare,

Valoarea reală (observată) a fenomenului studiat,

Valoarea estimată a modelului de tendință,

Numărul de observații ale fenomenului studiat.

MNC este rareori folosit pe cont propriu. De regulă, cel mai adesea este folosit doar ca tehnică necesară în studiile de corelație. Trebuie amintit că baza informațională a LSM poate fi doar o serie statistică de încredere, iar numărul de observații nu trebuie să fie mai mic de 4, în caz contrar, procedurile de netezire ale LSM-ului își pot pierde bunul simț.

Setul de instrumente OLS este redus la următoarele proceduri:

Prima procedură. Se dovedește dacă există vreo tendință de a schimba atributul rezultat atunci când factorul-argument selectat se schimbă sau, cu alte cuvinte, dacă există o legătură între " la " și " X ».

A doua procedură. Se stabilește care linie (traiectorie) este cel mai în măsură să descrie sau să caracterizeze această tendință.

A treia procedură.

Exemplu. Să presupunem că avem informații despre randamentul mediu de floarea soarelui pentru ferma studiată (Tabelul 9.1).

Tabelul 9.1

Întrucât nivelul tehnologiei în producția de floarea soarelui în țara noastră nu s-a schimbat foarte mult în ultimii 10 ani, înseamnă că, cel mai probabil, fluctuațiile de producție în perioada analizată au depins foarte mult de fluctuațiile condițiilor meteo și climatice. Este adevarat?

Prima procedură MNC. Se testează ipoteza despre existența unei tendințe de modificare a randamentului de floarea-soarelui în funcție de modificările condițiilor meteo și climatice pe parcursul celor 10 ani analizați.

În acest exemplu, pentru " y » este indicat să luați randamentul de floarea soarelui, iar pentru « X » este numărul anului observat în perioada analizată. Testarea ipotezei despre existența oricărei relații între " X " și " y » se poate face in doua moduri: manual si cu ajutorul programelor de calculator. Desigur, odată cu disponibilitatea tehnologiei informatice, această problemă se rezolvă de la sine. Dar, pentru a înțelege mai bine setul de instrumente OLS, este recomandabil să testați ipoteza despre existența unei relații între " X " și " y » manual, când sunt la îndemână doar un pix și un calculator obișnuit. În astfel de cazuri, ipoteza existenței unei tendințe este cel mai bine verificată vizual prin locația imaginii grafice a seriei temporale analizate - câmpul de corelație:

Câmpul de corelație din exemplul nostru este situat în jurul unei linii care crește încet. Acest lucru în sine indică existența unei anumite tendințe în schimbarea producției de floarea soarelui. Este imposibil să vorbim despre prezența oricărei tendințe doar atunci când câmpul de corelare arată ca un cerc, un cerc, un nor strict vertical sau strict orizontal sau este format din puncte împrăștiate aleatoriu. În toate celelalte cazuri, ipoteza existenței unei relații între " X " și " y și continuă cercetarea.

A doua procedură MNC. Se determină care linie (traiectorie) este cel mai în măsură să descrie sau să caracterizeze tendința modificărilor producției de floarea-soarelui pentru perioada analizată.

Odată cu disponibilitatea tehnologiei informatice, selectarea tendinței optime are loc automat. Cu prelucrarea „manuală”, alegerea funcției optime se realizează, de regulă, într-un mod vizual - prin locația câmpului de corelare. Adică, în funcție de tipul de diagramă, este selectată ecuația liniei, care se potrivește cel mai bine tendinței empirice (la traiectoria reală).

După cum știți, în natură există o mare varietate de dependențe funcționale, așa că este extrem de dificil să analizați vizual chiar și o mică parte din ele. Din fericire, în practica economică reală, majoritatea relațiilor pot fi descrise cu acuratețe fie printr-o parabolă, fie printr-o hiperbolă, fie printr-o linie dreaptă. În acest sens, cu opțiunea „manual” pentru selectarea celei mai bune funcții, te poți limita doar la aceste trei modele.

Parabola de ordinul doi: :

Este ușor de observat că, în exemplul nostru, tendința de modificare a producției de floarea-soarelui pe parcursul celor 10 ani analizați este cel mai bine caracterizată printr-o linie dreaptă, astfel încât ecuația de regresie va fi o ecuație în linie dreaptă.

A treia procedură. Se calculează parametrii ecuației de regresie care caracterizează această linie sau, cu alte cuvinte, se determină o formulă analitică care descrie cel mai bun model de tendință.

Găsirea valorilor parametrilor ecuației de regresie, în cazul nostru, parametrii și , este nucleul LSM. Acest proces se reduce la rezolvarea unui sistem de ecuații normale.

(9.2)

Acest sistem de ecuații este destul de ușor de rezolvat prin metoda Gauss. Amintiți-vă că, ca urmare a soluției, în exemplul nostru, se găsesc valorile parametrilor și. Astfel, ecuația de regresie găsită va avea următoarea formă:

Este utilizat pe scară largă în econometrie sub forma unei interpretări economice clare a parametrilor săi.

Regresia liniară se reduce la găsirea unei ecuații de formă

sau

Tip ecuație permite valorile parametrilor date X au valori teoretice ale caracteristicii efective, substituind valorile reale ale factorului în ea X.

Construirea unei regresii liniare se reduce la estimarea parametrilor ei − Ași în. Estimările parametrilor de regresie liniară pot fi găsite prin diferite metode.

Abordarea clasică a estimării parametrilor de regresie liniară se bazează pe cele mai mici pătrate(MNK).

LSM permite obținerea unor astfel de estimări ale parametrilor Ași în, sub care suma abaterilor pătrate ale valorilor reale ale trăsăturii rezultate (y) din calculat (teoretic) minim minim:

Pentru a găsi minimul unei funcții, este necesar să se calculeze derivatele parțiale în raport cu fiecare dintre parametri. Ași bși echivalează-le cu zero.

Notăm cu S, atunci:

Transformând formula, obținem următorul sistem de ecuații normale pentru estimarea parametrilor Ași în:

Rezolvând sistemul de ecuații normale (3.5) fie prin metoda eliminării succesive a variabilelor, fie prin metoda determinanților, găsim estimările parametrilor dorite. Ași în.

Parametru în numit coeficient de regresie. Valoarea acestuia arată modificarea medie a rezultatului cu o modificare a factorului cu o unitate.

Ecuația de regresie este întotdeauna completată cu un indicator al strângerii relației. Când se utilizează regresia liniară, coeficientul de corelație liniară acționează ca un astfel de indicator. Există diverse modificări ale formulei coeficientului de corelație liniară. Unele dintre ele sunt enumerate mai jos:

După cum știți, coeficientul de corelație liniară este în limitele: -1 ≤ ≤ 1.

Pentru a evalua calitatea selecției unei funcții liniare, se calculează pătratul

Un coeficient de corelație liniară numit coeficient de determinare. Coeficientul de determinare caracterizează proporția varianței caracteristicii efective y, explicată prin regresie, în varianța totală a trăsăturii rezultate:

În consecință, valoarea 1 - caracterizează proporția de dispersie y, cauzate de influenţa altor factori neluaţi în considerare în model.

Întrebări pentru autocontrol

1. Esența metodei celor mai mici pătrate?

2. Câte variabile oferă o regresie pe perechi?

3. Ce coeficient determină strânsoarea conexiunii dintre modificări?

4. În ce limite se determină coeficientul de determinare?

5. Estimarea parametrului b în analiza corelației-regresiune?

1. Christopher Dougherty. Introducere în econometrie. - M.: INFRA - M, 2001 - 402 p.

2. S.A. Borodich. Econometrie. Minsk LLC „Noi cunoștințe” 2001.

3. R.U. Rakhmetova Curs scurt de econometrie. Tutorial. Almaty. 2004. -78s.

4. I.I. Eliseeva.Econometrie. - M.: „Finanțe și statistică”, 2002

5. Revista lunară de informare și analitică.

Modele economice neliniare. Modele de regresie neliniară. Conversia variabilelor.

Modele economice neliniare..

Conversia variabilelor.

coeficient de elasticitate.

Dacă există relații neliniare între fenomenele economice, atunci acestea sunt exprimate folosind funcțiile neliniare corespunzătoare: de exemplu, o hiperbolă echilaterală , parabole de gradul doi etc.

Există două clase de regresii neliniare:

1. Regresii care sunt neliniare în raport cu variabilele explicative incluse în analiză, dar liniare în raport cu parametrii estimați, de exemplu:

Polinoame de diferite grade - , ;

Hiperbola echilaterală - ;

Funcția semilogaritmică - .

2. Regresii care sunt neliniare în parametrii estimați, de exemplu:

Putere -;

Demonstrativ -;

Exponenţial - .

Suma totală a abaterilor pătrate ale valorilor individuale ale atributului rezultat la din valoarea medie este cauzată de influența multor factori. Împărțim condiționat întregul set de motive în două grupuri: factorul x studiatși alti factori.

Dacă factorul nu afectează rezultatul, atunci linia de regresie de pe grafic este paralelă cu axa Ohși

Atunci întreaga dispersie a atributului rezultat se datorează influenței altor factori și suma totală a abaterilor pătrate va coincide cu reziduul. Dacă alți factori nu afectează rezultatul, atunci ai legat Cu X funcțional, iar suma reziduală a pătratelor este zero. În acest caz, suma abaterilor pătrate explicate prin regresie este aceeași cu suma totală a pătratelor.

Deoarece nu toate punctele câmpului de corelație se află pe dreapta de regresie, împrăștierea lor are loc întotdeauna ca datorită influenței factorului X, adică regresie la pe X,şi cauzate de acţiunea altor cauze (variaţie inexplicabilă). Adecvarea liniei de regresie pentru prognoză depinde de ce parte din variația totală a trăsăturii laține seama de variația explicată

Evident, dacă suma abaterilor pătrate datorate regresiei este mai mare decât suma reziduală a pătratelor, atunci ecuația de regresie este semnificativă statistic și factorul X are un impact semnificativ asupra rezultatului. y.

, adică cu numărul de libertate de variație independentă a caracteristicii. Numărul de grade de libertate este legat de numărul de unități ale populației n și de numărul de constante determinate din aceasta. În raport cu problema studiată, numărul de grade de libertate ar trebui să arate câte abateri independente de la P

Evaluarea semnificației ecuației de regresie în ansamblu este dată cu ajutorul lui F- Criteriul lui Fisher. În acest caz, se propune o ipoteză nulă că coeficientul de regresie este egal cu zero, adică. b= 0 și, prin urmare, factorul X nu afectează rezultatul y.

Calculul direct al criteriului F este precedat de o analiză a varianței. Centrală este expansiunea sumei totale a abaterilor pătrate ale variabilei la din valoarea medie laîn două părți - „explicat” și „neexplicat”:

Suma totală a abaterilor pătrate;

Suma pătratelor abaterii explicată prin regresie;

Suma reziduală a abaterii pătrate.

Orice sumă a abaterilor pătrate este legată de numărul de grade de libertate , adică cu numărul de libertate de variație independentă a caracteristicii. Numărul de grade de libertate este raportat la numărul de unități de populație nşi cu numărul de constante determinate din acesta. În raport cu problema studiată, numărul de grade de libertate ar trebui să arate câte abateri independente de la P posibil este necesar pentru a forma o sumă dată de pătrate.

Dispersia pe grad de libertateD.

Raporturi F (criteriul F):

Dacă ipoteza nulă este adevărată, atunci factorul și variațiile reziduale nu diferă unul de celălalt. Pentru H 0, este necesară o infirmare, astfel încât varianța factorului să depășească de câteva ori rezidualul. Statisticianul englez Snedecor a dezvoltat tabele de valori critice F-relaţii la diferite niveluri de semnificaţie ale ipotezei nule şi un număr diferit de grade de libertate. Valoarea tabelului F-criteriul este valoarea maximă a raportului varianțelor care poate apărea dacă acestea diverge aleatoriu pentru un anumit nivel de probabilitate a prezenței unei ipoteze nule. Valoarea calculată F-relația este recunoscută ca fiind de încredere dacă o este mai mare decât cea tabelară.

În acest caz, ipoteza nulă despre absența unei relații de trăsături este respinsă și se face o concluzie despre semnificația acestei relații: F fapt > F tabel H 0 este respins.

Dacă valoarea este mai mică decât tabelul F fapt ‹, F tab, atunci probabilitatea ipotezei nule este mai mare decât un nivel dat și nu poate fi respinsă fără riscul serios de a trage o concluzie greșită despre prezența unei relații. În acest caz, ecuația de regresie este considerată nesemnificativă statistic. N o nu se abate.

Eroarea standard a coeficientului de regresie

Pentru a evalua semnificația coeficientului de regresie, valoarea acestuia este comparată cu eroarea sa standard, adică se determină valoarea reală t-Testul studentului: care este apoi comparat cu valoarea tabelului la un anumit nivel de semnificație și cu numărul de grade de libertate ( n- 2).

Eroare standard parametru A:

Semnificația coeficientului de corelație liniară este verificată pe baza mărimii erorii coeficient de corelație r:

Varianta totală a unei caracteristici X:

Regresia liniară multiplă

Construirea modelului

Regresie multiplă este o regresie a unei caracteristici eficiente cu doi sau mai mulți factori, adică un model al formei

Regresia poate da un rezultat bun în modelare dacă influența altor factori care afectează obiectul de studiu poate fi neglijată. Comportamentul variabilelor economice individuale nu poate fi controlat, adică nu este posibil să se asigure egalitatea tuturor celorlalte condiții pentru evaluarea influenței unui factor studiat. În acest caz, ar trebui să încercați să identificați influența altor factori prin introducerea lor în model, adică să construiți o ecuație de regresie multiplă: y = a+b 1 x 1 +b 2 +…+b p x p + .

Scopul principal al regresiei multiple este de a construi un model cu un număr mare de factori, determinând în același timp influența fiecăruia dintre ei în mod individual, precum și impactul lor cumulat asupra indicatorului modelat. Specificarea modelului include două domenii de întrebări: selecția factorilor și alegerea tipului de ecuație de regresie