Var tillämpas metoden för minsta kvadrater? Metoden för minsta kvadrater i Excel. Regressionsanalys Minsta kvadraters regression

Att välja typ av regressionsfunktion, d.v.s. typen av den övervägda modellen av beroendet av Y på X (eller X på Y), till exempel en linjär modell y x \u003d a + bx, är det nödvändigt att bestämma de specifika värdena för koefficienterna för modell.

För olika värden på a och b är det möjligt att konstruera ett oändligt antal beroenden av formen y x =a+bx, dvs det finns ett oändligt antal linjer på koordinatplanet, men vi behöver ett sådant beroende att motsvarar de observerade värdena på bästa sätt. Således reduceras problemet till valet av de bästa koefficienterna.

Vi letar efter en linjär funktion a + bx, endast baserad på ett visst antal tillgängliga observationer. För att hitta den funktion som passar bäst till de observerade värdena använder vi minsta kvadratmetoden.

Beteckna: Y i - värdet beräknat av ekvationen Y i =a+bx i . y i - uppmätt värde, εi =y i -Y i - skillnad mellan de uppmätta och beräknade värdena, εi =y i -a-bxi.

Metoden för minsta kvadrater kräver att ε i, skillnaden mellan den uppmätta y i och värdena på Y i beräknade från ekvationen, är minimal. Därför hittar vi koefficienterna a och b så att summan av de kvadrerade avvikelserna för de observerade värdena från värdena på den raka regressionslinjen är den minsta:

Genom att undersöka denna funktion av argument a och med hjälp av derivator till ett extremum kan vi bevisa att funktionen får ett minimivärde om koefficienterna a och b är lösningar av systemet:

(2)

Om vi ​​dividerar båda sidorna av normalekvationerna med n får vi:

Givet att (3)

Skaffa sig , härifrån, genom att ersätta värdet av a i den första ekvationen, får vi:

I detta fall kallas b regressionskoefficienten; a kallas den fria medlemmen av regressionsekvationen och beräknas med formeln:

Den resulterande räta linjen är en uppskattning för den teoretiska regressionslinjen. Vi har:

Så, är en linjär regressionsekvation.

Regression kan vara direkt (b>0) och invers (b Exempel 1. Resultaten av att mäta X- och Y-värdena ges i tabellen:

Antag att det finns ett linjärt samband mellan X och Y y=a+bx, bestäm koefficienterna a och b med minsta kvadratmetoden.

Lösning. Här är n=5
xi = -2+0+1+2+4=5;
xi2 =4+0+1+4+16=25
x i y i =-2 0,5+0 1+1 1,5+2 2+4 3=16,5
yi =0,5+1+1,5+2+3=8

och normalt system (2) har formen

När vi löser detta system får vi: b=0,425, a=1,175. Därför y=1,175+0,425x.

Exempel 2. Det finns ett urval av 10 observationer av ekonomiska indikatorer (X) och (Y).

Det krävs att hitta en provregressionsekvation Y på X. Konstruera en provregressionslinje Y på X.

Lösning. 1. Låt oss sortera data efter värden x i och y i . Vi får ett nytt bord:

För att förenkla beräkningarna kommer vi att sammanställa en beräkningstabell där vi anger nödvändiga numeriska värden.

Enligt formel (4) beräknar vi regressionskoefficienten

och enligt formel (5)

Således ser exempelregressionsekvationen ut som y=-59,34+1,3804x.
Låt oss plotta punkterna (x i ; y i) på koordinatplanet och markera regressionslinjen.

Fig 4

Figur 4 visar hur de observerade värdena är placerade i förhållande till regressionslinjen. För att numeriskt uppskatta avvikelserna för y i från Y i , där y i är observerade värden, och Y i är värden som bestäms av regression, kommer vi att göra en tabell:

Y i-värden beräknas enligt regressionsekvationen.

Den märkbara avvikelsen för vissa observerade värden från regressionslinjen förklaras av det lilla antalet observationer. När man studerar graden av linjärt beroende av Y av X, beaktas antalet observationer. Styrkan på beroendet bestäms av värdet på korrelationskoefficienten.

Minsta kvadratmetoden är en av de vanligaste och mest utvecklade på grund av sin enkelhet och effektivitet av metoder för att uppskatta parametrarna för linjär. Samtidigt bör en viss försiktighet iakttas när du använder den, eftersom de modeller som byggs med den kanske inte uppfyller ett antal krav på kvaliteten på deras parametrar och som ett resultat inte "väl" återspeglar mönstren för processutveckling.

Låt oss överväga proceduren för att uppskatta parametrarna för en linjär ekonometrisk modell med hjälp av minsta kvadratmetoden mer i detalj. En sådan modell i allmän form kan representeras av ekvation (1.2):

y t = a 0 + a 1 x 1 t +...+ a n x nt + εt.

De initiala data vid uppskattning av parametrarna a 0 , a 1 ,..., a n är vektorn av värden för den beroende variabeln y= (y 1 , y 2 , ... , y T)" och matrisen av värden för oberoende variabler

där den första kolumnen, bestående av ettor, motsvarar modellens koefficient .

Metoden med minsta kvadrater fick sitt namn baserat på den grundläggande principen att parameteruppskattningarna som erhålls på grundval av den ska uppfylla: summan av kvadrater av modellfelet bör vara minimal.

Exempel på att lösa problem med minsta kvadratmetoden

Exempel 2.1. Handelsföretaget har ett nätverk som består av 12 butiker, information om vilkas verksamhet presenteras i tabell. 2.1.

Företagets ledning skulle vilja veta hur storleken på årstiden beror på butikens försäljningsområde.

Tabell 2.1

Minsta kvadraters lösning. Låt oss ange - den årliga omsättningen för den -th butiken, miljoner rubel; - försäljningsyta av den -e butiken, tusen m 2.

Fig.2.1. Scatterplot för exempel 2.1

Att bestämma formen för det funktionella sambandet mellan variablerna och konstruera ett spridningsdiagram (Fig. 2.1).

Baserat på spridningsdiagrammet kan vi dra slutsatsen att den årliga omsättningen är positivt beroende av försäljningsområdet (dvs y kommer att öka med tillväxten av ). Den lämpligaste formen av funktionell anslutning är − linjär.

Information för ytterligare beräkningar presenteras i tabell. 2.2. Med hjälp av minsta kvadratmetoden uppskattar vi parametrarna för den linjära enfaktors ekonometriska modellen

Tabell 2.2

På det här sättet,

Därför, med en ökning av handelsområdet med 1 tusen m 2, allt annat lika, ökar den genomsnittliga årliga omsättningen med 67,8871 miljoner rubel.

Exempel 2.2. Ledningen för företaget märkte att den årliga omsättningen inte bara beror på butikens försäljningsområde (se exempel 2.1), utan också på det genomsnittliga antalet besökare. Den relevanta informationen presenteras i tabellen. 2.3.

Tabell 2.3

Lösning. Beteckna - det genomsnittliga antalet besökare till den e butiken per dag, tusen personer.

Att bestämma formen på det funktionella sambandet mellan variablerna och konstruera ett spridningsdiagram (Fig. 2.2).

Baserat på spridningsdiagrammet kan vi dra slutsatsen att den årliga omsättningen är positivt relaterad till det genomsnittliga antalet besökare per dag (dvs y kommer att öka med tillväxten av ). Formen av funktionellt beroende är linjär.

Ris. 2.2. Scatterplot till exempel 2.2

Tabell 2.4

I allmänhet är det nödvändigt att bestämma parametrarna för den tvåfaktors ekonometriska modellen

y t \u003d a 0 + a 1 x 1 t + a 2 x 2 t + ε t

Den information som krävs för ytterligare beräkningar presenteras i tabell. 2.4.

Låt oss uppskatta parametrarna för en linjär tvåfaktors ekonometrisk modell med hjälp av minsta kvadratmetoden.

På det här sättet,

Utvärdering av koefficienten = 61,6583 visar att, allt annat lika, med en ökning av försäljningsytan med 1 tusen m 2, kommer den årliga omsättningen att öka med i genomsnitt 61,6583 miljoner rubel.

Som finner den bredaste tillämpningen inom olika områden av vetenskap och praktik. Det kan vara fysik, kemi, biologi, ekonomi, sociologi, psykologi och så vidare och så vidare. Av ödets vilja måste jag ofta ta itu med ekonomin, och därför kommer jag idag att ordna en biljett för dig till ett fantastiskt land som heter Ekonometri=) … Hur vill du inte ha det?! Det är väldigt bra där – det är bara att bestämma sig! …Men vad du förmodligen vill är att lära dig hur man löser problem minst kvadrater. Och särskilt flitiga läsare kommer att lära sig att lösa dem inte bara exakt, utan också MYCKET SNABBT ;-) Men först en allmän redogörelse för problemet+ relaterat exempel:

Låt indikatorer studeras inom något ämnesområde som har ett kvantitativt uttryck. Samtidigt finns det all anledning att tro att indikatorn beror på indikatorn. Detta antagande kan vara både en vetenskaplig hypotes och baserat på elementärt sunt förnuft. Låt oss dock lämna vetenskapen åt sidan och utforska mer aptitretande områden – nämligen livsmedelsbutiker. Beteckna med:

– butiksyta i en livsmedelsbutik, kvm,
- årlig omsättning för en livsmedelsbutik, miljoner rubel.

Det är helt klart att ju större yta butiken är, desto större är dess omsättning i de flesta fall.

Antag att vi efter att ha utfört observationer / experiment / beräkningar / dans med en tamburin har numeriska data till vårt förfogande:

Med livsmedelsbutiker tror jag att allt är klart: - det här är området för den första butiken, - dess årliga omsättning, - området för den andra butiken, - dess årliga omsättning, etc. Förresten, det är inte alls nödvändigt att ha tillgång till sekretessbelagt material - en ganska exakt bedömning av omsättningen kan erhållas med hjälp av matematisk statistik. Var dock inte distraherad, kursen för kommersiellt spionage är redan betald =)

Tabelldata kan också skrivas i form av punkter och avbildas på vanligt sätt för oss. Kartesiskt system .

Låt oss svara på en viktig fråga: hur många poäng behövs för en kvalitativ studie?

Ju större desto bättre. Minsta tillåtna set består av 5-6 poäng. Dessutom, med en liten mängd data, bör "onormala" resultat inte inkluderas i urvalet. Så, till exempel, en liten elitbutik kan hjälpa till i storleksordningar mer än "sina kollegor", och därmed förvränga det allmänna mönstret som måste hittas!

Om det är ganska enkelt måste vi välja en funktion, schema som passerar så nära punkterna som möjligt . En sådan funktion kallas ungefärlig (approximation - approximation) eller teoretisk funktion . Generellt sett visas här omedelbart en uppenbar "pretender" - ett polynom av hög grad, vars graf går igenom ALLA punkter. Men det här alternativet är komplicerat och ofta helt enkelt felaktigt. (eftersom diagrammet "vindar" hela tiden och återspeglar dåligt huvudtrenden).

Den önskade funktionen måste alltså vara tillräckligt enkel och samtidigt spegla beroendet på ett adekvat sätt. Som du kanske kan gissa kallas en av metoderna för att hitta sådana funktioner minst kvadrater. Låt oss först analysera dess väsen på ett allmänt sätt. Låt någon funktion approximera experimentdata:


Hur utvärderar man noggrannheten i denna approximation? Låt oss också beräkna skillnaderna (avvikelserna) mellan de experimentella och funktionella värdena (vi studerar ritningen). Den första tanken man tänker på är att uppskatta hur stor summan är, men problemet är att skillnaderna kan vara negativa. (till exempel, ) och avvikelser till följd av sådan summering kommer att ta bort varandra. Därför, som en uppskattning av approximationens noggrannhet, föreslår den sig själv att ta summan moduler avvikelser:

eller i vikt form: (plötsligt, vem vet inte: är summaikonen och är en hjälpvariabel - "räknare", som tar värden från 1 till ).

Genom att approximera de experimentella punkterna med olika funktioner kommer vi att få olika värden på , och det är uppenbart att där denna summa är mindre är den funktionen mer exakt.

En sådan metod finns och kallas minsta modulmetoden. Men i praktiken har det blivit mycket mer utbrett. minsta kvadratmetoden, där möjliga negativa värden elimineras inte av modulen, utan genom att kvadrera avvikelserna:

, varefter ansträngningar riktas mot valet av en sådan funktion att summan av de kvadrerade avvikelserna var så liten som möjligt. Egentligen, därav namnet på metoden.

Och nu återvänder vi till en annan viktig punkt: som nämnts ovan bör den valda funktionen vara ganska enkel - men det finns också många sådana funktioner: linjär , hyperbolisk, exponentiell, logaritmisk, kvadratisk etc. Och här skulle jag givetvis genast vilja "minska verksamhetsfältet". Vilken klass av funktioner ska man välja för forskning? Primitiv men effektiv teknik:

- Det enklaste sättet att dra poäng på ritningen och analysera deras plats. Om de tenderar att vara i en rak linje, bör du leta efter rak linje ekvation med optimala värden och . Uppgiften är med andra ord att hitta SÅDANA koefficienter - så att summan av de kvadratiska avvikelserna blir som minst.

Om punkterna är placerade till exempel längs överdrift, då är det klart att den linjära funktionen ger en dålig approximation. I det här fallet letar vi efter de mest "gynnsamma" koefficienterna för hyperbelekvationen - de som ger minimisumman av kvadrater .

Lägg nu märke till att det i båda fallen vi pratar om funktioner av två variabler, vars argument är sökte beroendealternativ:

Och i huvudsak måste vi lösa ett standardproblem - att hitta minst en funktion av två variabler.

Kom ihåg vårt exempel: anta att "butiks"-punkterna tenderar att vara placerade i en rak linje och det finns all anledning att tro närvaron linjärt beroende omsättning från handelsområdet. Låt oss hitta SÅDANA koefficienter "a" och "be" så att summan av kvadrerade avvikelser var den minsta. Allt som vanligt - först partiella derivator av 1:a ordningen. Enligt linjäritetsregel du kan skilja direkt under summaikonen:

Om du vill använda denna information för en uppsats eller kursuppgift, kommer jag att vara mycket tacksam för länken i källlistan, du hittar inte sådana detaljerade beräkningar någonstans:

Låt oss göra ett standardsystem:

Vi reducerar varje ekvation med en "tvåa" och "bryter isär" dessutom summorna:

Notera : analysera oberoende varför "a" och "be" kan tas bort från summaikonen. Förresten, formellt kan detta göras med summan

Låt oss skriva om systemet i en "tillämpad" form:

varefter algoritmen för att lösa vårt problem börjar ritas:

Känner vi till punkternas koordinater? Vi vet. Summor kan vi hitta? Lätt. Vi komponerar det enklaste system av två linjära ekvationer med två okända("a" och "beh"). Vi löser systemet t.ex. Cramers metod, vilket resulterar i en stationär punkt . Kontroll tillräcklig förutsättning för ett extremum, kan vi verifiera att funktionen vid denna tidpunkt når exakt minimum. Verifiering är förknippat med ytterligare beräkningar och därför lämnar vi det bakom kulisserna. (vid behov kan den saknade ramen ses). Vi drar slutsatsen:

Fungera det bästa sättet (åtminstone jämfört med någon annan linjär funktion) för experimentella poäng närmare . Grovt sett går dess graf så nära dessa punkter som möjligt. I tradition ekonometri den resulterande approximationsfunktionen kallas också parad linjär regressionsekvation .

Det aktuella problemet är av stor praktisk betydelse. I situationen med vårt exempel, ekvationen låter dig förutse vilken typ av omsättning ("yig") kommer att finnas i butiken med ett eller annat värde av försäljningsytan (en eller annan betydelse av "x"). Ja, den resulterande prognosen kommer bara att vara en prognos, men i många fall kommer den att visa sig vara ganska korrekt.

Jag kommer att analysera bara ett problem med "riktiga" siffror, eftersom det inte finns några svårigheter i det - alla beräkningar är på nivån för skolans läroplan i årskurserna 7-8. I 95 procent av fallen kommer du att bli ombedd att bara hitta en linjär funktion, men i slutet av artikeln kommer jag att visa att det inte är svårare att hitta ekvationerna för den optimala hyperbeln, exponenten och några andra funktioner.

Faktum är att det återstår att distribuera de utlovade godsakerna - så att du lär dig hur du löser sådana exempel inte bara exakt utan också snabbt. Vi studerar noggrant standarden:

En uppgift

Som ett resultat av att studera sambandet mellan två indikatorer erhölls följande par av siffror:

Använd minsta kvadratmetoden och hitta den linjära funktion som bäst approximerar empirin (erfaren) data. Gör en ritning på vilken, i ett kartesiskt rektangulärt koordinatsystem, ritar experimentella punkter och en graf över den approximerande funktionen . Hitta summan av kvadrerade avvikelser mellan empiriska och teoretiska värden. Ta reda på om funktionen är bättre (i termer av minsta kvadratmetoden) ungefärliga experimentella poäng.

Observera att "x"-värden är naturliga värden, och detta har en karakteristisk meningsfull betydelse, som jag kommer att prata om lite senare; men de kan naturligtvis vara bråkdelar. Dessutom, beroende på innehållet i en viss uppgift, kan både "X" och "G" värden vara helt eller delvis negativa. Tja, vi har fått en "ansiktslös" uppgift, och vi börjar med den lösning:

Vi hittar koefficienterna för den optimala funktionen som en lösning på systemet:

För en mer kompakt notation kan "räknarvariabeln" utelämnas, eftersom det redan är klart att summeringen utförs från 1 till .

Det är bekvämare att beräkna de nödvändiga beloppen i tabellform:


Beräkningar kan utföras på en mikroräknare, men det är mycket bättre att använda Excel - både snabbare och utan fel; se en kort video:

Därmed får vi följande systemet:

Här kan du multiplicera den andra ekvationen med 3 och subtrahera 2:an från 1:a ekvationen term för term. Men det här är tur - i praktiken är systemen ofta inte begåvade, och i sådana fall sparar det Cramers metod:
, så systemet har en unik lösning.

Låt oss göra en kontroll. Jag förstår att jag inte vill, men varför hoppa över misstag där du absolut inte kan missa dem? Ersätt den hittade lösningen i den vänstra sidan av varje ekvation i systemet:

De rätta delarna av motsvarande ekvationer erhålls, vilket betyder att systemet löses korrekt.

Den önskade approximationsfunktionen: – från alla linjära funktioner experimentella data uppskattas bäst av det.

Till skillnad från hetero beroende av butikens omsättning på sin yta är det konstaterade beroendet omvänd (principen "ju mer - desto mindre"), och detta faktum avslöjas omedelbart av det negativa vinkelkoefficient. Fungera informerar oss om att med en ökning av en viss indikator med 1 enhet, minskar värdet på den beroende indikatorn medel med 0,65 enheter. Som de säger, ju högre pris på bovete, desto mindre säljs.

För att plotta den approximerande funktionen hittar vi två av dess värden:

och utför ritningen:


Den konstruerade linjen kallas trendlinje (Nämligen en linjär trendlinje, dvs i det allmänna fallet är en trend inte nödvändigtvis en rak linje). Alla är bekanta med uttrycket "att vara i trenden", och jag tycker att denna term inte behöver ytterligare kommentarer.

Beräkna summan av kvadrerade avvikelser mellan empiriska och teoretiska värden. Geometriskt är detta summan av kvadraterna av längderna av "crimson" segmenten (varav två är så små att du inte ens kan se dem).

Låt oss sammanfatta beräkningarna i en tabell:


De kan återigen utföras manuellt, ifall jag skulle ge ett exempel för den första punkten:

men det är mycket mer effektivt att göra det redan kända sättet:

Låt oss upprepa: vad är meningen med resultatet? Från alla linjära funktioner fungera exponenten är den minsta, det vill säga den är den bästa approximationen i sin familj. Och här är förresten den sista frågan om problemet inte av misstag: vad händer om den föreslagna exponentialfunktionen kommer det att vara bättre att approximera de experimentella punkterna?

Låt oss hitta motsvarande summa av kvadrerade avvikelser - för att särskilja dem kommer jag att beteckna dem med bokstaven "epsilon". Tekniken är exakt densamma:


Och igen för varje brandberäkning för den första punkten:

I Excel använder vi standardfunktionen EXP (Syntax finns i Excel Hjälp).

Slutsats: , så exponentialfunktionen approximerar de experimentella punkterna sämre än den räta linjen .

Men det bör noteras här att "värre" är betyder inte ännu, vad är fel. Nu byggde jag en graf över denna exponentialfunktion - och den passerar också nära punkterna - så mycket att det utan en analytisk studie är svårt att säga vilken funktion som är mer exakt.

Detta fullbordar lösningen, och jag återgår till frågan om argumentets naturvärden. I olika studier är som regel ekonomiska eller sociologiska, månader, år eller andra lika tidsintervall numrerade med naturligt "X". Tänk till exempel på ett sådant problem.

Metoden för minsta kvadrater (LSM) låter dig uppskatta olika kvantiteter med hjälp av resultaten av många mätningar som innehåller slumpmässiga fel.

Karakteristisk MNC

Huvudidén med denna metod är att summan av kvadrerade fel betraktas som ett kriterium för noggrannheten av lösningen av problemet, som eftersträvas att minimeras. När man använder denna metod kan både numeriska och analytiska tillvägagångssätt användas.

I synnerhet, som en numerisk implementering, innebär minsta kvadratmetoden att göra så många mätningar av en okänd slumpvariabel som möjligt. Dessutom, ju fler beräkningar, desto mer exakt blir lösningen. På denna uppsättning beräkningar (initialdata) erhålls ytterligare en uppsättning föreslagna lösningar, från vilka den bästa sedan väljs. Om uppsättningen av lösningar parametriseras, kommer minsta kvadratmetoden att reduceras till att hitta det optimala värdet på parametrarna.

Som ett analytiskt tillvägagångssätt för implementeringen av LSM på uppsättningen av initiala data (mätningar) och den föreslagna uppsättningen av lösningar, definieras några (funktionella), som kan uttryckas med en formel erhållen som en viss hypotes som behöver bekräftas . I detta fall reduceras minsta kvadratmetoden till att hitta minimum av denna funktionalitet på uppsättningen av kvadratiska fel i initialdata.

Observera att inte själva felen, utan kvadraterna på felen. Varför? Faktum är att ofta är mätningarnas avvikelser från det exakta värdet både positiva och negativa. När man bestämmer genomsnittet kan enkel summering leda till en felaktig slutsats om kvaliteten på uppskattningen, eftersom den ömsesidiga annulleringen av positiva och negativa värden kommer att minska samplingskraften för uppsättningen mätningar. Och följaktligen bedömningens riktighet.

För att förhindra att detta inträffar summeras de kvadratiska avvikelserna. Ännu mer än så, för att utjämna dimensionen av det uppmätta värdet och den slutliga uppskattningen, används summan av kvadratiska fel för att extrahera

Vissa tillämpningar av multinationella företag

MNC används ofta inom olika områden. Till exempel, i sannolikhetsteori och matematisk statistik, används metoden för att bestämma en sådan egenskap hos en slumpvariabel som standardavvikelsen, som bestämmer bredden på värdeintervallet för en slumpmässig variabel.

Efter justering får vi en funktion av följande form: g (x) = x + 1 3 + 1 .

Vi kan approximera dessa data med ett linjärt samband y = a x + b genom att beräkna lämpliga parametrar. För att göra detta kommer vi att behöva tillämpa den så kallade minsta kvadratmetoden. Du måste också göra en ritning för att kontrollera vilken linje som bäst anpassar experimentdata.

Vad exakt är OLS (minsta kvadratmetoden)

Det viktigaste vi behöver göra är att hitta sådana linjära beroendekoefficienter där värdet av funktionen för två variabler F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 kommer att vara det minsta . Med andra ord, för vissa värden av a och b, kommer summan av de kvadrerade avvikelserna för de presenterade data från den resulterande räta linjen att ha ett minimivärde. Detta är meningen med minsta kvadratmetoden. Allt vi behöver göra för att lösa exemplet är att hitta extremumet för funktionen av två variabler.

Hur man härleder formler för att beräkna koefficienter

För att härleda formler för att beräkna koefficienterna är det nödvändigt att komponera och lösa ett ekvationssystem med två variabler. För att göra detta beräknar vi de partiella derivatorna av uttrycket F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 med avseende på a och b och likställer dem med 0 .

δ F (a, b) δ a = 0 δ F (a, b) δ b = 0 ⇔ - 2 ∑ i = 1 n (y i - (a x i + b)) x i = 0 - 2 ∑ i = 1 n ( y i - (a x i + b)) = 0 ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + ∑ i = 1 n b = ∑ y i = ∑ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + n b = ∑ i = 1 n y i

För att lösa ett ekvationssystem kan du använda vilka metoder som helst, som substitution eller Cramers metod. Som ett resultat bör vi få formler som beräknar koefficienterna med minsta kvadratmetoden.

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n

Vi har beräknat värdena för de variabler som funktionen är för
F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 tar minimivärdet. I tredje stycket ska vi bevisa varför det är så.

Detta är tillämpningen av minsta kvadratmetoden i praktiken. Hans formel, som används för att hitta parametern a , inkluderar ∑ i = 1 n x i , ∑ i = 1 n y i , ∑ i = 1 n x i y i , ∑ i = 1 n x i 2 , och parametern
n - det anger mängden experimentella data. Vi rekommenderar att du beräknar varje belopp separat. Koefficientvärdet b beräknas omedelbart efter a .

Låt oss gå tillbaka till det ursprungliga exemplet.

Exempel 1

Här har vi n lika med fem. För att göra det mer bekvämt att beräkna de nödvändiga mängderna som ingår i koefficientformlerna, fyller vi i tabellen.

Lösning

Den fjärde raden innehåller data som erhålls genom att multiplicera värdena från den andra raden med värdena för den tredje för varje enskild i . Den femte raden innehåller data från den andra kvadraten. Den sista kolumnen visar summan av värdena för de individuella raderna.

Låt oss använda minsta kvadratmetoden för att beräkna koefficienterna a och b vi behöver. För att göra detta, ersätt de önskade värdena från den sista kolumnen och beräkna summorna:

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 3 x n = 3 - 12 12, 9 5 46 - 12 2 b = 12, 9 - a 12 5 ⇒ a ≈ 0, 165 b ≈ 2, 184

Vi fick att den önskade approximativa räta linjen kommer att se ut som y = 0 , 165 x + 2 , 184 . Nu måste vi bestämma vilken linje som bäst approximerar data - g (x) = x + 1 3 + 1 eller 0 , 165 x + 2 , 184 . Låt oss göra en uppskattning med minsta kvadratmetoden.

För att beräkna felet måste vi hitta summan av kvadrerade avvikelser för data från linjerna σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 och σ 2 = ∑ i = 1 n (y i - g (x i)) 2 kommer minimivärdet att motsvara en mer lämplig linje.

σ 1 = ∑ i = 1 n (y i - (a x i + bi)) 2 = = ∑ i = 1 5 (y i - (0 , 165 x i + 2 , 184)) 2 ≈ 0 , 019 σ 2 = ∑ i = 1 n (y i - g (x i)) 2 = = ∑ i = 1 5 (y i - (xi + 1 3 + 1)) 2 ≈ 0 , 096

Svar: sedan σ 1< σ 2 , то прямой, наилучшим образом аппроксимирующей исходные данные, будет
y = 0, 165 x + 2, 184.

Minsta kvadratmetoden visas tydligt i den grafiska illustrationen. Den röda linjen markerar den raka linjen g (x) = x + 1 3 + 1, den blå linjen markerar y = 0, 165 x + 2, 184. Rådata är markerade med rosa prickar.

Låt oss förklara varför exakta approximationer av denna typ behövs.

De kan användas i problem som kräver datautjämning, såväl som i de där data behöver interpoleras eller extrapoleras. Till exempel, i problemet som diskuterats ovan, kan man hitta värdet av den observerade storheten y vid x = 3 eller vid x = 6 . Vi har ägnat en separat artikel åt sådana exempel.

Bevis på LSM-metoden

För att funktionen ska ta minimivärdet när a och b beräknas, är det nödvändigt att vid en given punkt matrisen för kvadratformen av differentialen för funktionen av formen F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 vara positivt bestämd. Låt oss visa dig hur det ska se ut.

Exempel 2

Vi har en andra ordningens differential av följande form:

d 2 F (a ; b) = δ 2 F (a ; b) δ a 2 d 2 a + 2 δ 2 F (a ; b) δ a δ b d a d b + δ 2 F (a ; b) δ b 2 d 2b

Lösning

δ 2 F (a ; b) δ a 2 = δ δ F (a ; b) δ a δ a = = δ - 2 ∑ i = 1 n (y i - (a x i + b)) x i δ a = 2 ∑ i = 1 n (x i) 2 δ 2 F (a ; b) δ a δ b = δ δ F (a ; b) δ a δ b = = δ - 2 ∑ i = 1 n (y i - (a x i + b) ) x i δ b = 2 ∑ i = 1 n x i δ 2 F (a ; b) δ b 2 = δ δ F (a ; b) δ b δ b = δ - 2 ∑ i = 1 n (y i - (a x i + b)) δ b = 2 ∑ i = 1 n (1) = 2 n

Med andra ord kan det skrivas så här: d 2 F (a ; b) = 2 ∑ i = 1 n (x i) 2 d 2 a + 2 2 ∑ x i i = 1 n d a d b + (2 n) d 2 b .

Vi har fått en matris av kvadratisk form M = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n .

I det här fallet kommer värdena för enskilda element inte att ändras beroende på a och b . Är denna matris positiv definitiv? För att svara på den här frågan, låt oss kontrollera om dess kantiga mindreåriga är positiva.

Beräkna första ordningens vinkelmoll: 2 ∑ i = 1 n (x i) 2 > 0 . Eftersom punkterna x i inte sammanfaller är ojämlikheten strikt. Vi kommer att ha detta i åtanke i vidare beräkningar.

Vi beräknar andra ordningens vinkelmoll:

d e t (M) = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n = 4 n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2

Därefter går vi vidare till beviset på olikheten n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 med hjälp av matematisk induktion.

1. Låt oss kontrollera om denna olikhet är giltig för godtycklig n . Låt oss ta 2 och räkna ut:

2 ∑ i = 1 2 (x i) 2 - ∑ i = 1 2 x i 2 = 2 x 1 2 + x 2 2 - x 1 + x 2 2 = = x 1 2 - 2 x 1 x 2 + x 2 2 = x 1 + x 2 2 > 0

Vi fick rätt likhet (om värdena x 1 och x 2 inte stämmer överens).

1. Låt oss göra antagandet att denna ojämlikhet kommer att vara sant för n , dvs. n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 – sant.
2. Låt oss nu bevisa giltigheten för n + 1, dvs. att (n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 > 0 om n ∑ i = 1 n (xi) 2 - ∑ i = 1 n x i 2 > 0 .

Vi beräknar:

(n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 = = (n + 1) ∑ i = 1 n (x i) 2 + x n + 1 2 - ∑ i = 1 n x i + x n + 1 2 = = n ∑ i = 1 n (x i) 2 + n x n + 1 2 + ∑ i = 1 n (x i) 2 + x n + 1 2 - - ∑ i = 1 n x i 2 + 2 x n + 1 ∑ i = 1 n x i + x n + 1 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + n x n + 1 2 - x n + 1 ∑ i = 1 n x i + ∑ i n (x i) 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + x n + 1 2 - 2 x n + 1 x 1 + x 1 2 + + x n + 1 2 - 2 x n + 1 x 2 + x 2 2 + . . . + x n + 1 2 - 2 x n + 1 x 1 + x n 2 = = n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + + (x n + 1 - x 1) 2 + (x n + 1 - x 2) 2 + . . . + (x n - 1 - x n) 2 > 0

Uttrycket som är inneslutet i klammerparenteser kommer att vara större än 0 (baserat på vad vi antog i steg 2), och resten av termerna kommer att vara större än 0 eftersom de alla är kvadrater av tal. Vi har bevisat ojämlikheten.

Svar: de funna a och b kommer att motsvara det minsta värdet av funktionen F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2, vilket betyder att de är de önskade parametrarna för minsta kvadratmetoden (LSM).

Om du märker ett fel i texten, markera det och tryck på Ctrl+Enter