Di mana metode kuadrat terkecil diterapkan? Metode kuadrat terkecil di Excel. Analisis regresi Regresi kuadrat terkecil

Memilih jenis fungsi regresi, mis. jenis model yang dipertimbangkan dari ketergantungan Y pada X (atau X pada Y), misalnya, model linier y x = a + bx, perlu untuk menentukan nilai spesifik dari koefisien model.

Untuk nilai a dan b yang berbeda, dimungkinkan untuk membangun jumlah ketergantungan yang tak terbatas dalam bentuk y x =a+bx, yaitu, ada jumlah garis yang tak terbatas pada bidang koordinat, tetapi kita membutuhkan ketergantungan sedemikian rupa sehingga sesuai dengan nilai yang diamati dengan cara terbaik. Dengan demikian, masalahnya direduksi menjadi pemilihan koefisien terbaik.

Kami mencari fungsi linier a + bx, hanya berdasarkan sejumlah pengamatan yang tersedia. Untuk menemukan fungsi yang paling cocok dengan nilai yang diamati, kami menggunakan metode kuadrat terkecil.

Keterangan: Y i - nilai yang dihitung dengan persamaan Y i =a+bx i . y i - nilai terukur, i =y i -Y i - perbedaan antara nilai terukur dan terhitung, i =y i -a-bx i .

Metode kuadrat terkecil mengharuskan i , perbedaan antara y i yang diukur dan nilai Y i yang dihitung dari persamaan, menjadi minimal. Oleh karena itu, kami menemukan koefisien a dan b sehingga jumlah deviasi kuadrat dari nilai-nilai yang diamati dari nilai-nilai pada garis regresi lurus adalah yang terkecil:

Menyelidiki fungsi argumen a dan dengan bantuan turunan ke ekstrem, kita dapat membuktikan bahwa fungsi tersebut mengambil nilai minimum jika koefisien a dan b adalah solusi dari sistem:

(2)

Jika kita membagi kedua ruas persamaan normal dengan n, kita peroleh:

Mengingat bahwa (3)

Mendapatkan , dari sini, dengan mensubstitusi nilai a dalam persamaan pertama, kita mendapatkan:

Dalam hal ini, b disebut koefisien regresi; a disebut anggota bebas dari persamaan regresi dan dihitung dengan rumus:

Garis lurus yang dihasilkan merupakan perkiraan untuk garis regresi teoritis. Kita punya:

Jadi, adalah persamaan regresi linier.

Regresi dapat langsung (b>0) dan invers (b Contoh 1. Hasil pengukuran nilai X dan Y diberikan dalam tabel:

Dengan asumsi ada hubungan linier antara X dan Y y=a+bx, tentukan koefisien a dan b dengan menggunakan metode kuadrat terkecil.

Larutan. Di sini n=5
x i =-2+0+1+2+4=5;
x i 2 =4+0+1+4+16=25
x i y i =-2 0.5+0 1+1 1.5+2 2+4 3=16.5
y i =0,5+1+1,5+2+3=8

dan sistem normal (2) memiliki bentuk

Memecahkan sistem ini, kita mendapatkan: b=0,425, a=1,175. Oleh karena itu y=1,175+0,425x.

Contoh 2. Terdapat 10 sampel pengamatan indikator ekonomi (X) dan (Y).

Diperlukan untuk menemukan persamaan regresi sampel Y pada X. Buatlah garis regresi sampel Y pada X.

Larutan. 1. Mari kita urutkan data berdasarkan nilai x i dan y i . Kami mendapatkan tabel baru:

Untuk menyederhanakan perhitungan, kami akan menyusun tabel perhitungan di mana kami akan memasukkan nilai numerik yang diperlukan.

Menurut rumus (4), kami menghitung koefisien regresi

dan dengan rumus (5)

Dengan demikian, persamaan regresi sampel terlihat seperti y=-59,34+1,3804x.
Mari kita plot titik-titik (x i ; y i) pada bidang koordinat dan tandai garis regresi.

Gambar 4

Gambar 4 menunjukkan bagaimana nilai yang diamati terletak relatif terhadap garis regresi. Untuk memperkirakan secara numerik penyimpangan y i dari Y i , di mana y i adalah nilai yang diamati, dan Y i adalah nilai yang ditentukan oleh regresi, kami akan membuat tabel:

Nilai Y i dihitung sesuai dengan persamaan regresi.

Penyimpangan yang nyata dari beberapa nilai yang diamati dari garis regresi dijelaskan oleh sedikitnya jumlah pengamatan. Saat mempelajari tingkat ketergantungan linier Y pada X, jumlah pengamatan diperhitungkan. Kekuatan ketergantungan ditentukan oleh nilai koefisien korelasi.

Metode kuadrat terkecil adalah salah satu yang paling umum dan paling berkembang karena kesederhanaan dan efisiensi metode untuk memperkirakan parameter linier. Pada saat yang sama, kehati-hatian tertentu harus diperhatikan saat menggunakannya, karena model yang dibangun dengan menggunakannya mungkin tidak memenuhi sejumlah persyaratan untuk kualitas parameternya dan, sebagai akibatnya, tidak mencerminkan pola pengembangan proses dengan "baik".

Mari kita pertimbangkan prosedur untuk memperkirakan parameter model ekonometrik linier menggunakan metode kuadrat terkecil secara lebih rinci. Model seperti itu dalam bentuk umum dapat diwakili oleh persamaan (1.2):

y t = a 0 + a 1 x 1 t +...+ a n x nt + t .

Data awal saat menaksir parameter a 0 , a 1 ,..., a n adalah vektor dari nilai variabel dependen kamu= (y 1 , y 2 , ... , y T)" dan matriks nilai variabel bebas

di mana kolom pertama, yang terdiri dari satu, sesuai dengan koefisien model .

Metode kuadrat terkecil mendapatkan namanya berdasarkan prinsip dasar bahwa estimasi parameter yang diperoleh atas dasar itu harus memenuhi: jumlah kuadrat dari kesalahan model harus minimal.

Contoh penyelesaian masalah dengan metode kuadrat terkecil

Contoh 2.1. Perusahaan perdagangan memiliki jaringan yang terdiri dari 12 toko, informasi tentang kegiatannya disajikan pada Tabel. 2.1.

Manajemen perusahaan ingin tahu bagaimana ukuran tahunan tergantung pada area penjualan toko.

Tabel 2.1

Solusi kuadrat terkecil. Mari kita tentukan - omset tahunan toko -th, juta rubel; - luas jual toko ke-th, ribu m 2.

Gambar 2.1. Scatterplot untuk Contoh 2.1

Untuk menentukan bentuk hubungan fungsional antar variabel dan membangun scatterplot (Gbr. 2.1).

Berdasarkan diagram pencar, kita dapat menyimpulkan bahwa omset tahunan secara positif bergantung pada area penjualan (yaitu, y akan meningkat dengan pertumbuhan ). Bentuk koneksi fungsional yang paling tepat adalah linier.

Informasi untuk perhitungan lebih lanjut disajikan pada Tabel. 2.2. Dengan menggunakan metode kuadrat terkecil, kami memperkirakan parameter model ekonometrik satu faktor linier

Tabel 2.2

Lewat sini,

Oleh karena itu, dengan peningkatan area perdagangan sebesar 1 ribu m 2, hal-hal lain dianggap sama, omset tahunan rata-rata meningkat sebesar 67,8871 juta rubel.

Contoh 2.2. Manajemen perusahaan memperhatikan bahwa omset tahunan tidak hanya bergantung pada area penjualan toko (lihat contoh 2.1), tetapi juga pada jumlah rata-rata pengunjung. Informasi yang relevan disajikan dalam tabel. 2.3.

Tabel 2.3

Larutan. Menunjukkan - jumlah rata-rata pengunjung ke toko per hari, ribu orang.

Untuk menentukan bentuk hubungan fungsional antar variabel dan membangun scatterplot (Gbr. 2.2).

Berdasarkan diagram pencar, kita dapat menyimpulkan bahwa omset tahunan berhubungan positif dengan jumlah rata-rata pengunjung per hari (yaitu, y akan meningkat dengan pertumbuhan ). Bentuk ketergantungan fungsional adalah linier.

Beras. 2.2. Scatterplot misalnya 2.2

Tabel 2.4

Secara umum, perlu untuk menentukan parameter model ekonometrik dua faktor

y t \u003d a 0 + a 1 x 1 t + a 2 x 2 t + t

Informasi yang diperlukan untuk perhitungan lebih lanjut disajikan pada Tabel. 2.4.

Mari kita perkirakan parameter model ekonometrika dua faktor linier menggunakan metode kuadrat terkecil.

Lewat sini,

Evaluasi koefisien = 61,6583 menunjukkan bahwa, hal lain dianggap sama, dengan peningkatan area perdagangan sebesar 1 ribu m 2, omset tahunan akan meningkat rata-rata 61,6583 juta rubel.

Yang menemukan aplikasi terluas di berbagai bidang sains dan praktik. Bisa fisika, kimia, biologi, ekonomi, sosiologi, psikologi dan lain sebagainya. Dengan kehendak takdir, saya sering harus berurusan dengan ekonomi, dan karena itu hari ini saya akan mengaturkan Anda tiket ke negara yang menakjubkan bernama ekonometrika=) … Bagaimana Anda tidak menginginkannya?! Sangat bagus di sana - Anda hanya perlu memutuskan! …Tapi yang mungkin Anda inginkan adalah belajar bagaimana memecahkan masalah kuadrat terkecil. Dan terutama pembaca yang rajin akan belajar menyelesaikannya tidak hanya secara akurat, tetapi juga SANGAT CEPAT ;-) Tapi pertama-tama pernyataan umum dari masalah+ contoh terkait:

Biarkan indikator dipelajari di beberapa bidang studi yang memiliki ekspresi kuantitatif. Pada saat yang sama, ada banyak alasan untuk percaya bahwa indikator bergantung pada indikator. Asumsi ini dapat berupa hipotesis ilmiah dan berdasarkan akal sehat dasar. Namun, mari kita kesampingkan sains, dan jelajahi area yang lebih menggugah selera - yaitu, toko kelontong. Dilambangkan dengan:

– ruang ritel toko kelontong, sq.m.,
- omset tahunan toko kelontong, juta rubel.

Cukup jelas bahwa semakin besar area toko, semakin besar omsetnya dalam banyak kasus.

Misalkan setelah melakukan pengamatan / eksperimen / perhitungan / menari dengan rebana, kami memiliki data numerik yang kami miliki:

Dengan toko kelontong, saya pikir semuanya jelas: - ini adalah area toko pertama, - omset tahunannya, - area toko ke-2, - omset tahunannya, dll. Ngomong-ngomong, sama sekali tidak perlu memiliki akses ke materi rahasia - penilaian omset yang cukup akurat dapat diperoleh dengan menggunakan statistik matematika. Namun, jangan terganggu, kursus spionase komersial sudah dibayar =)

Data tabular juga dapat ditulis dalam bentuk titik dan digambarkan dengan cara yang biasa bagi kita. sistem kartesius .

Mari kita jawab pertanyaan penting: berapa banyak poin yang diperlukan untuk studi kualitatif?

Lebih besar lebih baik. Set minimum yang dapat diterima terdiri dari 5-6 poin. Selain itu, dengan jumlah data yang sedikit, hasil “abnormal” tidak boleh dimasukkan dalam sampel. Jadi, misalnya, toko elit kecil dapat membantu lebih banyak daripada "rekan mereka", sehingga mendistorsi pola umum yang perlu ditemukan!

Jika cukup sederhana, kita perlu memilih fungsi , jadwal yang melewati sedekat mungkin ke titik . Fungsi seperti ini disebut mendekati (perkiraan - perkiraan) atau fungsi teoritis . Secara umum, di sini segera muncul "penipu" yang jelas - polinomial tingkat tinggi, yang grafiknya melewati SEMUA titik. Tetapi opsi ini rumit, dan seringkali tidak benar. (karena grafik akan "berputar" sepanjang waktu dan kurang mencerminkan tren utama).

Dengan demikian, fungsi yang diinginkan harus cukup sederhana dan pada saat yang sama mencerminkan ketergantungan secara memadai. Seperti yang Anda duga, salah satu metode untuk menemukan fungsi seperti itu disebut kuadrat terkecil. Pertama, mari kita menganalisis esensinya secara umum. Biarkan beberapa fungsi mendekati data eksperimen:


Bagaimana cara mengevaluasi keakuratan pendekatan ini? Mari kita juga menghitung perbedaan (penyimpangan) antara nilai eksperimental dan fungsional (kami mempelajari gambarnya). Pikiran pertama yang muncul di benak adalah memperkirakan seberapa besar jumlahnya, tetapi masalahnya adalah perbedaannya bisa negatif. (Misalnya, ) dan penyimpangan sebagai akibat dari penjumlahan tersebut akan membatalkan satu sama lain. Oleh karena itu, sebagai perkiraan keakuratan aproksimasi, ia menyarankan dirinya untuk mengambil jumlah modul penyimpangan:

atau dalam bentuk terlipat: (tiba-tiba, siapa yang tidak tahu: adalah ikon penjumlahan, dan merupakan variabel tambahan-“penghitung”, yang mengambil nilai dari 1 hingga ).

Dengan mendekati titik-titik percobaan dengan fungsi yang berbeda, kita akan memperoleh nilai yang berbeda dari , dan jelas bahwa di mana jumlah ini lebih kecil, fungsi itu lebih akurat.

Metode seperti itu ada dan disebut metode modulus terkecil. Namun, dalam praktiknya telah menjadi jauh lebih luas. metode kuadrat terkecil, di mana kemungkinan nilai negatif dihilangkan bukan oleh modulus, tetapi dengan mengkuadratkan deviasi:

, setelah itu upaya diarahkan pada pemilihan fungsi sedemikian rupa sehingga jumlah deviasi kuadrat adalah sekecil mungkin. Sebenarnya, itulah nama metodenya.

Dan sekarang kita kembali ke poin penting lainnya: seperti disebutkan di atas, fungsi yang dipilih seharusnya cukup sederhana - tetapi ada juga banyak fungsi seperti itu: linier , hiperbolis, eksponensial, logaritma, kuadrat dll. Dan, tentu saja, di sini saya ingin segera "mengurangi bidang kegiatan". Kelas fungsi apa yang harus dipilih untuk penelitian? Teknik primitif tapi efektif:

- Cara termudah untuk menarik poin pada gambar dan menganalisis lokasi mereka. Jika mereka cenderung berada dalam garis lurus, maka Anda harus mencari persamaan garis lurus dengan nilai optimal dan . Dengan kata lain, tugasnya adalah menemukan koefisien TERSEBUT - sehingga jumlah deviasi kuadrat adalah yang terkecil.

Jika titik-titik itu terletak, misalnya, di sepanjang hiperbola, maka jelas bahwa fungsi linier akan memberikan aproksimasi yang buruk. Dalam hal ini, kami mencari koefisien yang paling "menguntungkan" untuk persamaan hiperbola - mereka yang memberikan jumlah kuadrat minimum .

Sekarang perhatikan bahwa dalam kedua kasus yang kita bicarakan fungsi dua variabel, yang argumennya adalah opsi ketergantungan yang dicari:

Dan pada intinya, kita perlu memecahkan masalah standar - untuk menemukan minimal fungsi dari dua variabel.

Ingat contoh kita: misalkan titik "toko" cenderung terletak pada garis lurus dan ada banyak alasan untuk mempercayai kehadirannya ketergantungan linier omset dari area perdagangan. Mari kita cari koefisien TERSEBUT "a" dan "menjadi" sehingga jumlah deviasi kuadrat adalah yang terkecil. Semuanya seperti biasa - pertama turunan parsial dari orde pertama. Berdasarkan aturan linearitas anda dapat membedakan tepat di bawah ikon jumlah:

Jika Anda ingin menggunakan informasi ini untuk esai atau makalah, saya akan sangat berterima kasih atas tautan dalam daftar sumber, Anda tidak akan menemukan perhitungan terperinci seperti itu di mana pun:

Mari kita membuat sistem standar:

Kami mengurangi setiap persamaan dengan "dua" dan, sebagai tambahan, "memecah" jumlahnya:

Catatan : menganalisis secara independen mengapa "a" dan "menjadi" dapat diambil dari ikon jumlah. Ngomong-ngomong, secara formal ini bisa dilakukan dengan penjumlahan

Mari kita tulis ulang sistem dalam bentuk "terapan":

setelah itu algoritma untuk memecahkan masalah kita mulai ditarik:

Apakah kita mengetahui koordinat titik-titik tersebut? Kita tahu. Jumlah bisa kita temukan? Mudah. Kami membuat yang paling sederhana sistem dua persamaan linier dengan dua yang tidak diketahui("a" dan "beh"). Kami memecahkan sistem, misalnya, Metode Cramer, menghasilkan titik stasioner . Memeriksa kondisi yang cukup untuk ekstrim, kita dapat memverifikasi bahwa pada titik ini fungsinya mencapai tepat minimum. Verifikasi dikaitkan dengan perhitungan tambahan dan oleh karena itu kami akan meninggalkannya di belakang layar. (jika perlu, bingkai yang hilang dapat dilihat). Kami menarik kesimpulan akhir:

Fungsi jalan terbaik (setidaknya dibandingkan dengan fungsi linier lainnya) membawa poin eksperimental lebih dekat . Secara kasar, grafiknya melewati sedekat mungkin ke titik-titik ini. Dalam tradisi ekonometrika fungsi aproksimasi yang dihasilkan juga disebut persamaan regresi linier berpasangan .

Masalah yang sedang dipertimbangkan sangat penting secara praktis. Dalam situasi dengan contoh kita, persamaan memungkinkan Anda untuk memprediksi omset seperti apa ("yg") akan berada di toko dengan satu atau lain nilai area penjualan (satu atau arti lain dari "x"). Ya, ramalan yang dihasilkan hanya akan menjadi ramalan, tetapi dalam banyak kasus ternyata cukup akurat.

Saya akan menganalisis hanya satu masalah dengan angka "nyata", karena tidak ada kesulitan di dalamnya - semua perhitungan berada di level kurikulum sekolah di kelas 7-8. Dalam 95 persen kasus, Anda akan diminta untuk mencari fungsi linier saja, tetapi di akhir artikel saya akan menunjukkan bahwa tidak sulit lagi menemukan persamaan untuk hiperbola optimal, eksponen, dan beberapa fungsi lainnya.

Faktanya, tetap mendistribusikan barang yang dijanjikan - sehingga Anda belajar bagaimana menyelesaikan contoh-contoh seperti itu tidak hanya secara akurat, tetapi juga dengan cepat. Kami mempelajari standar dengan cermat:

Sebuah tugas

Sebagai hasil dari mempelajari hubungan antara dua indikator, pasangan angka berikut diperoleh:

Dengan menggunakan metode kuadrat terkecil, temukan fungsi linier yang paling mendekati fungsi empiris (berpengalaman) data. Buat gambar di mana, dalam sistem koordinat persegi panjang Cartesian, plot titik-titik eksperimental dan grafik fungsi aproksimasi . Temukan jumlah deviasi kuadrat antara nilai empiris dan teoritis. Cari tahu apakah fungsinya lebih baik (dalam hal metode kuadrat terkecil) perkiraan titik percobaan.

Perhatikan bahwa nilai "x" adalah nilai alami, dan ini memiliki makna makna yang khas, yang akan saya bicarakan nanti; tetapi mereka, tentu saja, dapat berupa pecahan. Selain itu, tergantung pada konten tugas tertentu, nilai "X" dan "G" dapat sepenuhnya atau sebagian negatif. Nah, kami telah diberi tugas "tanpa wajah", dan kami memulainya larutan:

Kami menemukan koefisien fungsi optimal sebagai solusi untuk sistem:

Untuk keperluan notasi yang lebih ringkas, variabel “penghitung” dapat dihilangkan, karena sudah jelas bahwa penjumlahan dilakukan dari 1 hingga .

Lebih mudah untuk menghitung jumlah yang diperlukan dalam bentuk tabel:


Perhitungan dapat dilakukan pada mikrokalkulator, tetapi jauh lebih baik menggunakan Excel - lebih cepat dan tanpa kesalahan; tonton video singkatnya:

Dengan demikian, kita mendapatkan yang berikut sistem:

Di sini Anda dapat mengalikan persamaan kedua dengan 3 dan kurangi suku ke-2 dari suku persamaan ke-1 dengan suku. Tapi ini keberuntungan - dalam praktiknya, sistem seringkali tidak berbakat, dan dalam kasus seperti itu menghemat Metode Cramer:
, sehingga sistem memiliki solusi yang unik.

Mari kita lakukan pemeriksaan. Saya mengerti bahwa saya tidak mau, tetapi mengapa melewatkan kesalahan di mana Anda benar-benar tidak bisa melewatkannya? Substitusikan solusi yang ditemukan ke ruas kiri setiap persamaan sistem:

Bagian yang tepat dari persamaan yang sesuai diperoleh, yang berarti bahwa sistem diselesaikan dengan benar.

Jadi, fungsi aproksimasi yang diinginkan: – dari semua fungsi linier data eksperimen paling baik didekati olehnya.

Tidak seperti lurus ketergantungan omset toko pada luasnya, ketergantungan yang ditemukan adalah membalik (prinsip "semakin banyak - semakin sedikit"), dan fakta ini segera terungkap oleh yang negatif koefisien sudut. Fungsi memberi tahu kita bahwa dengan peningkatan indikator tertentu sebesar 1 unit, nilai indikator dependen menurun rata-rata sebesar 0,65 unit. Seperti yang mereka katakan, semakin tinggi harga soba, semakin sedikit yang dijual.

Untuk memplot fungsi aproksimasi, kami menemukan dua nilainya:

dan jalankan gambarnya:


Garis yang dibangun disebut garis tren (yaitu, garis tren linier, yaitu dalam kasus umum, tren tidak harus berupa garis lurus). Semua orang akrab dengan ungkapan "menjadi tren", dan saya pikir istilah ini tidak perlu komentar tambahan.

Hitung jumlah deviasi kuadrat antara nilai empiris dan teoritis. Secara geometris, ini adalah jumlah kuadrat dari panjang segmen "merah" (dua di antaranya sangat kecil sehingga Anda bahkan tidak dapat melihatnya).

Mari kita rangkum perhitungannya dalam sebuah tabel:


Mereka dapat dilakukan lagi secara manual, untuk berjaga-jaga saya akan memberikan contoh untuk poin pertama:

tetapi jauh lebih efisien untuk melakukan cara yang sudah diketahui:

Mari kita ulangi: apa arti dari hasil Dari semua fungsi linier fungsi eksponennya adalah yang terkecil, yaitu aproksimasi terbaik dalam keluarganya. Dan di sini, omong-omong, pertanyaan terakhir dari masalah ini bukanlah kebetulan: bagaimana jika fungsi eksponensial yang diusulkan akan lebih baik untuk mendekati titik percobaan?

Mari kita temukan jumlah deviasi kuadrat yang sesuai - untuk membedakannya, saya akan menunjuknya dengan huruf "epsilon". Tekniknya persis sama:


Dan lagi untuk setiap perhitungan api untuk poin pertama:

Di Excel, kami menggunakan fungsi standar EXP (Sintaks dapat ditemukan di Bantuan Excel).

Kesimpulan: , jadi fungsi eksponensial mendekati titik eksperimen lebih buruk daripada garis lurus .

Tetapi perlu dicatat di sini bahwa "lebih buruk" adalah belum berarti, apa yang salah. Sekarang saya membuat grafik fungsi eksponensial ini - dan juga mendekati titik - sedemikian rupa sehingga tanpa studi analitis sulit untuk mengatakan fungsi mana yang lebih akurat.

Ini melengkapi solusinya, dan saya kembali ke pertanyaan tentang nilai-nilai alami dari argumen tersebut. Dalam berbagai penelitian, sebagai aturan, ekonomi atau sosiologis, bulan, tahun atau interval waktu lain yang sama diberi nomor dengan "X" alami. Pertimbangkan, misalnya, masalah seperti itu.

Metode kuadrat terkecil (LSM) memungkinkan Anda untuk memperkirakan berbagai kuantitas menggunakan hasil banyak pengukuran yang mengandung kesalahan acak.

Karakteristik MNC

Ide utama dari metode ini adalah bahwa jumlah kesalahan kuadrat dianggap sebagai kriteria keakuratan solusi masalah, yang dicari untuk diminimalkan. Saat menggunakan metode ini, pendekatan numerik dan analitik dapat diterapkan.

Secara khusus, sebagai implementasi numerik, metode kuadrat terkecil menyiratkan membuat sebanyak mungkin pengukuran variabel acak yang tidak diketahui. Selain itu, semakin banyak perhitungan, semakin akurat solusinya. Pada set perhitungan ini (data awal), satu set solusi yang diusulkan diperoleh, dari mana yang terbaik kemudian dipilih. Jika himpunan solusi diparametrikan, maka metode kuadrat terkecil akan direduksi untuk mencari nilai parameter yang optimal.

Sebagai pendekatan analitis untuk implementasi LSM pada kumpulan data awal (pengukuran) dan kumpulan solusi yang diusulkan, beberapa (fungsional) didefinisikan, yang dapat dinyatakan dengan rumus yang diperoleh sebagai hipotesis tertentu yang perlu dikonfirmasi. Dalam hal ini, metode kuadrat terkecil direduksi untuk menemukan fungsi minimum ini pada himpunan galat kuadrat dari data awal.

Perhatikan bahwa bukan kesalahan itu sendiri, tetapi kuadrat kesalahan. Mengapa? Faktanya adalah bahwa sering kali penyimpangan pengukuran dari nilai yang tepat adalah positif dan negatif. Saat menentukan rata-rata, penjumlahan sederhana dapat menyebabkan kesimpulan yang salah tentang kualitas perkiraan, karena pembatalan timbal balik dari nilai positif dan negatif akan mengurangi kekuatan pengambilan sampel dari kumpulan pengukuran. Dan, akibatnya, akurasi penilaian.

Untuk mencegah hal ini terjadi, deviasi kuadrat dijumlahkan. Bahkan lebih dari itu, untuk menyamakan dimensi nilai terukur dan taksiran akhir, digunakan jumlah kesalahan kuadrat untuk mengekstraksi

Beberapa aplikasi MNC

MNC banyak digunakan di berbagai bidang. Misalnya, dalam teori probabilitas dan statistik matematika, metode ini digunakan untuk menentukan karakteristik variabel acak seperti deviasi standar, yang menentukan lebar rentang nilai variabel acak.

Setelah penyelarasan, kita mendapatkan fungsi dari bentuk berikut: g (x) = x + 1 3 + 1 .

Kita dapat memperkirakan data ini dengan hubungan linier y = a x + b dengan menghitung parameter yang sesuai. Untuk melakukan ini, kita perlu menerapkan apa yang disebut metode kuadrat terkecil. Anda juga perlu membuat gambar untuk memeriksa garis mana yang paling tepat untuk menyelaraskan data eksperimen.

Apa sebenarnya OLS (metode kuadrat terkecil)

Hal utama yang perlu kita lakukan adalah menemukan koefisien ketergantungan linier di mana nilai fungsi dua variabel F (a, b) = i = 1 n (y i - (a x i + b)) 2 akan menjadi terkecil. Dengan kata lain, untuk nilai a dan b tertentu, jumlah simpangan kuadrat dari data yang disajikan dari garis lurus yang dihasilkan akan memiliki nilai minimum. Demikianlah apa yang dimaksud dengan metode kuadrat terkecil. Yang harus kita lakukan untuk menyelesaikan contoh ini adalah menemukan ekstrem dari fungsi dua variabel.

Cara mendapatkan rumus untuk menghitung koefisien

Untuk mendapatkan rumus untuk menghitung koefisien, perlu untuk menyusun dan menyelesaikan sistem persamaan dengan dua variabel. Untuk melakukan ini, kami menghitung turunan parsial dari ekspresi F (a , b) = i = 1 n (y i - (a x i + b)) 2 terhadap a dan b dan menyamakannya dengan 0 .

F (a , b) a = 0 F (a , b) b = 0 - 2 i = 1 n (y i - (a x i + b)) x i = 0 - 2 i = 1 n ( y i - (a x i + b)) = 0 a i = 1 n x i 2 + b i = 1 n x i = i = 1 n x i y i a i = 1 n x i + i = 1 n b = ∑ i = 1 n y i i = 1 n x i 2 + b i = 1 n x i = i = 1 n x i y i a i = 1 n x i + n b = i = 1 n y i

Untuk menyelesaikan sistem persamaan, Anda dapat menggunakan metode apa pun, seperti substitusi atau metode Cramer. Akibatnya, kita harus mendapatkan rumus yang menghitung koefisien menggunakan metode kuadrat terkecil.

n i = 1 n x i y i - i = 1 n x i i = 1 n y i n i = 1 n - i = 1 n x i 2 b = i = 1 n y i - a i = 1 n x i n

Kami telah menghitung nilai variabel yang fungsinya
F (a , b) = i = 1 n (y i - (a x i + b)) 2 akan mengambil nilai minimum. Di paragraf ketiga, kami akan membuktikan mengapa demikian.

Ini adalah penerapan metode kuadrat terkecil dalam praktik. Rumusnya, yang digunakan untuk mencari parameter a , meliputi i = 1 n x i , i = 1 n y i , i = 1 n x i y i , i = 1 n x i 2 , dan parameter
n - ini menunjukkan jumlah data eksperimen. Kami menyarankan Anda untuk menghitung setiap jumlah secara terpisah. Nilai koefisien b dihitung segera setelah a .

Mari kita kembali ke contoh awal.

Contoh 1

Di sini kita memiliki n sama dengan lima. Untuk membuatnya lebih mudah untuk menghitung jumlah yang diperlukan yang termasuk dalam rumus koefisien, kami mengisi tabel.

Larutan

Baris keempat berisi data yang diperoleh dengan mengalikan nilai dari baris kedua dengan nilai ketiga untuk setiap individu i . Baris kelima berisi data dari kuadrat kedua. Kolom terakhir menunjukkan jumlah nilai dari masing-masing baris.

Mari kita gunakan metode kuadrat terkecil untuk menghitung koefisien a dan b yang kita butuhkan. Untuk melakukan ini, gantikan nilai yang diinginkan dari kolom terakhir dan hitung jumlahnya:

n i = 1 n x i y i - i = 1 n x i i = 1 n y i n i = 1 n - i = 1 n x i 2 b = i = 1 n y i - a i = 1 n x i = 5 33 , 8 a - 12 12, 9 5 46 - 12 2 b = 12, 9 - a 12 5 a 0, 165 b 2, 184

Kami mendapatkan bahwa garis lurus aproksimasi yang diinginkan akan terlihat seperti y = 0, 165 x + 2 , 184 . Sekarang kita perlu menentukan garis mana yang paling mendekati data - g (x) = x + 1 3 + 1 atau 0 , 165 x + 2 , 184 . Mari kita membuat perkiraan menggunakan metode kuadrat terkecil.

Untuk menghitung galat, kita perlu mencari jumlah simpangan kuadrat data dari garis 1 = i = 1 n (y i - (a x i + b i)) 2 dan 2 = i = 1 n (y i - g (x i)) 2 , nilai minimum akan sesuai dengan garis yang lebih cocok.

1 = i = 1 n (y i - (a x i + b i)) 2 = = i = 1 5 (y i - (0 , 165 x i + 2 , 184)) 2 ≈ 0 , 019 2 = i = 1 n (y i - g (x i)) 2 = = i = 1 5 (y i - (x i + 1 3 + 1)) 2 0 , 096

Menjawab: sejak 1< σ 2 , то прямой, наилучшим образом аппроксимирующей исходные данные, будет
y = 0, 165 x + 2 , 184 .

Metode kuadrat terkecil ditunjukkan dengan jelas dalam ilustrasi grafik. Garis merah menandai garis lurus g (x) = x + 1 3 + 1, garis biru menandai y = 0, 165 x + 2, 184. Data mentah ditandai dengan titik-titik merah muda.

Mari kita jelaskan mengapa persisnya perkiraan jenis ini diperlukan.

Mereka dapat digunakan dalam masalah yang membutuhkan pemulusan data, serta di mana data perlu diinterpolasi atau diekstrapolasi. Misalnya, dalam masalah yang dibahas di atas, seseorang dapat menemukan nilai besaran yang diamati y pada x = 3 atau pada x = 6 . Kami telah mendedikasikan artikel terpisah untuk contoh-contoh seperti itu.

Bukti metode LSM

Agar fungsi mengambil nilai minimum ketika a dan b dihitung, perlu bahwa pada suatu titik tertentu matriks bentuk kuadrat dari diferensial dari fungsi bentuk F (a, b) = i = 1 n (y i - (a x i + b)) 2 pasti positif. Mari kita tunjukkan bagaimana seharusnya terlihat.

Contoh 2

Kami memiliki diferensial orde kedua dari bentuk berikut:

d 2 F (a ; b) = 2 F (a ; b) a 2 d 2 a + 2 2 F (a ; b) a b d a d b + 2 F (a ; b) b 2 d 2b

Larutan

2 F (a ; b) a 2 = δ F (a ; b) δ a a = = - 2 ∑ i = 1 n (y i - (a x i + b)) x i δ a = 2 i = 1 n (x i) 2 2 F (a ; b) a b = F (a ; b) a b = = - 2 i = 1 n (y i - (a x i + b) ) x i b = 2 i = 1 n x i 2 F (a ; b) b 2 = F (a ; b) b δ b = - 2 i = 1 n (y i - (a x i + b)) b = 2 i = 1 n (1) = 2 n

Dengan kata lain, dapat ditulis sebagai berikut: d 2 F (a ; b) = 2 i = 1 n (x i) 2 d 2 a + 2 2 x i i = 1 n d a d b + (2 n) d 2 b .

Kami telah memperoleh matriks bentuk kuadrat M = 2 i = 1 n (x i) 2 2 i = 1 n x i 2 i = 1 n x i 2 n .

Dalam hal ini, nilai elemen individu tidak akan berubah tergantung pada a dan b . Apakah matriks ini pasti positif? Untuk menjawab pertanyaan ini, mari kita periksa apakah sudut minornya positif.

Hitung minor sudut orde pertama: 2 i = 1 n (x i) 2 > 0 . Karena titik x i tidak bertepatan, maka pertidaksamaannya tegas. Kami akan mengingat ini dalam perhitungan lebih lanjut.

Kami menghitung minor sudut orde kedua:

d e t (M) = 2 i = 1 n (x i) 2 2 i = 1 n x i 2 i = 1 n x i 2 n = 4 n ∑ i = 1 n (x i) 2 - i = 1 n x i 2

Setelah itu, lanjutkan ke pembuktian pertidaksamaan n i = 1 n (x i) 2 - i = 1 n x i 2 > 0 menggunakan induksi matematika.

1. Mari kita periksa apakah ketidaksetaraan ini valid untuk n arbitrer. Mari kita ambil 2 dan hitung:

2 i = 1 2 (x i) 2 - i = 1 2 x i 2 = 2 x 1 2 + x 2 2 - x 1 + x 2 2 = = x 1 2 - 2 x 1 x 2 + x 2 2 = x 1 + x 2 2 > 0

Kami mendapatkan kesetaraan yang benar (jika nilai x 1 dan x 2 tidak cocok).

1. Mari kita asumsikan bahwa pertidaksamaan ini akan benar untuk n , yaitu. n i = 1 n (x i) 2 - i = 1 n x i 2 > 0 – benar.
2. Sekarang mari kita buktikan validitas untuk n + 1 , yaitu. bahwa (n + 1) i = 1 n + 1 (x i) 2 - i = 1 n + 1 x i 2 > 0 jika n i = 1 n (x i) 2 - i = 1 n x i 2 > 0 .

Kami menghitung:

(n + 1) i = 1 n + 1 (x i) 2 - i = 1 n + 1 x i 2 = = (n + 1) i = 1 n (x i) 2 + x n + 1 2 - i = 1 n x i + x n + 1 2 = = n i = 1 n (x i) 2 + n x n + 1 2 + i = 1 n (x i) 2 + x n + 1 2 - - i = 1 n x i 2 + 2 x n + 1 i = 1 n x i + x n + 1 2 = = i = 1 n (x i) 2 - i = 1 n x i 2 + n x n + 1 2 - x n + 1 i = 1 n x i + i = 1 n (x i) 2 = = i = 1 n (x i) 2 - i = 1 n x i 2 + x n + 1 2 - 2 x n + 1 x 1 + x 1 2 + + x n + 1 2 - 2 x n + 1 x 2 + x 2 2 + . . . + x n + 1 2 - 2 x n + 1 x 1 + x n 2 = = n ∑ i = 1 n (x i) 2 - i = 1 n x i 2 + + (x n + 1 - x 1) 2 + (x n + 1 - x 2) 2 + . . . + (x n - 1 - x n) 2 > 0

Ekspresi yang diapit kurung kurawal akan lebih besar dari 0 (berdasarkan apa yang kita asumsikan pada langkah 2), dan suku-suku lainnya akan lebih besar dari 0 karena semuanya adalah bilangan kuadrat. Kami telah membuktikan ketidaksetaraan.

Menjawab: a dan b yang ditemukan akan sesuai dengan nilai terkecil dari fungsi F (a, b) = i = 1 n (y i - (a x i + b)) 2, yang berarti bahwa mereka adalah parameter yang diperlukan dari metode kuadrat terkecil (LSM).

Jika Anda melihat kesalahan dalam teks, harap sorot dan tekan Ctrl+Enter