LSM за функция на две променливи. Метод на най-малките квадрати в Excel. Регресионен анализ. Добавяне на трендови линии към диаграма

Задачата е да се намерят коефициентите линейна зависимост, за която функцията на две променливи АИ bприема най-малка стойност. Тоест дадено АИ bсумата от квадратите на отклоненията на експерименталните данни от намерената права линия ще бъде най-малка. Това е цялата същност на метода най-малки квадрати.

Така решаването на примера се свежда до намиране на екстремума на функция на две променливи.

Извеждане на формули за намиране на коефициенти.Съставя се и се решава система от две уравнения с две неизвестни. Намиране на частни производни на функция по променливи АИ b, ние приравняваме тези производни на нула.

Ние решаваме получената система от уравнения, използвайки произволен метод (например метод на заместване или метод на Крамер) и получаваме формули за намиране на коефициентите, използвайки метода на най-малките квадрати (LSM).

дадени АИ bфункция приема най-малката стойност.

Това е целият метод на най-малките квадрати. Формула за намиране на параметъра асъдържа сумите , , и параметър п- количество експериментални данни. Препоръчваме да изчислите стойностите на тези суми отделно. Коефициент bнамерени след изчисление а.

Основната област на приложение на такива полиноми е обработката на експериментални данни (изграждане на емпирични формули). Факт е, че интерполационен полином, конструиран от стойности на функцията, получени чрез експеримент, ще бъде силно повлиян от „експериментален шум“, освен това, когато се интерполира, интерполационните възли не могат да бъдат повторени, т.е. Резултатите от повторни експерименти при едни и същи условия не могат да бъдат използвани. Средноквадратичният полином изглажда шума и ви позволява да използвате резултатите от множество експерименти.

Числено интегриране и диференциране. Пример.

Числено интегриране– изчисляване на стойността на определен интеграл (обикновено приблизителен). Численото интегриране се разбира като набор от числени методи за намиране на стойността на определен интеграл.

Числено диференциране– набор от методи за изчисляване на стойността на производната на дискретно зададена функция.

Интеграция

Постановка на проблема.Математическа формулировка на задачата: необходимо е да се намери стойността на определен интеграл

където a, b са крайни, f(x) е непрекъснат върху [a, b].

При решаване на практически проблеми често се случва интегралът да е неудобен или невъзможен за аналитично приемане: може да не се изрази в елементарни функции, подинтегралната функция може да бъде зададена под формата на таблица и т.н. В такива случаи се използват методи за числено интегриране. Методите за числено интегриране използват замяна на площта на криволинейния трапец с крайна сума от площи на по-прости геометрични форми, което може да се изчисли точно. В този смисъл те говорят за използване на квадратурни формули.

Повечето методи използват представяне на интеграла като крайна сума (квадратурна формула):

Квадратурните формули се основават на идеята за замяна на графиката на интегранд на интегралния сегмент с функции на повече прост тип, които могат лесно да бъдат интегрирани аналитично и по този начин лесно изчислени. Задачата за конструиране на квадратурни формули се изпълнява най-лесно за полиномиални математически модели.

Могат да се разграничат три групи методи:

1. Метод с разделяне на интеграционния сегмент на равни интервали. Разделянето на интервали се извършва предварително; обикновено интервалите се избират равни (за да се улесни изчисляването на функцията в краищата на интервалите). Изчислете площи и ги сумирайте (правоъгълник, трапец, методи на Симпсън).

2. Методи с разделяне на интеграционния сегмент с помощта на специални точки (метод на Гаус).

3. Изчисляване на интеграли с помощта на случайни числа (метод Монте Карло).

Правоъгълен метод.Нека функцията (фигурата) трябва да се интегрира числено върху сегмента . Разделете сегмента на N равни интервала. Площта на всеки от N извити трапеца може да бъде заменена с площта на правоъгълник.

Ширината на всички правоъгълници е еднаква и равна на:

За да изберете височината на правоъгълниците, можете да изберете стойността на функцията в лявата граница. В този случай височината на първия правоъгълник ще бъде f(a), на втория - f(x 1),..., N-f(N-1).

Ако вземем стойността на функцията от дясната граница, за да изберем височината на правоъгълника, тогава в този случай височината на първия правоъгълник ще бъде f(x 1), на втория - f(x 2), ... , N - f(x N).

Както можете да видите, в този случай една от формулите дава приближение на интеграла с излишък, а втората с дефицит. Има и друг начин - да се използва стойността на функцията в средата на интеграционния сегмент за приближение:

Оценка на абсолютната грешка на метода на правоъгълника (среда)

Оценка на абсолютната грешка на методите на левия и десния правоъгълник.

Пример.Изчислете за целия интервал и разделете интервала на четири секции

Решение.Аналитичното изчисляване на този интеграл дава I=arctg(1)–arctg(0)=0,7853981634. В нашия случай:

1)h = 1; xo = 0; x1 = 1;

2) h = 0,25 (1/4); x0 = 0; x1 = 0,25; х2 = 0,5; х3 = 0,75; x4 = 1;

Нека изчислим с помощта на метода на левия правоъгълник:

Нека изчислим с помощта на метода на десния правоъгълник:

Нека изчислим с помощта на метода на средния правоъгълник:

Трапецовиден метод.Използването на полином от първа степен (права линия, прекарана през две точки) за интерполиране на резултатите във формулата на трапеца. Краищата на интеграционния сегмент се приемат като интерполационни възли. по този начин извит трапецсе заменя с правилен трапец, чиято площ може да се намери като произведение на половината от сбора на основите и височината

В случай на N интеграционни сегмента за всички възли, с изключение на крайните точки на сегмента, стойността на функцията ще бъде включена в обща сумадва пъти (тъй като съседните трапеци имат една обща страна)

Формулата на трапеца може да се получи, като се вземе половината от сумата на формулите на правоъгълници по десния и левия ръб на сегмента:

Проверка на стабилността на разтвора.Като правило колкото по-къса е дължината на всеки интервал, т.е. колкото по-голям е броят на тези интервали, толкова по-малка е разликата между приблизителните и точните стойности на интеграла. Това важи за повечето функции. При метода на трапец грешката при изчисляване на интеграла ϭ е приблизително пропорционална на квадрата на стъпката на интегриране (ϭ ~ h 2). По този начин, за да се изчисли интегралът на определена функция по отношение на a, b, е необходимо разделете сегмента на N 0 интервала и намерете сумата от площите на трапеца. След това трябва да увеличите броя на интервалите N 1, отново да изчислите сумата на трапеца и да сравните получената стойност с предишния резултат. Това трябва да се повтаря до (N i), докато се постигне определената точност на резултата (критерий за конвергенция).

За методите на правоъгълник и трапец обикновено при всяка итерационна стъпка броят на интервалите се увеличава 2 пъти (N i +1 = 2N i).

Критерий за конвергенция:

Основното предимство на трапецовидното правило е неговата простота. Въпреки това, ако се изисква висока точност при изчисляване на интеграла, използването на този метод може да изисква твърде много голямо количествоитерации.

Абсолютна грешка на метода на трапецасе оценява като
.

Пример.Изчислете приблизително определен интеграл, като използвате формулата на трапеца.

а) Разделяне на сегмента на интеграция на 3 части.
б) Разделяне на сегмента на интеграция на 5 части.

Решение:
а) Съгласно условието сегментът на интеграция трябва да бъде разделен на 3 части, т.е.
Нека изчислим дължината на всеки разделителен сегмент: .

Така общата формула на трапеца се свежда до приятен размер:

Накрая:

Нека ви напомня, че получената стойност е приблизителна стойност на площта.

б) Нека разделим интеграционния сегмент на 5 равни части, т.е. Чрез увеличаване на броя на сегментите, ние повишаваме точността на изчисленията.

Ако , тогава трапецовидната формула приема следната форма:

Нека намерим стъпката на разделяне:
, тоест дължината на всеки междинен сегмент е 0,6.

Когато финализирате задачата, е удобно да формализирате всички изчисления с помощта на таблица за изчисление:

В първия ред пишем „брояч“

В резултат на това:

Е, наистина има уточнение и то сериозно!
Ако за 3 преградни сегмента, то за 5 сегмента. Ако вземете още по-голям сегмент => ще бъде още по-точно.

Формулата на Симпсън.Трапецовидната формула дава резултат, който силно зависи от размера на стъпката h, което влияе върху точността на изчисляване на определен интеграл, особено в случаите, когато функцията е немонотонна. Можем да приемем повишаване на точността на изчисленията, ако вместо прави сегменти, заместващи криволинейни фрагменти от графиката на функцията f(x), използваме например фрагменти от параболи, дадени през три съседни точки на графиката. Тази геометрична интерпретация е в основата на метода на Симпсън за изчисляване на определения интеграл. Целият интеграционен интервал a,b е разделен на N сегмента, дължината на сегмента също ще бъде равна на h=(b-a)/N.

Формулата на Симпсън изглежда така:

остатъчен срок

С увеличаването на дължината на сегментите точността на формулата намалява, така че за повишаване на точността се използва съставната формула на Симпсън. Целият интеграционен интервал е разделен на четен брой еднакви сегменти N, дължината на сегмента също ще бъде равна на h=(b-a)/N. Формулата на съединението на Симпсън е:

Във формулата изразите в скоби представляват сумите от стойностите на интегранта в края на нечетните и четните вътрешни сегменти, съответно.

Остатъкът от формулата на Симпсън е пропорционален на четвъртата степен на стъпката:

Пример:Използвайки правилото на Симпсън, изчислете интеграла. (Точно решение - 0,2)

Метод на Гаус

Квадратурна формула на Гаус. Основният принцип на квадратурните формули от втория тип е виден от Фигура 1.12: необходимо е да поставите точките по този начин X 0 и X 1 вътре в сегмента [ а;b], така че общите площи на „триъгълниците“ да са равни на площта на „сегмента“. Когато използвате формулата на Гаус, оригиналният сегмент [ а;b] се редуцира до сегмента [-1;1] чрез замяна на променливата Xна

0.5∙(b– а)∙t+ 0.5∙(b + а).

Тогава , Къде .

Такава замяна е възможна, ако аИ bса крайни, а функцията f(х) е непрекъснат на [ а;b]. Формула на Гаус при пточки x i, аз=0,1,..,п-1 вътре в сегмента [ а;b]:

, (1.27)

Къде t iИ A iза различни пса дадени в справочници. Например, когато п=2 А 0 =А 1 =1; при п=3: t 0 =t 2 "0,775, t 1 =0, А 0 =А 2 "0,555, А 1 "0,889.

Квадратурна формула на Гаус

получена с тегловна функция, равна на единица p(x)= 1 и възли x i, които са корените на полиномите на Лежандро

Коефициенти A iлесно се изчислява с помощта на формули

аз=0,1,2,...п.

Стойностите на възлите и коефициентите за n=2,3,4,5 са дадени в таблицата

ред	Възли	Коефициенти
п=2	х 1=0 x 0 =-х 2=0.7745966692	A 1=8/9 A 0 = A 2=5/9
п=3	x 2 =-х 1=0.3399810436 x 3 =-х 0=0.8611363116	A 1 = A 2=0.6521451549 A 0 = A 3=0.6521451549
n=4	х 2 = 0 х 3 = -х 1 = 0.5384693101 х 4 =-х 0 =0.9061798459	А 0 =0.568888899 А 3 =А 1 =0.4786286705 А 0 =А 4 =0.2869268851
п=5	х 5 = -х 0 =0.9324695142 х 4 = -х 1 =0.6612093865 х 3 = -х 2 =0.2386191861	А 5 =А 0 =0.1713244924 А 4 =А 1 =0.3607615730 А 3 =А 2 =0.4679139346

Пример.Изчислете стойността, като използвате формулата на Гаус за п=2:

Точна стойност: .

Алгоритъмът за изчисляване на интеграла по формулата на Гаус не включва удвояване на броя на микросегментите, а увеличаване на броя на ординатите с 1 и сравняване на получените стойности на интеграла. Предимството на формулата на Гаус е нейната висока точност при относително малък брой ординати. Недостатъци: неудобен за ръчни изчисления; необходимо е стойностите да се съхраняват в паметта на компютъра t i, A iза различни п.

Грешката на квадратурната формула на Гаус върху сегмента ще бъде За формулата на остатъчния член ще бъде и коефициентът α Ннамалява бързо с растежа Н. тук

Формулите на Гаус осигуряват висока точност дори при малък брой възли (от 4 до 10). В този случай при практически изчисления броят на възлите варира от няколкостотин до няколко хиляди. Имайте предвид също, че теглата на гаусовите квадратури са винаги положителни, което гарантира стабилността на алгоритъма за изчисляване на сумите

3.5. Метод на най-малките квадрати

Първата работа, която полага основите на метода на най-малките квадрати, е извършена от Legendre през 1805 г. В статията „Нови методи за определяне на орбитите на кометите“ той пише: „След като всички условия на задачата са били напълно използвани, е необходимо да се определят коефициентите така, че размерът на техните грешки да е възможно най-малък. Най-простият начин да се постигне това е метод, който се състои в намиране на минималната сума от квадратни грешки." В момента методът се използва много широко, когато се апроксимират неизвестни функционални зависимости, определени от много експериментални проби, за да се получи аналитичен израз, по възможно най-добрия начинблизо до пълномащабен експеримент.

Да предположим, че въз основа на експеримент е необходимо да се установи функционалната зависимост на количеството y от x : Да приемем, че в резултат на експеримента получихмепценности гза съответните стойности на аргументах. Ако експерименталните точки са разположени на координатната равнина, както е на фигурата, тогава, знаейки, че по време на експеримента възникват грешки, можем да приемем, че зависимостта е линейна, т.е.г= брадва+ bИмайте предвид, че методът не налага ограничения върху типа функция, т.е. може да се приложи към всякакви функционални зависимости.

От гледна точка на експериментатора, често е по-естествено да се счита, че последователността на вземане на пробификсирани предварително, т.е. е независима променлива и се брои - зависима променлива Това е особено ясно, ако под се разбират като моменти във времето, което се използва най-широко в техническите приложения, но това е само много често срещан специален случай. Например, необходимо е да се класифицират някои проби по размер. Тогава независимата променлива ще бъде номерът на извадката, а зависимата променлива ще бъде нейният индивидуален размер.

Методът на най-малките квадрати е описан подробно в много образователни и научни публикации, особено по отношение на апроксимацията на функции в електротехниката и радиотехниката, както и в книги по теория на вероятностите и математическа статистика.

Да се върнем към чертежа. Пунктираните линии показват, че грешки могат да възникнат не само поради несъвършенство на измервателните процедури, но и поради неточност при определяне на независимата променлива с избрания тип функция Остава само да изберете параметрите, включени в негоаИ bЯсно е, че броят на параметрите може да бъде повече от два, което е характерно само за линейните функции. общ изгледще броим

.(1)

Трябва да изберете коефициентиа, b, c... така че условието да е изпълнено

. (2)

Нека намерим стойностите а, b, c..., като завъртите лявата страна на (2) до минимум. За да направим това, ние определяме стационарни точки (точки, в които първата производна изчезва) чрез диференциране на лявата страна на (2) по отношение наа, b, c:

(3)

и т.н. Получената система от уравнения съдържа толкова уравнения, колкото и неизвестниа, b, c…. Невъзможно е да се реши такава система в общ вид, така че е необходимо да се посочи, поне приблизително, определен тип функция След това ще разгледаме два случая: линейни и квадратични функции.

Линейна функция .

Нека разгледаме сумата от квадратите на разликите между експерименталните стойности и стойностите на функцията в съответните точки:

(4)

Нека изберем параметритеаИ bтака че тази сума да има най-малка стойност. Така задачата се свежда до намиране на стойноститеаИ b, при което функцията има минимум, т.е. да се изследва функцията на две независими променливиаИ bдо минимум. За да направим това, правим разлика поаИ b:

;

или

(5)

Като заместим експерименталните данни и , получаваме система от две линейни уравнения с две неизвестниаИ b. След като решим тази система, можем да напишем функцията.

Нека се уверим, че за намерените стойностиаИ bима минимум. За да направим това, намираме и:

, , .

следователно

− = ,

>0,

тези. е изпълнено достатъчно минимално условие за функция на две променливи.

Квадратична функция .

Нека експериментът получи стойностите на функцията в точки. Нека също, въз основа на априорна информация, има предположение, че функцията е квадратна:

Трябва да намерим коефициентитеа, bИ c.Имаме

– функция на три променливиа, b, c.

В този случай системата (3) приема формата:

Или:

След като решим тази система от линейни уравнения, ние определяме неизвестнитеа, b, c.

Пример.Нека въз основа на експеримента се получат четири стойности на желаната функция y = (x ) с четири стойности на аргумента, които са дадени в таблицата:

Метод на най-малките квадрати

Метод на най-малките квадрати ( OLS, OLS, обикновени най-малки квадрати) - един от основните методи на регресионен анализ за оценка на неизвестни параметри на регресионни модели с използване на извадкови данни. Методът се основава на минимизиране на сумата от квадратите на регресионните остатъци.

Трябва да се отбележи, че самият метод на най-малките квадрати може да се нарече метод за решаване на проблем във всяка област, ако решението е или удовлетворява някакъв критерий за минимизиране на сумата от квадратите на някои функции на необходимите променливи. Следователно методът на най-малките квадрати може да се използва и за приблизително представяне (апроксимация) на дадена функция чрез други (по-прости) функции, когато се намира набор от величини, които удовлетворяват уравнения или ограничения, чийто брой надвишава броя на тези величини и т.н.

Същността на MNC

Нека бъде даден някакъв (параметричен) модел на вероятностна (регресионна) връзка между (обяснената) променлива ги много фактори (обяснителни променливи) х

където е векторът на неизвестните параметри на модела

- случайна грешка на модела.

Нека има и примерни наблюдения на стойностите на тези променливи. Нека е номерът на наблюдение (). След това са стойностите на променливите в тото наблюдение. След това, за дадени стойности на параметрите b, е възможно да се изчислят теоретичните (моделни) стойности на обяснената променлива y:

Размерът на остатъците зависи от стойностите на параметрите b.

Същността на метода на най-малките квадрати (обикновен, класически) е да се намерят параметри b, за които сумата от квадратите на остатъците (англ. Остатъчен сбор от квадрати) ще бъде минимален:

IN общ случайТози проблем може да бъде решен с помощта на методи за числена оптимизация (минимизация). В този случай те говорят за нелинейни най-малки квадрати(NLS или NLLS - английски) Нелинейни най-малки квадрати). В много случаи е възможно да се получи аналитично решение. За да се реши задачата за минимизиране, е необходимо да се намерят стационарни точки на функцията чрез диференцирането й по отношение на неизвестните параметри b, приравняването на производните към нула и решаването на получената система от уравнения:

Ако случайните грешки на модела са нормално разпределени, имат една и съща вариация и не са корелирани, оценките на OLS параметрите са същите като оценките на максималната вероятност (MLM).

OLS в случай на линеен модел

Нека регресионната зависимост е линейна:

Нека ге колонен вектор на наблюденията на обяснената променлива и е матрица на факторните наблюдения (редовете на матрицата са векторите на факторните стойности в дадено наблюдение, колоните са векторът на стойностите на даден фактор във всички наблюдения). Матричното представяне на линейния модел е:

Тогава векторът на оценките на обяснената променлива и векторът на регресионните остатъци ще бъдат равни

Съответно сумата от квадратите на регресионните остатъци ще бъде равна на

Диференцирайки тази функция по отношение на вектора на параметрите и приравнявайки производните на нула, получаваме система от уравнения (в матрична форма):

Решението на тази система от уравнения дава обща формула OLS оценки за линейния модел:

За аналитични цели последното представяне на тази формула е полезно. Ако в регресионен модел данните центриран, тогава в това представяне първата матрица има значението на примерна ковариационна матрица от фактори, а втората е вектор от ковариации на фактори със зависимата променлива. Ако в допълнение данните също са нормализиранкъм MSE (тоест в крайна сметка стандартизиран), тогава първата матрица има значението на примерна корелационна матрица на фактори, вторият вектор - вектор на примерни корелации на фактори със зависимата променлива.

Важно свойство на оценките на OLS за модели с постоянна- линията на конструираната регресия минава през центъра на тежестта на извадковите данни, т.е. равенството е изпълнено:

По-специално, в в краен случай, когато единственият регресор е константа, получаваме, че OLS оценката на единствения параметър (самата константа) е равна на средната стойност на обяснената променлива. Тоест, средната аритметична стойност, известна с добрите си свойства от законите на големите числа, също е оценка на най-малките квадрати - тя удовлетворява критерия за минималната сума на квадратите на отклоненията от нея.

Пример: най-проста (по двойки) регресия

В случай на сдвоена линейна регресия, формулите за изчисление са опростени (можете да правите без матрична алгебра):

Свойства на OLS оценителите

На първо място, отбелязваме, че за линейните модели оценките на OLS са линейни оценки, както следва от горната формула. За безпристрастни оценки на OLS е необходимо и достатъчно да се извърши най-важното условиерегресионен анализ: в зависимост от факторите, математическото очакване на случайна грешка трябва да бъде равно на нула. Това състояние, по-специално, е удовлетворен, ако

математическото очакване на случайни грешки е нула и
факторите и случайните грешки са независими случайни променливи.

Второто условие - условието за екзогенност на факторите - е основно. Ако това свойство не е изпълнено, тогава можем да предположим, че почти всички оценки ще бъдат изключително незадоволителни: те дори няма да бъдат последователни (тоест дори много голямо количество данни не ни позволява да получим висококачествени оценки в този случай ). В класическия случай се прави по-силно предположение за детерминизма на факторите, за разлика от случайна грешка, което автоматично означава, че условието за екзогенност е изпълнено. В общия случай, за съгласуваност на оценките, е достатъчно да се удовлетвори условието за екзогенност заедно с конвергенцията на матрицата към някаква неособена матрица, когато размерът на извадката нараства до безкрайност.

За да бъдат, в допълнение към последователността и безпристрастността, оценките на (обикновените) най-малки квадрати също ефективни (най-добрите в класа на линейните безпристрастни оценки), трябва да бъдат изпълнени допълнителни свойства на случайната грешка:

Тези предположения могат да бъдат формулирани за ковариационната матрица на вектора на случайната грешка

Линеен модел, който отговаря на тези условия, се нарича класически. OLS оценките за класическа линейна регресия са безпристрастни, последователни и най-ефективните оценки в класа на всички линейни безпристрастни оценки (в английската литература понякога се използва съкращението СИН (Най-добрият линеен небазиран оценител) - най-добрата линейна безпристрастна оценка; в руската литература по-често се цитира теоремата на Гаус-Марков). Както е лесно да се покаже, ковариационната матрица на вектора на оценките на коефициента ще бъде равна на:

Генерализиран OLS

Методът на най-малките квадрати позволява широко обобщение. Вместо да се минимизира сумата от квадрати на остатъците, може да се минимизира някаква положително определена квадратична форма на вектора на остатъците, където е някаква симетрична положително определена матрица с тегло. Обикновените най-малки квадрати са специален случай този подход, когато матрицата на теглото е пропорционална на матрицата на идентичността. Както е известно от теорията на симетричните матрици (или оператори), за такива матрици има декомпозиция. Следователно посоченият функционал може да бъде представен по следния начин, тоест този функционал може да бъде представен като сумата от квадратите на някои трансформирани „остатъци“. По този начин можем да разграничим клас от методи на най-малките квадрати - LS методи (Least Squares).

Доказано е (теорема на Ейткен), че за обобщен линеен регресионен модел (в който не се налагат ограничения върху ковариационната матрица на случайните грешки), най-ефективни (в класа на линейните непредубедени оценки) са т.нар. оценки. обобщени най-малки квадрати (GLS - Обобщени най-малки квадрати)- LS метод с тегловна матрица, равна на обратната ковариационна матрица на случайните грешки: .

Може да се покаже, че формулата за GLS оценки на параметрите на линеен модел има вида

Ковариационната матрица на тези оценки съответно ще бъде равна на

Всъщност същността на OLS се състои в определена (линейна) трансформация (P) на оригиналните данни и прилагането на обикновен OLS към трансформираните данни. Целта на тази трансформация е, че за трансформираните данни случайните грешки вече отговарят на класическите допускания.

Претеглен OLS

В случай на диагонална матрица на тегло (и следователно ковариационна матрица на случайни грешки), имаме така наречените претеглени най-малки квадрати (WLS). В този случай претеглената сума от квадрати на остатъците на модела е сведена до минимум, т.е. всяко наблюдение получава „тегло“, което е обратно пропорционално на дисперсията на случайната грешка в това наблюдение: . Всъщност данните се трансформират чрез претегляне на наблюденията (разделяне на количество, пропорционално на изчисленото стандартно отклонение на случайните грешки), а към претеглените данни се прилага обикновен OLS.

Някои специални случаи на използване на MNC в практиката

Апроксимация на линейна зависимост

Нека разгледаме случая, когато в резултат на изследване на зависимостта на определена скаларна величина от определена скаларна величина (Това може да бъде например зависимостта на напрежението от силата на тока: , където е постоянна стойност, съпротивлението на проводника), бяха извършени измервания на тези количества, в резултат на което стойностите и съответните им стойности. Данните от измерванията трябва да бъдат записани в таблица.

Таблица. Резултати от измерването.

Измерване №
1
2
3
4
5
6

Въпросът е: каква стойност на коефициента може да се избере, за да се опише най-добре зависимостта? Според метода на най-малките квадрати тази стойност трябва да бъде такава, че сумата от квадратните отклонения на стойностите от стойностите

беше минимален

Сумата от квадратите на отклоненията има един екстремум - минимум, което ни позволява да използваме тази формула. Нека намерим от тази формула стойността на коефициента. За да направим това, трансформираме лявата му страна, както следва:

Последната формула ни позволява да намерим стойността на коефициента, което е необходимо в задачата.

История

до началото на XIX V. учените не са имали определени правилада решава система от уравнения, в която броят на неизвестните е по-малък от броя на уравненията; Дотогава се използваха частни техники, които зависеха от вида на уравненията и от остроумието на калкулаторите и следователно различните калкулатори, базирани на едни и същи данни от наблюдения, стигаха до различни заключения. Гаус (1795) е отговорен за първото приложение на метода, а Лежандре (1805) независимо го открива и публикува под съвременно име(фр. Méthode des moindres quarrés ) . Лаплас свързва метода с теорията на вероятностите, а американският математик Адрейн (1808) разглежда неговите теоретични приложения на вероятностите. Методът е широко разпространен и подобрен чрез по-нататъшни изследвания от Encke, Bessel, Hansen и други.

Алтернативни употреби на OLS

Идеята за метода на най-малките квадрати може да се използва и в други случаи, които не са пряко свързани с регресионния анализ. Факт е, че сумата от квадрати е една от най-често срещаните мерки за близост за вектори (Евклидова метрика в крайномерни пространства).

Едно приложение е „решение“ на системи от линейни уравнения, в които броят на уравненията е по-голям от броя на променливите

където матрицата не е квадратна, а правоъгълна с размер.

Такава система от уравнения в общия случай няма решение (ако рангът действително е по-голям от броя на променливите). Следователно тази система може да бъде „разрешена“ само в смисъл на избор на такъв вектор, който да минимизира „разстоянието“ между векторите и . За да направите това, можете да приложите критерия за минимизиране на сумата от квадратите на разликите между лявата и дясната страна на уравненията на системата, т.е. Лесно е да се покаже, че решаването на този проблем за минимизиране води до решението следваща системауравнения

Методът на най-малките квадрати (OLS) ви позволява да оценявате различни количества, като използвате резултатите от много измервания, съдържащи случайни грешки.

Характеристики на МНП

Основната идея на този метод е, че сумата от квадратните грешки се счита за критерий за точността на решаване на проблема, който те се стремят да минимизират. При използването на този метод могат да се използват както числени, така и аналитични подходи.

По-специално, като числено изпълнение, методът на най-малките квадрати предполага извършване на възможно най-много измервания на неизвестното случайна променлива. Освен това, колкото повече изчисления, толкова по-точно ще бъде решението. Въз основа на този набор от изчисления (първоначални данни) се получава друг набор от оценени решения, от които след това се избира най-доброто. Ако наборът от решения е параметризиран, тогава методът на най-малките квадрати ще бъде намален до намиране на оптималната стойност на параметрите.

Като аналитичен подход за прилагане на LSM върху набор от първоначални данни (измервания) и очакван набор от решения се определя определено (функционално), което може да бъде изразено чрез формула, получена като определена хипотеза, която изисква потвърждение. В този случай методът на най-малките квадрати се свежда до намиране на минимума на този функционал върху набор от квадратни грешки на оригиналните данни.

Моля, обърнете внимание, че това не са самите грешки, а квадратите на грешките. защо Факт е, че често отклоненията на измерванията от точна стойностса както положителни, така и отрицателни. При определяне на средната стойност простото сумиране може да доведе до неправилно заключение за качеството на оценката, тъй като взаимното унищожаване на положителните и отрицателни стойностище намали силата на вземане на проби от множество измерения. И, следователно, точността на оценката.

За да не се случи това, квадратите на отклоненията се сумират. Освен това, за да се изравни размерът на измерената стойност и крайната оценка, се извлича сумата от квадратите на грешките

Някои MNC приложения

MNC се използва широко в различни области. Например в теорията на вероятностите и математическата статистика методът се използва за определяне на такава характеристика на случайна променлива като стандартното отклонение, което определя ширината на диапазона от стойности на случайната променлива.

Има много приложения, тъй като позволява приблизително представяне на дадена функция от други по-прости. LSM може да бъде изключително полезен при обработката на наблюдения и се използва активно за оценка на някои количества въз основа на резултатите от измервания на други, съдържащи случайни грешки. В тази статия ще научите как да прилагате изчисления на най-малките квадрати в Excel.

Изложение на проблема с помощта на конкретен пример

Да предположим, че има два индикатора X и Y. Освен това Y зависи от X. Тъй като OLS ни интересува от гледна точка на регресионния анализ (в Excel неговите методи се изпълняват с помощта на вградени функции), трябва незабавно да преминем към разглеждане на специфичен проблем.

И така, нека X е търговската площ на магазин за хранителни стоки, измерена в квадратни метра, а Y е годишният оборот, определен в милиони рубли.

Необходимо е да се направи прогноза какъв оборот (Y) ще има магазинът, ако има тази или онази търговска площ. Очевидно функцията Y = f (X) нараства, тъй като хипермаркетът продава повече стоки от щанда.

Няколко думи за коректността на първоначалните данни, използвани за прогнозиране

Да кажем, че имаме таблица, изградена с помощта на данни за n магазина.

Според математическата статистика резултатите ще бъдат повече или по-малко правилни, ако се изследват данни за поне 5-6 обекта. Освен това не могат да се използват „аномални“ резултати. По-специално, елитен малък бутик може да има оборот многократно по-голям от оборота на големия търговски обектиКлас "Masmarket".

Същността на метода

Данните от таблицата могат да бъдат изобразени на декартова равнина под формата на точки M 1 (x 1, y 1), ... M n (x n, y n). Сега решението на проблема ще се сведе до избора на апроксимираща функция y = f (x), която има графика, минаваща възможно най-близо до точките M 1, M 2, .. M n.

Разбира се, можете да използвате полином висока степен, но тази опция е не само трудна за изпълнение, но и просто неправилна, тъй като няма да отразява основната тенденция, която трябва да бъде открита. Най-разумното решение е да се търси правата линия y = ax + b, която най-добре приближава експерименталните данни или по-точно коефициентите a и b.

Оценка на точността

При всяко приближение оценката на неговата точност е от особено значение. Нека обозначим с e i разликата (отклонението) между функционалните и експерименталните стойности за точка x i, т.е. e i = y i - f (x i).

Очевидно, за да оцените точността на приближението, можете да използвате сумата от отклонения, т.е. когато избирате права линия за приблизително представяне на зависимостта на X от Y, трябва да дадете предпочитание на този с най-малката стойност на сумата e i във всички разглеждани точки. Но не всичко е толкова просто, тъй като наред с положителните отклонения ще има и отрицателни.

Проблемът може да бъде решен с помощта на модули за отклонение или техните квадрати. Последният метод е най-широко използваният. Използва се в много области, включително регресионен анализ (имплементиран в Excel с помощта на две вградени функции), и отдавна е доказал своята ефективност.

Метод на най-малките квадрати

Excel, както знаете, има вградена функция AutoSum, която ви позволява да изчислявате стойностите на всички стойности, разположени в избрания диапазон. Така нищо няма да ни попречи да изчислим стойността на израза (e 1 2 + e 2 2 + e 3 2 + ... e n 2).

В математическа нотация това изглежда така:

Тъй като първоначално беше взето решение за приблизително използване на права линия, имаме:

По този начин задачата за намиране на правата линия, която най-добре описва конкретната зависимост на величините X и Y, се свежда до изчисляване на минимума на функция от две променливи:

За да направите това, трябва да приравните частните производни по отношение на новите променливи a и b на нула и да решите примитивна система, състояща се от две уравнения с 2 неизвестни от вида:

След някои прости трансформации, включително деление на 2 и манипулиране на суми, получаваме:

Решавайки го, например, използвайки метода на Крамер, получаваме стационарна точка с определени коефициенти a * и b *. Това е минимумът, т.е. за да се предвиди какъв оборот ще има даден магазин за определен район, е подходяща правата линия y = a * x + b *, която е регресионен модел за въпросния пример. Разбира се, това няма да ви позволи да намерите точния резултат, но ще ви помогне да получите представа дали закупуването на конкретна зона на кредит от магазина ще се изплати.

Как да внедрите най-малките квадрати в Excel

Excel има функция за изчисляване на стойности с помощта на най-малките квадрати. Има следната форма: „ТРЕНД“ (известни Y стойности; известни X стойности; нови X стойности; константа). Нека приложим формулата за изчисляване на OLS в Excel към нашата таблица.

За да направите това, въведете знака “=” в клетката, в която трябва да се покаже резултатът от изчислението по метода на най-малките квадрати в Excel и изберете функцията “TREND”. В прозореца, който се отваря, попълнете съответните полета, като маркирате:

диапазон от известни стойности за Y (в този случай данни за търговския оборот);
диапазон x 1 , …x n , т.е. размерът на търговската площ;
както известни, така и неизвестни стойности на x, за които трябва да разберете размера на оборота (за информация относно тяхното местоположение в работния лист вижте по-долу).

Освен това формулата съдържа логическата променлива „Const“. Ако въведете 1 в съответното поле, това ще означава, че трябва да извършите изчисленията, като приемете, че b = 0.

Ако трябва да разберете прогнозата за повече от една стойност x, тогава след въвеждане на формулата не трябва да натискате „Enter“, а трябва да въведете комбинацията „Shift“ + „Control“ + „Enter“ на клавиатурата.

Някои функции

Регресионният анализ може да бъде достъпен дори за манекени. Формула на Excelза прогнозиране на стойността на масив от неизвестни променливи - "TREND" - може да се използва дори от тези, които никога не са чували за метода на най-малките квадрати. Достатъчно е само да знаете някои от характеристиките на работата му. По-специално:

Ако подредите диапазона от известни стойности на променливата y в един ред или колона, тогава всеки ред (колона) с известни стойности на x ще се възприема от програмата като отделна променлива.
Ако в прозореца TREND не е зададен диапазон с известно x, тогава при използване на функция в Excel програмата ще го третира като масив, състоящ се от цели числа, чийто брой съответства на диапазона с дадените стойности на y променлива.
За да изведете масив от „предсказани“ стойности, изразът за изчисляване на тенденцията трябва да бъде въведен като формула за масив.
Ако не са посочени нови x стойности, тогава функцията TREND ги счита за равни на известните. Ако те не са посочени, тогава масив 1 се приема като аргумент; 2; 3; 4;…, което е съизмеримо с диапазона с вече посочени параметри y.
Диапазонът, съдържащ новите x стойности, трябва да се състои от същите или повечередове или колони като диапазон с дадени y стойности. С други думи, трябва да е пропорционален на независимите променливи.
Масив с известни x стойности може да съдържа множество променливи. Въпреки това, ако ние говорим засамо за един, тогава се изисква диапазоните с дадени стойности на x и y да бъдат пропорционални. В случай на няколко променливи е необходимо диапазонът с дадените стойности на y да се побере в една колона или един ред.

Функция PREDICTION

Изпълнява се с помощта на няколко функции. Един от тях се нарича „ПРЕДВИДЕНИЕ“. Той е подобен на „TREND“, т.е. дава резултат от изчисления, използвайки метода на най-малките квадрати. Но само за един X, за който стойността на Y е неизвестна.

Вече знаете формули в Excel за манекени, които ви позволяват да предвидите бъдещата стойност на определен индикатор според линейна тенденция.