Bestimmung des Koeffizienten einer linearen Funktion mit der Methode der kleinsten Quadrate. Methode der kleinsten Quadrate in Excel. Regressionsanalyse. Minimale quadratische Form

Die Approximation experimenteller Daten ist eine Methode, die auf dem Ersetzen experimentell erhaltener Daten durch eine analytische Funktion basiert, die den ursprünglichen Werten (Daten, die während eines Experiments oder Experiments erhalten wurden) am nächsten kommt oder an Knotenpunkten mit ihnen übereinstimmt. Derzeit gibt es zwei Möglichkeiten, eine analytische Funktion zu definieren:

Durch die Konstruktion eines n-Grad-Interpolationspolynoms, das besteht direkt durch alle Punkte ein gegebenes Datenarray. IN in diesem Fall Die Näherungsfunktion wird dargestellt als: ein Interpolationspolynom in Lagrange-Form oder ein Interpolationspolynom in Newton-Form.

Durch die Konstruktion eines Approximationspolynoms n-ten Grades, das erfüllt ist in unmittelbarer Nähe von Punkten aus einem gegebenen Datenarray. Somit glättet die Näherungsfunktion alle zufälligen Störungen (oder Fehler), die während des Experiments auftreten können: Die während des Experiments gemessenen Werte hängen von Zufallsfaktoren ab, die entsprechend ihrer eigenen schwanken Zufallsgesetze(Mess- oder Gerätefehler, Ungenauigkeiten oder experimentelle Fehler). In diesem Fall wird die Näherungsfunktion mithilfe der Methode der kleinsten Quadrate ermittelt.

Methode der kleinsten Quadrate(in der englischen Literatur Ordinary Least Squares, OLS) - mathematische Methode, basierend auf der Definition einer Näherungsfunktion, die in der nächsten Nähe zu Punkten aus einer gegebenen Reihe experimenteller Daten erstellt wird. Die Nähe der ursprünglichen und der Näherungsfunktion F(x) wird durch ein numerisches Maß bestimmt, nämlich: Die Summe der quadratischen Abweichungen der experimentellen Daten von der Näherungskurve F(x) sollte am kleinsten sein.

Näherungskurve, erstellt mit der Methode der kleinsten Quadrate

Es wird die Methode der kleinsten Quadrate verwendet:

Überbestimmte Gleichungssysteme lösen, wenn die Anzahl der Gleichungen die Anzahl der Unbekannten übersteigt;

Eine Lösung für gewöhnliche (nicht überbestimmte) nichtlineare Gleichungssysteme finden;

Punktwerte mit einer Näherungsfunktion approximieren.

Die Näherungsfunktion unter Verwendung der Methode der kleinsten Quadrate wird aus der Bedingung der minimalen Summe der quadratischen Abweichungen der berechneten Näherungsfunktion von einer gegebenen Reihe experimenteller Daten bestimmt. Dieses Kriterium der Methode der kleinsten Quadrate wird als folgender Ausdruck geschrieben:

Die Werte der berechneten Näherungsfunktion an den Knotenpunkten,

Ein gegebenes Array experimenteller Daten an Knotenpunkten.

Das quadratische Kriterium hat eine Reihe „guter“ Eigenschaften, wie Differenzierbarkeit, Sicherstellung die einzige Lösung Approximationsprobleme mit polynomialen Näherungsfunktionen.

Abhängig von den Bedingungen des Problems ist die Näherungsfunktion ein Polynom vom Grad m

Der Grad der Näherungsfunktion hängt nicht von der Anzahl der Knotenpunkte ab, ihre Dimension muss jedoch immer kleiner sein als die Dimension (Anzahl der Punkte) eines bestimmten experimentellen Datenarrays.

∙ Wenn der Grad der Näherungsfunktion m=1 ist, dann approximieren wir die Tabellenfunktion mit einer Geraden (lineare Regression).

∙ Wenn der Grad der Näherungsfunktion m=2 ist, dann approximieren wir die Tabellenfunktion quadratische Parabel(quadratische Näherung).

∙ Wenn der Grad der Näherungsfunktion m=3 ist, dann approximieren wir die Tabellenfunktion kubische Parabel(kubische Näherung).

Im allgemeinen Fall, wenn es erforderlich ist, für gegebene Tabellenwerte ein Näherungspolynom vom Grad m zu konstruieren, wird die Bedingung für das Minimum der Summe der quadratischen Abweichungen über alle Knotenpunkte in der folgenden Form umgeschrieben:

- unbekannte Koeffizienten des Approximationspolynoms vom Grad m;

Die Anzahl der angegebenen Tabellenwerte.

Eine notwendige Bedingung für die Existenz eines Minimums einer Funktion ist die Gleichheit ihrer partiellen Ableitungen nach unbekannten Variablen mit Null . Als Ergebnis erhalten wir das folgende Gleichungssystem:

Lassen Sie uns das Ergebnis transformieren lineares System Gleichungen: Öffnen Sie die Klammern und verschieben Sie die freien Terme auf die rechte Seite des Ausdrucks. Als Ergebnis wird das resultierende System linearer algebraischer Ausdrücke in der folgenden Form geschrieben:

Dieses System Lineare algebraische Ausdrücke können in Matrixform umgeschrieben werden:

Das Ergebnis war ein System lineare Gleichungen Dimension m+1, die aus m+1 Unbekannten besteht. Dieses System kann mit jeder Methode zur Lösung linearer Probleme gelöst werden. algebraische Gleichungen(zum Beispiel nach der Gaußschen Methode). Als Ergebnis der Lösung werden unbekannte Parameter der Näherungsfunktion gefunden, die die minimale Summe der quadratischen Abweichungen der Näherungsfunktion von den Originaldaten liefern, d.h. bestmögliche quadratische Näherung. Es ist zu beachten, dass bei einer Änderung auch nur eines Werts der Quelldaten alle Koeffizienten ihre Werte ändern, da sie vollständig durch die Quelldaten bestimmt werden.

Approximation von Quelldaten durch lineare Abhängigkeit

(lineare Regression)

Betrachten Sie als Beispiel die Technik zur Bestimmung der Näherungsfunktion, die im Formular angegeben ist lineare Abhängigkeit. Gemäß der Methode der kleinsten Quadrate wird die Bedingung für das Minimum der Summe der quadratischen Abweichungen in folgender Form geschrieben:

Koordinaten der Tabellenknoten;

Unbekannte Koeffizienten der Näherungsfunktion, die als lineare Abhängigkeit angegeben wird.

Eine notwendige Bedingung für die Existenz eines Minimums einer Funktion ist die Gleichheit ihrer partiellen Ableitungen nach unbekannten Variablen mit Null. Als Ergebnis erhalten wir das folgende Gleichungssystem:

Lassen Sie uns das resultierende lineare Gleichungssystem transformieren.

Wir lösen das resultierende lineare Gleichungssystem. Die Koeffizienten der Näherungsfunktion in analytischer Form werden wie folgt bestimmt (Cramer-Methode):

Diese Koeffizienten gewährleisten die Konstruktion einer linearen Näherungsfunktion nach dem Kriterium der Minimierung der Quadratsumme der Näherungsfunktion aus den gegebenen Tabellenwerten (experimentelle Daten).

Algorithmus zur Implementierung der Methode der kleinsten Quadrate

1. Ausgangsdaten:

Es wird ein Array experimenteller Daten mit der Anzahl N Messungen angegeben

Der Grad des approximierenden Polynoms (m) wird angegeben

2. Berechnungsalgorithmus:

2.1. Die Koeffizienten zum Aufbau eines Gleichungssystems mit Dimensionen werden bestimmt

Koeffizienten des Gleichungssystems (linke Seite der Gleichung)

- Spaltennummernindex quadratische Matrix Gleichungssysteme

Freie Terme eines linearen Gleichungssystems (rechte Seite der Gleichung)

- Index der Zeilennummer der quadratischen Matrix des Gleichungssystems

2.2. Bildung eines Systems linearer Gleichungen mit der Dimension .

2.3. Lösen eines linearen Gleichungssystems zur Bestimmung der unbekannten Koeffizienten eines Näherungspolynoms vom Grad m.

2.4. Bestimmung der Summe der quadratischen Abweichungen des Näherungspolynoms von den Originalwerten an allen Knotenpunkten

Der gefundene Wert der Summe der quadrierten Abweichungen ist der minimal mögliche Wert.

Approximation mit anderen Funktionen

Es ist zu beachten, dass bei der Approximation der Originaldaten nach der Methode der kleinsten Quadrate manchmal die Logarithmusfunktion, die Exponentialfunktion und die Potenzfunktion als Approximationsfunktion verwendet werden.

Logarithmische Näherung

Betrachten wir den Fall, dass die Näherungsfunktion durch eine logarithmische Funktion der Form gegeben ist:

Es wird in der Ökonometrie häufig in Form einer klaren ökonomischen Interpretation seiner Parameter verwendet.

Bei der linearen Regression kommt es darauf an, eine Gleichung der Form zu finden

oder

Gleichung des Formulars erlaubt basierend auf angegebenen Parameterwerten X theoretische Werte des resultierenden Merkmals haben und die tatsächlichen Werte des Faktors darin ersetzen X.

Bei der Konstruktion der linearen Regression geht es darum, ihre Parameter zu schätzen – A Und V. Schätzungen linearer Regressionsparameter können mit verschiedenen Methoden ermittelt werden.

Der klassische Ansatz zur Schätzung linearer Regressionsparameter basiert auf Methode der kleinsten Quadrate(MNC).

Die Methode der kleinsten Quadrate ermöglicht es uns, solche Parameterschätzungen zu erhalten A Und V, bei dem die Summe der quadrierten Abweichungen der tatsächlichen Werte des resultierenden Merkmals ist (y) aus berechnet (theoretisch) Minimum:

Um das Minimum einer Funktion zu ermitteln, müssen Sie die partiellen Ableitungen für jeden Parameter berechnen A Und B und setze sie gleich Null.

Bezeichnen wir durch S, dann:

Durch Umformung der Formel erhalten wir das folgende System normaler Gleichungen zur Parameterschätzung A Und V:

Wenn wir das System der Normalgleichungen (3.5) entweder mit der Methode der sequentiellen Eliminierung von Variablen oder mit der Methode der Determinanten lösen, finden wir die erforderlichen Schätzungen der Parameter A Und V.

Parameter V wird als Regressionskoeffizient bezeichnet. Sein Wert zeigt die durchschnittliche Änderung des Ergebnisses bei einer Änderung des Faktors um eine Einheit.

Die Regressionsgleichung wird immer um einen Indikator für die Nähe des Zusammenhangs ergänzt. Bei Verwendung der linearen Regression ist ein solcher Indikator der lineare Korrelationskoeffizient. Es gibt verschiedene Modifikationen der linearen Korrelationskoeffizientenformel. Einige davon sind unten aufgeführt:

Der lineare Korrelationskoeffizient liegt bekanntlich innerhalb der Grenzen: -1 ≤ ≤ 1.

Beurteilung der Qualität der Auswahl lineare Funktion Quadrat wird berechnet

Linearer Korrelationskoeffizient genannt Bestimmtheitsmaß. Das Bestimmtheitsmaß charakterisiert den Varianzanteil des resultierenden Merkmals ja, erklärt durch Regression, in Gesamtvarianz resultierendes Zeichen:

Dementsprechend charakterisiert der Wert 1 den Varianzanteil ja, verursacht durch den Einfluss anderer Faktoren, die im Modell nicht berücksichtigt werden.

Fragen zur Selbstkontrolle

1. Die Essenz der Methode der kleinsten Quadrate?

2. Wie viele Variablen liefert die paarweise Regression?

3. Welcher Koeffizient bestimmt die Nähe des Zusammenhangs zwischen Änderungen?

4. Innerhalb welcher Grenzen wird das Bestimmtheitsmaß bestimmt?

5. Schätzung des Parameters b in der Korrelations-Regressionsanalyse?

1. Christopher Dougherty. Einführung in die Ökonometrie. - M.: INFRA - M, 2001 - 402 S.

2. S.A. Boroditsch. Ökonometrie. Minsk LLC „Neues Wissen“ 2001.

3. R.U. Rakhmetova Kurze Einführung in der Ökonometrie. Lernprogramm. Almaty. 2004. -78p.

4. I.I. Eliseeva. Ökonometrie. - M.: „Finanzen und Statistik“, 2002

5. Monatliches Informations- und Analysemagazin.

Nichtlineare Wirtschaftsmodelle. Nichtlineare Regressionsmodelle. Transformation von Variablen.

Nichtlineare Wirtschaftsmodelle.

Transformation von Variablen.

Elastizitätskoeffizient.

Wenn es nichtlineare Beziehungen zwischen wirtschaftlichen Phänomenen gibt, werden diese durch die entsprechenden nichtlinearen Funktionen ausgedrückt: zum Beispiel eine gleichseitige Hyperbel , Parabeln zweiten Grades usw.

Es gibt zwei Klassen nichtlinearer Regressionen:

1. Regressionen, die nichtlinear in Bezug auf die in die Analyse einbezogenen erklärenden Variablen, aber linear in Bezug auf die geschätzten Parameter sind, zum Beispiel:

Polynome unterschiedlichen Grades - , ;

Gleichseitige Hyperbel - ;

Halblogarithmische Funktion - .

2. Regressionen, die in den geschätzten Parametern nichtlinear sind, zum Beispiel:

Leistung - ;

Demonstrativ - ;

Exponentiell - .

Die Gesamtsumme der quadrierten Abweichungen einzelner Werte des resultierenden Merkmals bei Die Abweichung vom Durchschnittswert wird durch den Einfluss vieler Gründe verursacht. Teilen wir die gesamte Reihe von Gründen bedingt in zwei Gruppen ein: untersuchter Faktor x Und andere Faktoren.

Wenn der Faktor das Ergebnis nicht beeinflusst, verläuft die Regressionsgerade im Diagramm parallel zur Achse Oh Und

Dann ist die gesamte Varianz des resultierenden Merkmals auf den Einfluss anderer Faktoren zurückzuführen und die Gesamtsumme der quadratischen Abweichungen stimmt mit dem Residuum überein. Wenn andere Faktoren das Ergebnis nicht beeinflussen, dann Du bist gebunden Mit X funktional und die Restquadratsumme ist Null. In diesem Fall ist die Summe der durch die Regression erklärten quadratischen Abweichungen dieselbe wie die Gesamtsumme der Quadrate.

Da nicht alle Punkte des Korrelationsfeldes auf der Regressionsgeraden liegen, erfolgt deren Streuung immer durch den Einfluss des Faktors X, also Regression bei Von X, und durch andere Ursachen verursacht (unerklärliche Variation). Die Eignung einer Regressionsgeraden für die Vorhersage hängt davon ab, welcher Teil der Gesamtvariation des Merkmals ist bei erklärt die erläuterte Variation

Wenn die Summe der quadratischen Abweichungen aufgrund der Regression größer ist als die Restsumme der Quadrate, dann ist die Regressionsgleichung offensichtlich statistisch signifikant und der Faktor X hat einen erheblichen Einfluss auf das Ergebnis u.

, also mit der Freiheitszahl der unabhängigen Variation eines Merkmals. Die Anzahl der Freiheitsgrade hängt mit der Anzahl der Einheiten der Grundgesamtheit n und der daraus ermittelten Anzahl der Konstanten zusammen. Bezogen auf das zu untersuchende Problem soll die Anzahl der Freiheitsgrade zeigen, wie viele unabhängige Abweichungen davon vorliegen P

Die Einschätzung der Bedeutung der Regressionsgleichung insgesamt erfolgt anhand F-Fisher-Kriterium. In diesem Fall wird die Nullhypothese aufgestellt, dass der Regressionskoeffizient gleich Null, d.h. b = 0 und damit der Faktor X hat keinen Einfluss auf das Ergebnis u.

Der unmittelbaren Berechnung des F-Tests geht eine Varianzanalyse voraus. Den zentralen Platz nimmt dabei die Zerlegung der Gesamtsumme der quadrierten Abweichungen einer Variablen ein bei vom Durchschnittswert bei in zwei Teile – „erklärt“ und „unerklärt“:

- Gesamtsumme der quadrierten Abweichungen;

- Summe der durch Regression erklärten quadratischen Abweichungen;

- Restsumme der quadrierten Abweichungen.

Jede Summe quadrierter Abweichungen hängt mit der Anzahl der Freiheitsgrade zusammen , also mit der Freiheitszahl der unabhängigen Variation eines Merkmals. Die Anzahl der Freiheitsgrade hängt von der Anzahl der Bevölkerungseinheiten ab N und mit der daraus ermittelten Anzahl der Konstanten. Bezogen auf das zu untersuchende Problem soll die Anzahl der Freiheitsgrade zeigen, wie viele unabhängige Abweichungen davon vorliegen P möglichst erforderlich, um eine gegebene Quadratsumme zu bilden.

Streuung pro FreiheitsgradD.

F-Verhältnisse (F-Test):

Wenn die Nullhypothese wahr ist, dann unterscheiden sich Faktor- und Restvarianz nicht voneinander. Für H 0 ist eine Widerlegung notwendig, damit die Faktorstreuung die Reststreuung um ein Vielfaches übersteigt. Der englische Statistiker Snedekor entwickelte Tabellen mit kritischen Werten F-Beziehungen auf verschiedenen Signifikanzebenen der Nullhypothese und unterschiedlicher Anzahl von Freiheitsgraden. Tabellenwert F-Kriterium ist der Maximalwert des Varianzverhältnisses, der bei zufälliger Divergenz auftreten kann dieses Niveau die Wahrscheinlichkeit der Nullhypothese. Berechneter Wert F-Beziehungen gelten als zuverlässig, wenn o größer als die Tabelle ist.

In diesem Fall wird die Nullhypothese über das Fehlen einer Beziehung zwischen Zeichen verworfen und eine Schlussfolgerung über die Bedeutung dieser Beziehung gezogen: F-Fakt > F-Tabelle H 0 wird verworfen.

Wenn der Wert kleiner ist als in der Tabelle F-Fakt ‹, F-Tabelle, dann ist die Wahrscheinlichkeit der Nullhypothese höher als ein festgelegtes Niveau und kann nicht verworfen werden, ohne dass das ernsthafte Risiko besteht, dass falsche Schlussfolgerungen über das Vorliegen einer Beziehung gezogen werden. In diesem Fall wird die Regressionsgleichung als statistisch unbedeutend angesehen. Aber er weicht nicht ab.

Standardfehler des Regressionskoeffizienten

Um die Signifikanz des Regressionskoeffizienten zu beurteilen, wird sein Wert mit seinem Standardfehler verglichen, d. h. der tatsächliche Wert ermittelt T-Studententest: der dann mit dem Tabellenwert bei einem bestimmten Signifikanzniveau und einer bestimmten Anzahl an Freiheitsgraden verglichen wird ( N- 2).

Standardparameterfehler A:

Die Signifikanz des linearen Korrelationskoeffizienten wird anhand der Größe des Fehlers überprüft Korrelationskoeffizient t r:

Gesamtvarianz der Merkmale X:

Multiple lineare Regression

Modellbau

Multiple Regression stellt eine Regression des resultierenden Vorzeichens mit zwei und dar eine große Anzahl Faktoren, also ein Modell der Form

Die Regression kann bei der Modellierung gute Ergebnisse liefern, wenn der Einfluss anderer Faktoren, die den Untersuchungsgegenstand beeinflussen, vernachlässigt werden kann. Das Verhalten einzelner Wirtschaftsvariablen ist nicht kontrollierbar, d.h. es ist nicht möglich, die Gleichheit aller anderen Bedingungen zur Beurteilung des Einflusses eines untersuchten Faktors sicherzustellen. In diesem Fall sollten Sie versuchen, den Einfluss anderer Faktoren zu identifizieren, indem Sie diese in das Modell einführen, d. h. eine multiple Regressionsgleichung erstellen: y = a+b 1 x 1 +b 2 +…+b p x p + .

Das Hauptziel der multiplen Regression besteht darin, ein Modell mit einer großen Anzahl von Faktoren zu erstellen und gleichzeitig den Einfluss jedes einzelnen von ihnen sowie ihren kombinierten Einfluss auf den modellierten Indikator zu bestimmen. Die Spezifikation des Modells umfasst zwei Themenbereiche: die Auswahl der Faktoren und die Wahl des Typs der Regressionsgleichung

Annäherung, oder Annäherung- eine wissenschaftliche Methode, die darin besteht, einige Objekte durch andere zu ersetzen, die in gewisser Weise den Originalobjekten nahe kommen, aber einfacher sind.

Mit der Approximation können Sie die numerischen Eigenschaften und qualitativen Eigenschaften eines Objekts untersuchen und das Problem auf die Untersuchung einfacherer oder bequemerer Objekte reduzieren (z. B. solche, deren Eigenschaften leicht zu berechnen sind oder deren Eigenschaften bereits bekannt sind). In der Zahlentheorie werden diophantische Näherungen untersucht, insbesondere Näherungen irrationaler Zahlen durch rationale. In der Geometrie werden Näherungen von Kurven durch gestrichelte Linien betrachtet. Einige Zweige der Mathematik widmen sich im Wesentlichen ausschließlich der Approximation, beispielsweise die Theorie der Approximation von Funktionen und numerische Analysemethoden.

Im übertragenen Sinne wird es in der Philosophie als verwendet Näherungsverfahren, ein Hinweis ungefährer, nicht endgültiger Natur. In diesem Sinne wurde der Begriff „Annäherung“ beispielsweise aktiv von Søren Kierkegaard (1813-1855) in „Das letzte unwissenschaftliche Nachwort ...“ verwendet.

Wenn die Funktion nur zur Interpolation verwendet wird, reicht es aus, die Punkte mit einem Polynom beispielsweise fünften Grades anzunähern:

Die Situation ist viel komplizierter, wenn die oben genannten natürlichen Daten als Bezugspunkte für die Identifizierung des Änderungsgesetzes bei bekannten Randbedingungen dienen. Zum Beispiel: und . Dabei hängt die Qualität des Ergebnisses von der Professionalität des Forschers ab. In diesem Fall wäre das am besten geeignete Gesetz:

Zur optimalen Auswahl der Gleichungsparameter wird üblicherweise die Methode der kleinsten Quadrate verwendet.

Methode der kleinsten Quadrate (LSM,EnglischNormal Am wenigsten Quadrate , O.L.S. ) - eine mathematische Methode zur Lösung verschiedener Probleme, die auf der Minimierung der Quadratsumme bestimmter Funktionen der gewünschten Variablen basiert. Es kann verwendet werden, um überbestimmte Gleichungssysteme zu „lösen“ (wenn die Anzahl der Gleichungen die Anzahl der Unbekannten übersteigt), um bei gewöhnlichen (nicht überbestimmten) nichtlinearen Gleichungssystemen eine Lösung zu finden und um Punktwerte anzunähern eine gewisse Funktion. OLS ist eine der grundlegenden Methoden der Regressionsanalyse zur Schätzung unbekannter Parameter von Regressionsmodellen aus Beispieldaten.

Wenn einige physikalische Größe von einer anderen Größe abhängt, kann diese Abhängigkeit untersucht werden, indem y bei verschiedenen Werten von x gemessen wird. Als Ergebnis von Messungen werden eine Reihe von Werten erhalten:

x 1, x 2, ..., x i, ..., x n;

y 1 , y 2 , ..., y i , ... , y n .

Basierend auf den Daten eines solchen Experiments ist es möglich, einen Graphen der Abhängigkeit y = ƒ(x) zu erstellen. Die resultierende Kurve ermöglicht es, die Form der Funktion ƒ(x) zu beurteilen. Die konstanten Koeffizienten, die in diese Funktion eingehen, bleiben jedoch unbekannt. Sie können mit der Methode der kleinsten Quadrate ermittelt werden. Experimentelle Punkte liegen in der Regel nicht genau auf der Kurve. Die Methode der kleinsten Quadrate erfordert, dass die Summe der Quadrate der Abweichungen der experimentellen Punkte von der Kurve, d. h. 2 war die kleinste.

In der Praxis wird diese Methode am häufigsten (und am einfachsten) bei einem linearen Zusammenhang angewendet, d. h. Wann

y = kx oder y = a + bx.

Die lineare Abhängigkeit ist in der Physik weit verbreitet. Und selbst wenn die Beziehung nichtlinear ist, versuchen sie normalerweise, ein Diagramm so zu konstruieren, dass eine gerade Linie entsteht. Wenn beispielsweise davon ausgegangen wird, dass der Brechungsindex von Glas n über die Beziehung n = a + b/λ 2 mit der Lichtwellenlänge λ zusammenhängt, wird die Abhängigkeit von n von λ -2 im Diagramm aufgetragen.

Bedenken Sie die Abhängigkeit y = kx(eine gerade Linie, die durch den Ursprung geht). Stellen wir den Wert φ zusammen – die Summe der Quadrate der Abweichungen unserer Punkte von der Geraden

Der Wert von φ ist immer positiv und fällt umso kleiner aus, je näher unsere Punkte an der Geraden liegen. Die Methode der kleinsten Quadrate besagt, dass der Wert für k so gewählt werden sollte, dass φ ein Minimum aufweist

oder (19)

Die Berechnung zeigt, dass der quadratische Mittelfehler bei der Bestimmung des Werts von k gleich ist

, (20) wobei n die Anzahl der Messungen ist.

Betrachten wir nun einen etwas schwierigeren Fall, bei dem die Punkte die Formel erfüllen müssen y = a + bx(eine gerade Linie, die nicht durch den Ursprung verläuft).

Die Aufgabe besteht darin, aus der verfügbaren Wertemenge x i, y i die besten Werte von a und b zu finden.

Stellen wir erneut die quadratische Form φ zusammen, die der Summe der quadratischen Abweichungen der Punkte x i, y i von der Geraden entspricht

und finden Sie die Werte von a und b, für die φ ein Minimum hat

;

Die gemeinsame Lösung dieser Gleichungen ergibt

(21)

Die quadratischen Mittelfehler der Bestimmung von a und b sind gleich

(23)

. (24)

Bei der Verarbeitung von Messergebnissen mit dieser Methode ist es zweckmäßig, alle Daten in einer Tabelle zusammenzufassen, in der alle in den Formeln (19)–(24) enthaltenen Beträge vorab berechnet werden. Die Formen dieser Tabellen sind in den folgenden Beispielen angegeben.

Beispiel 1. Die Grundgleichung der Dynamik der Rotationsbewegung ε = M/J (eine gerade Linie durch den Ursprung) wurde untersucht. Bei verschiedenen Werten des Moments M wurde die Winkelbeschleunigung ε eines bestimmten Körpers gemessen. Es ist erforderlich, das Trägheitsmoment dieses Körpers zu bestimmen. In der zweiten und dritten Spalte sind die Ergebnisse der Messungen des Kraftmoments und der Winkelbeschleunigung aufgeführt Tabelle 5.

Tabelle 5

Mit Formel (19) ermitteln wir:

Um den quadratischen Mittelwertfehler zu bestimmen, verwenden wir Formel (20)

0.005775 kg-1 · M -2 .

Nach Formel (18) gilt

SJ = (2,996 0,005775)/0,3337 = 0,05185 kg m 2 .

Nachdem wir die Zuverlässigkeit P = 0,95 festgelegt haben, finden wir unter Verwendung der Tabelle der Student-Koeffizienten für n = 5 t = 2,78 und bestimmen den absoluten Fehler ΔJ = 2,78 0,05185 = 0,1441 ≈ 0,2 kg m 2 .

Schreiben wir die Ergebnisse in das Formular:

J = (3,0 ± 0,2) kg m 2 ;

Beispiel 2. Berechnen wir den Temperaturkoeffizienten des Metallwiderstands mithilfe der Methode der kleinsten Quadrate. Der Widerstand hängt linear von der Temperatur ab

R t = R 0 (1 + α t°) = R 0 + R 0 α t°.

Der freie Term bestimmt den Widerstand R 0 bei einer Temperatur von 0° C und Neigung ist das Produkt aus dem Temperaturkoeffizienten α und dem Widerstand R 0 .

Die Ergebnisse der Messungen und Berechnungen sind in der Tabelle aufgeführt ( siehe Tabelle 6).

Tabelle 6

							(r - bt - a) 2 .10 -6

Mit den Formeln (21), (22) ermitteln wir

R 0 = ¯R- α R 0 ¯ t = 1,4005 - 0,002645 85,83333 = 1,1735 Ohm .

Finden wir einen Fehler in der Definition von α. Da gilt dann nach Formel (18):

Mit den Formeln (23), (24) haben wir

;

0.014126 Ohm.

Nachdem wir die Zuverlässigkeit auf P = 0,95 eingestellt haben und die Tabelle der Student-Koeffizienten für n = 6 verwenden, finden wir t = 2,57 und bestimmen den absoluten Fehler Δα = 2,57 0,000132 = 0,000338 Hagel -1 .

α = (23 ± 4) 10 -4 Hagel-1 bei P = 0,95.

Beispiel 3. Es ist erforderlich, den Krümmungsradius der Linse mithilfe der Newtonschen Ringe zu bestimmen. Die Radien r m der Newtonschen Ringe wurden gemessen und die Anzahl dieser Ringe m bestimmt. Die Radien der Newtonschen Ringe hängen durch die Gleichung mit dem Krümmungsradius der Linse R und der Ringnummer zusammen

r 2 m = mλR - 2d 0 R,

wobei d 0 die Dicke des Spalts zwischen Linse und planparalleler Platte (bzw. die Verformung der Linse) ist,

λ ist die Wellenlänge des einfallenden Lichts.

λ = (600 ± 6) nm; r 2 m = y; m = x; λR = b; -2d 0 R = a,

dann nimmt die Gleichung die Form an y = a + bx.

Die Ergebnisse von Messungen und Berechnungen werden eingetragen Tabelle 7.

Tabelle 7

y = r 2, 10 -2 mm 2	y - bx - a, 10 -4	(y - bx - a) 2 , 10 -6

Wir berechnen:

1. a und b gemäß den Formeln (21), (22).

a = ¯r 2 - b¯m = (0,208548333 - 0,0594957 3,5) = 0,0003133 mm 2 .

2. Berechnen Sie die quadratischen Mittelfehler für die Werte b und a mithilfe der Formeln (23), (24).

3. Mit einer Zuverlässigkeit von P = 0,95 ermitteln wir unter Verwendung der Tabelle der Student-Koeffizienten für n = 6 t = 2,57 und bestimmen die absoluten Fehler

Δb = 2,57 · 0,000211179 = 6·10 -4 mm 2 ;

Δa = 2,57 0,000822424 = 3 · 10 -3 mm 2 .

4. Notieren Sie die Ergebnisse

b = (595 ± 6) 10 -4 mm 2 bei P = 0,95;

a = (0,3 ± 3)·10 -3 mm 2 bei P = 0,95;

Aus den erhaltenen experimentellen Ergebnissen folgt, dass innerhalb des Fehlers dieses Experiments die Gerade r 2 m = ƒ(m) durch den Koordinatenursprung verläuft, weil Wenn sich herausstellt, dass der Fehler im Wert eines Parameters mit dem Wert des Parameters vergleichbar ist oder diesen übersteigt, bedeutet dies, dass der tatsächliche Wert dieses Parameters höchstwahrscheinlich Null ist.

Unter den Bedingungen dieses Experiments ist der Wert von a nicht von Interesse. Deshalb werden wir uns nicht mehr damit befassen.

5. Berechnen Sie den Krümmungsradius der Linse:

R = b / λ = 594,5 / 6 = 99,1 mm.

6. Da für die Wellenlänge ein systematischer Fehler gegeben ist, berechnen wir auch den systematischen Fehler für R mit Formel (16), wobei wir als systematischen Fehler der Größe b ihren Zufallsfehler Δb nehmen.

Wir schreiben das Endergebnis auf R = (99 ± 2) mmε ≈ 3 % bei P = 0,95.

Es hat viele Verwendungsmöglichkeiten, da es eine ungefähre Darstellung ermöglicht gegebene Funktion andere sind einfacher. LSM kann bei der Verarbeitung von Beobachtungen äußerst nützlich sein und wird aktiv verwendet, um einige Größen auf der Grundlage der Messergebnisse anderer zu schätzen, die zufällige Fehler enthalten. In diesem Artikel erfahren Sie, wie Sie Berechnungen der kleinsten Quadrate in Excel implementieren.

Darstellung des Problems anhand eines konkreten Beispiels

Angenommen, es gibt zwei Indikatoren X und Y. Darüber hinaus hängt Y von X ab. Da OLS uns aus Sicht der Regressionsanalyse interessiert (in Excel werden seine Methoden mithilfe integrierter Funktionen implementiert), sollten wir sofort mit der Betrachtung von a fortfahren spezifisches Problem.

Sei also X die Verkaufsfläche eines Lebensmittelgeschäfts, gemessen in Quadratmetern, und Y der Jahresumsatz, ermittelt in Millionen Rubel.

Es ist erforderlich, eine Prognose darüber zu erstellen, welchen Umsatz (Y) das Geschäft erzielen wird, wenn es über diese oder jene Verkaufsfläche verfügt. Offensichtlich nimmt die Funktion Y = f (X) zu, da der Hypermarkt mehr Waren verkauft als der Stand.

Ein paar Worte zur Richtigkeit der für die Vorhersage verwendeten Ausgangsdaten

Nehmen wir an, wir haben eine Tabelle, die mit Daten für n Filialen erstellt wurde.

Entsprechend mathematische Statistik, werden die Ergebnisse mehr oder weniger korrekt sein, wenn Daten zu mindestens 5-6 Objekten untersucht werden. Darüber hinaus können „anomale“ Ergebnisse nicht verwendet werden. Insbesondere eine kleine Elite-Boutique kann einen Umsatz erzielen, der um ein Vielfaches höher ist als der Umsatz einer großen Boutique Einzelhandelsgeschäfte Klasse „Masmarket“.

Die Essenz der Methode

Die Tabellendaten können auf einer kartesischen Ebene in Form von Punkten M 1 (x 1, y 1), ... M n (x n, y n) dargestellt werden. Nun reduziert sich die Lösung des Problems auf die Auswahl einer Näherungsfunktion y = f (x), die einen Graphen aufweist, der möglichst nahe an den Punkten M 1, M 2, .. M n verläuft.

Natürlich können Sie ein Polynom höheren Grades verwenden, aber diese Option ist nicht nur schwierig zu implementieren, sondern auch einfach falsch, da sie nicht den Haupttrend widerspiegelt, der erkannt werden muss. Am meisten vernünftige Entscheidung besteht darin, nach der Geraden y = ax + b zu suchen, die den experimentellen Daten, genauer gesagt den Koeffizienten a und b, am besten entspricht.

Genauigkeitsbewertung

Bei jeder Näherung ist die Beurteilung ihrer Genauigkeit von besonderer Bedeutung. Bezeichnen wir mit e i die Differenz (Abweichung) zwischen den funktionalen und experimentellen Werten für den Punkt x i, d. h. e i = y i - f (x i).

Um die Genauigkeit der Näherung zu beurteilen, können Sie natürlich die Summe der Abweichungen verwenden, d. h. bei der Auswahl einer Geraden für eine ungefähre Darstellung der Abhängigkeit von X von Y müssen Sie der Linie mit dem kleinsten Wert den Vorzug geben die Summe e i an allen betrachteten Punkten. Allerdings ist nicht alles so einfach, denn neben positiven Abweichungen gibt es auch negative.

Das Problem kann mithilfe von Abweichungsmodulen oder deren Quadraten gelöst werden. Die letzte Methode ist die am weitesten verbreitete. Es wird in vielen Bereichen eingesetzt, einschließlich der Regressionsanalyse (implementiert in Excel mithilfe zweier integrierter Funktionen), und hat seine Wirksamkeit seit langem bewiesen.

Methode der kleinsten Quadrate

Wie Sie wissen, verfügt Excel über eine integrierte AutoSumme-Funktion, mit der Sie die Werte aller Werte berechnen können, die sich im ausgewählten Bereich befinden. Somit hindert uns nichts daran, den Wert des Ausdrucks (e 1 2 + e 2 2 + e 3 2 + ... e n 2) zu berechnen.

IN mathematische Notation es sieht aus wie:

Da ursprünglich die Entscheidung getroffen wurde, mit einer geraden Linie zu approximieren, gilt:

Die Aufgabe, die Gerade zu finden, die die spezifische Abhängigkeit der Größen X und Y am besten beschreibt, besteht also darin, das Minimum einer Funktion zweier Variablen zu berechnen:

Dazu müssen Sie die partiellen Ableitungen nach den neuen Variablen a und b mit Null gleichsetzen und ein primitives System lösen, das aus zwei Gleichungen mit zwei Unbekannten der Form besteht:

Nach einigen einfachen Transformationen, einschließlich Division durch 2 und Manipulation von Summen, erhalten wir:

Wenn wir es beispielsweise mit der Cramer-Methode lösen, erhalten wir einen stationären Punkt mit bestimmten Koeffizienten a * und b *. Dies ist das Minimum, d.h. um vorherzusagen, welchen Umsatz ein Laden für eine bestimmte Fläche haben wird, eignet sich die Gerade y = a * x + b*, die für das jeweilige Beispiel ein Regressionsmodell darstellt. Natürlich können Sie damit nicht das genaue Ergebnis finden, aber es hilft Ihnen, sich ein Bild davon zu machen, ob sich der Kauf eines bestimmten Bereichs auf Guthaben auszahlt.

So implementieren Sie die Methode der kleinsten Quadrate in Excel

Excel verfügt über eine Funktion zur Berechnung von Werten mithilfe der Methode der kleinsten Quadrate. Es hat die folgende Form: „TREND“ (bekannte Y-Werte; bekannte X-Werte; neue X-Werte; Konstante). Wenden wir die Formel zur Berechnung von OLS in Excel auf unsere Tabelle an.

Geben Sie dazu das „=“-Zeichen in die Zelle ein, in der das Ergebnis der Berechnung nach der Methode der kleinsten Quadrate in Excel angezeigt werden soll, und wählen Sie die Funktion „TREND“. Füllen Sie im sich öffnenden Fenster die entsprechenden Felder aus und markieren Sie Folgendes:

Bereich bekannter Werte für Y (in diesem Fall Daten für den Handelsumsatz);
Bereich x 1 , …x n , d. h. die Größe der Verkaufsfläche;
sowohl bekannte als auch unbekannte Werte von x, für die Sie die Größe des Umsatzes ermitteln müssen (Informationen zu ihrer Position auf dem Arbeitsblatt finden Sie unten).

Darüber hinaus enthält die Formel die logische Variable „Const“. Wenn Sie in das entsprechende Feld eine 1 eingeben, bedeutet dies, dass Sie die Berechnungen unter der Annahme durchführen sollten, dass b = 0.

Wenn Sie die Prognose für mehr als einen x-Wert ermitteln müssen, sollten Sie nach Eingabe der Formel nicht die Eingabetaste drücken, sondern die Kombination „Umschalttaste“ + „Strg“ + „Eingabetaste“ auf der Tastatur eingeben.

Einige Eigenschaften

Die Regressionsanalyse kann auch für Dummköpfe zugänglich sein. Excel-Formel Um den Wert eines Arrays unbekannter Variablen vorherzusagen – „TREND“ – kann es sogar von denen verwendet werden, die noch nie von der Methode der kleinsten Quadrate gehört haben. Es reicht aus, nur einige Merkmale seiner Arbeit zu kennen. Insbesondere:

Wenn Sie den Bereich bekannter Werte der Variablen y in einer Zeile oder Spalte anordnen, wird jede Zeile (Spalte) mit bekannten Werten von x vom Programm als separate Variable wahrgenommen.
Wenn im TREND-Fenster kein Bereich mit bekanntem x angegeben ist, behandelt das Programm ihn bei Verwendung der Funktion in Excel als Array bestehend aus ganzen Zahlen, deren Anzahl dem Bereich mit den angegebenen Werten des entspricht Variable y.
Um ein Array von „vorhergesagten“ Werten auszugeben, muss der Ausdruck zur Berechnung des Trends als Array-Formel eingegeben werden.
Wenn keine neuen Werte von x angegeben werden, betrachtet die TREND-Funktion sie als gleich den bekannten. Wenn sie nicht angegeben sind, wird Array 1 als Argument verwendet; 2; 3; 4;…, was dem Bereich mit bereits angegebenen Parametern entspricht y.
Der Bereich, der die neuen x-Werte enthält, muss aus demselben oder bestehen mehr Zeilen oder Spalten als Bereich mit gegebenen y-Werten. Mit anderen Worten, es muss proportional zu den unabhängigen Variablen sein.
Ein Array mit bekannten x-Werten kann mehrere Variablen enthalten. Wenn wir jedoch nur von einem sprechen, ist es erforderlich, dass die Bereiche mit den gegebenen Werten von x und y proportional sind. Bei mehreren Variablen ist es erforderlich, dass der Bereich mit den angegebenen y-Werten in eine Spalte oder eine Zeile passt.

PREDICTION-Funktion

Mit mehreren Funktionen umgesetzt. Eine davon heißt „PREDICTION“. Es ähnelt „TREND“, d. h. es gibt das Ergebnis von Berechnungen nach der Methode der kleinsten Quadrate an. Allerdings nur für ein X, für das der Wert von Y unbekannt ist.

Jetzt kennen Sie Formeln in Excel für Dummies, mit denen Sie den zukünftigen Wert eines bestimmten Indikators anhand eines linearen Trends vorhersagen können.

Nach der Ausrichtung erhalten wir die Funktion der folgende Typ: g (x) = x + 1 3 + 1 .

Wir können diese Daten mithilfe der linearen Beziehung y = a x + b annähern, indem wir die entsprechenden Parameter berechnen. Dazu müssen wir die sogenannte Methode der kleinsten Quadrate anwenden. Sie müssen außerdem eine Zeichnung anfertigen, um zu prüfen, welche Linie die experimentellen Daten am besten ausrichtet.

Was genau ist OLS (Methode der kleinsten Quadrate)?

Das Wichtigste, was wir tun müssen, ist, solche linearen Abhängigkeitskoeffizienten zu finden, bei denen der Wert der Funktion zweier Variablen F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 sein wird am kleinsten. Mit anderen Worten, für bestimmte Werte von a und b wird die Summe der quadrierten Abweichungen der dargestellten Daten von der resultierenden Geraden einen Mindestwert haben. Dies ist die Bedeutung der Methode der kleinsten Quadrate. Um das Beispiel zu lösen, müssen wir lediglich das Extremum der Funktion zweier Variablen ermitteln.

So leiten Sie Formeln zur Berechnung von Koeffizienten ab

Um Formeln zur Berechnung von Koeffizienten abzuleiten, müssen Sie ein Gleichungssystem mit zwei Variablen erstellen und lösen. Dazu berechnen wir die partiellen Ableitungen des Ausdrucks F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 nach a und b und setzen sie mit 0 gleich.

δ F (a , b) δ a = 0 δ F (a , b) δ b = 0 ⇔ - 2 ∑ i = 1 n (y i - (a x i + b)) x i = 0 - 2 ∑ i = 1 n ( y i - (a x i + b)) = 0 ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + ∑ i = 1 n b = ∑ i = 1 n y i ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + n b = ∑ i = 1 n y i

Um ein Gleichungssystem zu lösen, können Sie beliebige Methoden verwenden, beispielsweise die Substitution oder die Cramer-Methode. Als Ergebnis sollten wir über Formeln verfügen, mit denen sich Koeffizienten mithilfe der Methode der kleinsten Quadrate berechnen lassen.

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n x i n

Wir haben die Werte der Variablen berechnet, bei denen die Funktion vorliegt
F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 nimmt den Minimalwert an. Im dritten Absatz werden wir beweisen, warum es genau so ist.

Dies ist die praktische Anwendung der Methode der kleinsten Quadrate. Seine Formel, die zum Ermitteln des Parameters a verwendet wird, umfasst ∑ i = 1 n x i, ∑ i = 1 n y i, ∑ i = 1 n x i y i, ∑ i = 1 n x i 2 sowie den Parameter
n – es bezeichnet die Menge der experimentellen Daten. Wir empfehlen Ihnen, jeden Betrag separat zu berechnen. Der Wert des Koeffizienten b wird unmittelbar nach a berechnet.

Kehren wir zum ursprünglichen Beispiel zurück.

Beispiel 1

Hier ist n gleich fünf. Um die Berechnung der in den Koeffizientenformeln enthaltenen erforderlichen Beträge einfacher zu gestalten, füllen wir die Tabelle aus.

	i=1	i=2	ich = 3	i=4	ich=5	∑ i = 1 5
x i	0	1	2	4	5	12
y i	2 , 1	2 , 4	2 , 6	2 , 8	3	12 , 9
x i y i	0	2 , 4	5 , 2	11 , 2	15	33 , 8
x i 2	0	1	4	16	25	46

Lösung

Die vierte Zeile enthält die Daten, die durch Multiplikation der Werte aus der zweiten Zeile mit den Werten der dritten Zeile für jedes einzelne i erhalten werden. Die fünfte Zeile enthält die Daten aus der zweiten, quadriert. Die letzte Spalte zeigt die Summen der Werte einzelner Zeilen.

Lassen Sie uns die Methode der kleinsten Quadrate verwenden, um die benötigten Koeffizienten a und b zu berechnen. Um dies zu tun, ersetzen wir erforderliche Werte aus der letzten Spalte und berechnen Sie die Beträge:

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n x i n ⇒ a = 5 33, 8 - 12 12, 9 5 46 - 12 2 b = 12, 9 - a 12 5 ⇒ a ≈ 0, 165 b ≈ 2, 184

Es stellt sich heraus, dass die erforderliche Näherungsgerade wie folgt aussehen wird: y = 0, 165 x + 2, 184. Jetzt müssen wir bestimmen, welche Linie die Daten besser annähert – g (x) = x + 1 3 + 1 oder 0, 165 x + 2, 184. Lassen Sie uns mit der Methode der kleinsten Quadrate schätzen.

Um den Fehler zu berechnen, müssen wir die Summe der quadratischen Abweichungen der Daten von den Geraden σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 und σ 2 = ∑ i = 1 n (y i) ermitteln - g (x i)) 2, der Mindestwert entspricht einer geeigneteren Linie.

σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 = = ∑ i = 1 5 (y i - (0, 165 x i + 2, 184)) 2 ≈ 0, 019 σ 2 = ∑ i = 1 n (y i - g (x i)) 2 = = ∑ i = 1 5 (y i - (x i + 1 3 + 1)) 2 ≈ 0,096

Antwort: da σ 1< σ 2 , то прямой, der beste Weg eine Annäherung an die Originaldaten erfolgt
y = 0,165 x + 2,184.

Die Methode der kleinsten Quadrate ist in der grafischen Darstellung deutlich dargestellt. Die rote Linie markiert die Gerade g(x) = x + 1 3 + 1, die blaue Linie markiert y = 0, 165 x + 2, 184. Die Originaldaten sind durch rosa Punkte gekennzeichnet.

Lassen Sie uns erklären, warum genau solche Näherungen benötigt werden.

Sie können bei Aufgaben eingesetzt werden, die eine Datenglättung erfordern, sowie bei Aufgaben, bei denen Daten interpoliert oder extrapoliert werden müssen. Beispielsweise könnte man in dem oben diskutierten Problem den Wert der beobachteten Größe y bei x = 3 oder bei x = 6 finden. Solchen Beispielen haben wir einen eigenen Artikel gewidmet.

Beweis der OLS-Methode

Damit die Funktion bei der Berechnung von a und b den Minimalwert annimmt, ist es notwendig, dass sich die Matrix an einem bestimmten Punkt befindet quadratische Form die Differentialfunktion der Form F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 war positiv definit. Wir zeigen Ihnen, wie es aussehen sollte.

Beispiel 2

Wir haben ein Differential zweiter Ordnung der folgenden Form:

d 2 F (a ; b) = δ 2 F (a ; b) δ a 2 d 2 a + 2 δ 2 F (a ; b) δ a δ b d a d b + δ 2 F (a ; b) δ b 2 d 2 b

Lösung

δ 2 F (a ; b) δ a 2 = δ δ F (a ; b) δ a δ a = = δ - 2 ∑ i = 1 n (y i - (a x i + b)) x i δ a = 2 ∑ i = 1 n (x i) 2 δ 2 F (a; b) δ a δ b = δ δ F (a; b) δ a δ b = = δ - 2 ∑ i = 1 n (y i - (a x i + b) ) x i δ b = 2 ∑ i = 1 n x i δ 2 F (a ; b) δ b 2 = δ δ F (a ; b) δ b δ b = δ - 2 ∑ i = 1 n (y i - (a x i + b)) δ b = 2 ∑ i = 1 n (1) = 2 n

Mit anderen Worten, wir können es so schreiben: d 2 F (a ; b) = 2 ∑ i = 1 n (x i) 2 d 2 a + 2 2 ∑ x i i = 1 n d a d b + (2 n) d 2 b.

Wir haben eine Matrix der quadratischen Form M = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n erhalten.

In diesem Fall ändern sich die Werte einzelner Elemente in Abhängigkeit von a und b nicht. Ist diese Matrix positiv definit? Um diese Frage zu beantworten, prüfen wir, ob die Winkelminorwerte positiv sind.

Wir berechnen den Nebenwinkel erster Ordnung: 2 ∑ i = 1 n (x i) 2 > 0 . Da die Punkte x i nicht zusammenfallen, ist die Ungleichung streng. Wir werden dies bei weiteren Berechnungen berücksichtigen.

Wir berechnen den Minor-Winkel zweiter Ordnung:

d e t (M) = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n = 4 n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2

Danach beweisen wir die Ungleichung n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 mithilfe mathematischer Induktion.

Prüfen wir, ob diese Ungleichung für ein beliebiges n gilt. Nehmen wir 2 und berechnen:

2 ∑ i = 1 2 (x i) 2 - ∑ i = 1 2 x i 2 = 2 x 1 2 + x 2 2 - x 1 + x 2 2 = = x 1 2 - 2 x 1 x 2 + x 2 2 = x 1 + x 2 2 > 0

Wir haben die richtige Gleichheit (wenn die Werte x 1 und x 2 nicht übereinstimmen).

Nehmen wir an, dass diese Ungleichung für n gilt, d. h. n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 – wahr.
Jetzt werden wir die Gültigkeit für n + 1 beweisen, d.h. dass (n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 > 0, wenn n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 .

Wir berechnen:

(n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 = = (n + 1) ∑ i = 1 n (x i) 2 + x n + 1 2 - ∑ i = 1 n x i + x n + 1 2 = = n ∑ i = 1 n (x i) 2 + n x n + 1 2 + ∑ i = 1 n (x i) 2 + x n + 1 2 - - ∑ i = 1 n x i 2 + 2 x n + 1 ∑ i = 1 n x i + x n + 1 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + n x n + 1 2 - x n + 1 ∑ i = 1 n x i + ∑ i = 1 n (x i) 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + x n + 1 2 - 2 x n + 1 x 1 + x 1 2 + + x n + 1 2 - 2 x n + 1 x 2 + x 2 2 + . . . + x n + 1 2 - 2 x n + 1 x 1 + x n 2 = = n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + + (x n + 1 - x 1) 2 + (x n + 1 - x 2) 2 + . . . + (x n - 1 - x n) 2 > 0

Der in geschweifte Klammern eingeschlossene Ausdruck ist größer als 0 (basierend auf dem, was wir in Schritt 2 angenommen haben), und die übrigen Terme sind größer als 0, da es sich bei ihnen alles um Zahlenquadrate handelt. Wir haben die Ungleichheit bewiesen.

Antwort: Die gefundenen a und b entsprechen dem kleinsten Wert der Funktion F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2, was bedeutet, dass sie die erforderlichen Parameter der Methode der kleinsten Quadrate sind (LSM).

Wenn Sie einen Fehler im Text bemerken, markieren Sie ihn bitte und drücken Sie Strg+Eingabetaste