Bisher gingen wir davon aus, dass die Schätzung des unbekannten Parameters bekannt sei, und untersuchten seine Eigenschaften, um sie bei der Konstruktion zu nutzen Konfidenzintervall. In diesem Abschnitt werden wir uns mit der Frage der Methoden zur Erstellung von Schätzungen befassen.

Wahrscheinlichkeitsmethoden

Es sei notwendig, einen unbekannten Parameter zu schätzen, im Allgemeinen einen Vektorparameter. Es wird davon ausgegangen, dass die Form der Verteilungsfunktion bis auf einen Parameter bekannt ist,

In diesem Fall alle Momente zufällige Variable werden Funktionen aus:

Die Methode der Momente erfordert die folgenden Schritte:

Berechnen Sie k „theoretische“ Momente

Basierend auf der Stichprobe konstruieren wir k gleichnamige Stichprobenmomente. Im vorliegenden Kontext werden dies Momente sein

Durch Gleichsetzung der „theoretischen“ und der gleichnamigen Stichprobenmomente gelangt man zu einem Gleichungssystem für die Komponenten des geschätzten Parameters

Indem wir das resultierende System (exakt oder näherungsweise) lösen, finden wir die ersten Schätzungen. Sie sind natürlich Funktionen der Beispielwerte.

Wir haben das Vorgehen anhand der ersten – theoretischen und punktuellen – Punkte skizziert. Es bleibt unter einer anderen Wahl von Momenten erhalten, Anfangs-, Zentral- oder Absolutmomenten, die durch die Zweckmäßigkeit des Lösungssystems (25.1) oder eines ähnlichen Systems bestimmt werden.

Betrachten wir nun Beispiele.

Beispiel 25.1. Eine Zufallsvariable sei gleichmäßig auf dem Intervall [; ] , wobei unbekannte Parameter sind. Basierend auf einer Stichprobe () des Volumens n aus der Verteilung einer Zufallsvariablen. Es ist erforderlich, zu bewerten und.

IN in diesem Fall Die Verteilung wird durch die Dichte bestimmt

1) Berechnen wir die ersten beiden anfänglichen „theoretischen“ Momente:

2) Berechnen wir aus der Stichprobe die ersten beiden anfänglichen Stichprobenmomente

3) Lassen Sie uns ein Gleichungssystem erstellen

4) Aus der ersten Gleichung drücken wir es durch aus

und setze es in die zweite Gleichung ein, was zu einer quadratischen Gleichung führt

Wenn wir das lösen, finden wir zwei Wurzeln

Die entsprechenden Werte sind

Denn je nach Bedeutung des Problems muss die Bedingung erfüllt sein< , выбираем в качестве решения системы и оценок неизвестных параметров

Als wir bemerkten, dass es nichts weiter als die Stichprobenvarianz gibt, erhalten wir schließlich

Wenn wir als „theoretische“ Punkte wählen würden erwarteter Wert und Varianz, dann kämen wir zu einem System (unter Berücksichtigung der Ungleichung).<)

Das ist linear und einfacher zu lösen als das vorherige. Die Antwort deckt sich natürlich mit dem, was bereits eingegangen ist.

Abschließend stellen wir fest, dass es für unsere Systeme immer eine Lösung gibt, und zwar eine einzigartige. Die erhaltenen Schätzungen sind natürlich konsistent, weisen jedoch nicht die Eigenschaften der Unvoreingenommenheit auf.

Maximum-Likelihood-Methode

Wir untersuchen wie zuvor eine Zufallsvariable, deren Verteilung entweder durch die Wahrscheinlichkeiten ihrer Werte, wenn sie diskret ist, oder durch die Verteilungsdichte, wenn sie kontinuierlich ist, spezifiziert wird, wobei es sich um einen unbekannten Vektorparameter handelt. Sei () eine Stichprobe von Werten. Es ist natürlich, als Schätzung den Wert des Parameters zu nehmen, bei dem die Wahrscheinlichkeit, eine vorhandene Stichprobe zu erhalten, maximal ist.

Ausdruck

angerufen Wahrscheinlichkeitsfunktion Es stellt die gemeinsame Verteilung oder gemeinsame Dichte eines Zufallsvektors mit n unabhängigen Koordinaten dar, von denen jeder die gleiche Verteilung (Dichte) hat wie.

Als Schätzung des unbekannten Parameters nehmen wir seinen Wert, der das Maximum der Funktion liefert, betrachtet als Funktion von bei festen Werten. Die Beurteilung heißt Maximum-Likelihood-Schätzung. Beachten Sie, dass dies von der Stichprobengröße n und den Stichprobenwerten abhängt

und ist daher selbst eine Zufallsvariable.

Das Finden des Maximalpunkts einer Funktion ist eine separate Aufgabe, die einfacher ist, wenn die Funktion in Bezug auf einen Parameter differenzierbar ist.

In diesem Fall ist es zweckmäßig, ihren Logarithmus anstelle einer Funktion zu betrachten, da die Extrempunkte der Funktion und ihres Logarithmus zusammenfallen.

Mit Methoden der Differentialrechnung können Sie Punkte finden, die einem Extremum verdächtig sind, und dann herausfinden, bei welchen Punkten das Maximum erreicht ist.

Dazu betrachten wir zunächst das Gleichungssystem

deren Lösungen Punkte sind, die für Extremum verdächtig sind. Anschließend werden mit einer bekannten Methode die Werte der zweiten Ableitungen berechnet

Anhand des Vorzeichens der aus diesen Werten zusammengesetzten Determinante ermitteln wir den Maximalpunkt.

Die mithilfe der Maximum-Likelihood-Methode erhaltenen Schätzungen sind konsistent, können jedoch verzerrt sein.

Schauen wir uns Beispiele an.

Beispiel 25.2. Es soll ein Zufallsexperiment durchgeführt werden, dessen Ergebnis ein Ereignis A sein könnte, dessen Wahrscheinlichkeit P(A) unbekannt ist und einer Schätzung unterliegt.

Lassen Sie uns eine Zufallsvariable durch die Gleichheit einführen

wenn Ereignis A passiert ist,

wenn Ereignis A nicht eingetreten ist (ein Ereignis ist eingetreten).

Die Verteilung einer Zufallsvariablen ist durch die Gleichheit gegeben

Die Stichprobe ist in diesem Fall eine endliche Folge (), wobei jede von ihnen gleich 0 oder 1 sein kann.

Die Wahrscheinlichkeitsfunktion hat die Form

Finden wir den Punkt seines Maximums in p, für den wir die Ableitung des Logarithmus berechnen

Stellen wir an, dass diese Zahl der Anzahl der „Erfolgseinheiten“ in der ausgewählten Sequenz entspricht.

Neben der Momentenmethode, die im vorherigen Absatz beschrieben wurde, gibt es weitere Methoden zur Punktschätzung unbekannter Verteilungsparameter. Dazu gehört die von R. Fisher vorgeschlagene Maximum-Likelihood-Methode.

A. Diskrete Zufallsvariablen. Lassen X - diskrete Zufallsvariable, die als Ergebnis N Tests ergaben Werte X 1 ,X 2 , ...,X P . Nehmen wir die Form des Mengenverteilungsgesetzes an X angegeben, aber Parameter unbekannt θ , die dieses Gesetz bestimmt. Wir müssen seine Punktschätzung finden.

Bezeichnen wir die Wahrscheinlichkeit, dass sich als Ergebnis des Tests der Wert ergibt X wird den Wert annehmen X ich (ich= 1 , 2, . . . , N), durch P(X ich ; θ ).

Die Wahrscheinlichkeitsfunktion einer diskreten ZufallsvariablenRängeX Rufen Sie die Argumentfunktion auf θ :

L (X 1 , X 2 , ..., X P ; θ ) = P (X 1 ; θ ) R(X 2 ; θ ) . . . P (X N ; θ ),

Wo X 1 ,X 2 , ...,X P - feste Zahlen.

Als Punktschätzung des Parameters θ nimm diese Bedeutung θ * = θ * (X 1 , X 2 , ..., X P), bei dem die Likelihood-Funktion ihr Maximum erreicht. Auswertung θ * Anruf Maximum-Likelihood-Schätzung.

Funktionen L und ln L bei gleichem Wert ein Maximum erreichen θ , anstatt das Maximum der Funktion zu finden L Suchen Sie nach dem Maximum der Funktion ln (was bequemer ist). L.

Log-Likelihood-Funktion Rufen Sie die Funktion ln auf L. Bekanntlich ist der Maximalpunkt der Funktion ln L Streit θ Sie können zum Beispiel so suchen:

3) finde die zweite Ableitung; wenn die zweite Ableitung bei θ = θ * ist also negativ θ * - Höchstpunktzahl.

Der gefundene Maximalpunkt θ * wird als Maximum-Likelihood-Schätzung des Parameters angenommen θ .

Die Maximum-Likelihood-Methode hat eine Reihe von Vorteilen: Maximum-Likelihood-Schätzungen sind im Allgemeinen konsistent (aber sie können verzerrt sein) und asymptotisch normalverteilt (für große Werte). N ungefähr normal) und haben die geringste Varianz im Vergleich zu anderen asymptotisch normalen Schätzungen; wenn für den geschätzten Parameter θ Es gibt eine wirksame Beurteilung θ *, dann hat die Wahrscheinlichkeitsgleichung eine eindeutige Lösung θ *; Diese Methode nutzt die Stichprobendaten über den zu schätzenden Parameter am umfassendsten und ist daher besonders bei kleinen Stichproben nützlich.

Der Nachteil der Methode besteht darin, dass sie häufig komplexe Berechnungen erfordert.

Anmerkung 1. Wahrscheinlichkeitsfunktion – Funktion des Arguments θ ; Maximum-Likelihood-Schätzung – Funktion unabhängiger Argumente X 1 ,X 2 , ...,X P .

Anmerkung 2. Die Maximum-Likelihood-Schätzung stimmt nicht immer mit der durch die Momentenmethode ermittelten Schätzung überein.

Beispiel 1.λ Poisson-Verteilung

Wo M- Anzahl der durchgeführten Tests; X ich - Anzahl der Vorkommnisse des Ereignisses in ich-M ( ich=1, 2, ..., N) Erfahrung (Erfahrung besteht aus T Tests).

Lösung. Lassen Sie uns unter Berücksichtigung dessen eine Wahrscheinlichkeitsfunktion erstellen. θ= λ :

L = P (X 1 ; λ :) P (X 2 ; λ :) . . .P (X N ; λ :),=

.

Schreiben wir die Wahrscheinlichkeitsgleichung, für die wir die erste Ableitung mit Null gleichsetzen:

Finden wir den kritischen Punkt, für den wir die resultierende Gleichung auflösen λ:

Finden wir die zweite Ableitung nach λ:

Es ist leicht zu erkennen, dass für λ = die zweite Ableitung negativ ist; daher ist λ = der Maximalpunkt und daher müssen wir als Schätzung der maximalen Wahrscheinlichkeit des Parameters λ der Poisson-Verteilung den Stichprobendurchschnitt λ* = nehmen.

Beispiel 2. Finden Sie die Parameterschätzung mithilfe der Maximum-Likelihood-Methode P Binomialverteilung

wenn drin N 1 unabhängig getestete Veranstaltung A erschien X 1 = M 1 Mal und P 2 unabhängige Testveranstaltung A erschien X 2 = t 2 einmal.

Lösung. Lassen Sie uns unter Berücksichtigung dessen eine Wahrscheinlichkeitsfunktion erstellen θ = P:

Finden wir die Log-Likelihood-Funktion:

Finden wir die erste Ableitung nach R:

.

.

Finden wir den kritischen Punkt, für den wir die resultierende Gleichung auflösen P:

Finden wir die zweite Ableitung nach P:

.

Es ist leicht zu überprüfen, wann die zweite Ableitung ist negativ; somit, - der Maximalpunkt und muss daher als Maximum-Likelihood-Schätzung der unbekannten Wahrscheinlichkeit angenommen werden P Binomialverteilung:

B. Kontinuierliche Zufallsvariablen. Lassen X - kontinuierliche Zufallsvariable, die als Ergebnis N Tests ergaben Werte X 1 ,X 2 , ..., X P . Nehmen wir an, dass die Art der Verteilung Dichte ist F(X) angegeben, aber Parameter unbekannt θ , das diese Funktion definiert.

Die Wahrscheinlichkeitsfunktion einer kontinuierlichen ZufallsvariablenRängeX Rufen Sie die Argumentfunktion auf θ :

L (X 1 ,X 2 , ...,X P ; θ ) = F (X 1 ; θ ) F (X 2 ; θ ) . . . F (X N ; θ ),

Wo X 1 ,X 2 , ..., X P - feste Nummern.

Eine Schätzung der maximalen Wahrscheinlichkeit eines unbekannten Verteilungsparameters einer kontinuierlichen Zufallsvariablen wird auf die gleiche Weise wie im Fall einer diskreten Variablen gesucht.

Beispiel 3. Finden Sie mit der Maximum-Likelihood-Methode eine Schätzung des Parameters λ, Exponentialverteilung

(0< X< ∞),

wenn dadurch N Zufallsvariable testen X, nach dem Exponentialgesetz verteilt, nahm die Werte an X 1 ,X 2 , ...,X P .

Lösung. Lassen Sie uns unter Berücksichtigung dessen eine Wahrscheinlichkeitsfunktion erstellen θ= λ:

L= F (X 1 ; λ ) F (X 2 ; λ ) . . . F (X N ; λ ) =.

Finden wir die Log-Likelihood-Funktion:

Finden wir die erste Ableitung nach λ:

Schreiben wir die Wahrscheinlichkeitsgleichung, für die wir die erste Ableitung mit Null gleichsetzen:

Finden wir den kritischen Punkt, für den wir die resultierende Gleichung nach λ auflösen:

Finden wir die zweite Ableitung nach λ :

Die Aufgabe der Schätzung von Verteilungsparametern besteht darin, anhand von Stichprobendaten möglichst plausible Schätzungen der unbekannten Parameter der Bevölkerungsverteilung zu erhalten. Zusätzlich zur Methode der Momente verwenden wir zur Bestimmung der Punktschätzung von Verteilungsparametern auch Maximum-Likelihood-Methode. Die Maximum-Likelihood-Methode wurde 1912 vom englischen Statistiker R. Fisher vorgeschlagen.

Lassen Sie uns den unbekannten Parameter  einer Zufallsvariablen X aus der Gesamtbevölkerung mit einer Wahrschätzen P(X)= P(X, ) Probe entnommen X 1 ,X 2 ,…,X N. Wir werden die Beispielergebnisse als Implementierung betrachten N-dimensionale Zufallsvariable ( X 1 ,X 2 ,…,X N). Die zuvor diskutierte Momentenmethode zum Erhalten von Punktschätzungen unbekannter Parameter einer theoretischen Verteilung liefert nicht immer die besten Schätzungen. Die Methode zur Suche nach Schätzungen, die die erforderlichen (besten) Eigenschaften aufweisen, ist die Methode maximale Wahrscheinlichkeit.

Die Maximum-Likelihood-Methode basiert auf der Bedingung zur Bestimmung des Extremums einer bestimmten Funktion, der sogenannten Likelihood-Funktion.

Wahrscheinlichkeitsfunktion DSV X

L (X 1 ,X 2 ,…,X N ; )=P(X 1 ; )P(X 2 ; )…P(X N ; ),

Wo X 1, …, X N– feste Probenahmeoptionen,  – unbekannter geschätzter Parameter, P(X ich; ) – Wahrscheinlichkeit des Ereignisses X= X ich .

Wahrscheinlichkeitsfunktion NSV X nannte die Argumentfunktion :

L (X 1 ,X 2 ,…,X N ; )=F(X 1 ; )F(X 2 ; )…F(X N ; ),

Wo F(X ich; ) – gegebene Wan Punkten X ich .

Als Punktschätzung der Verteilungsparameter  Nehmen Sie den Wert an, bei dem die Wahrscheinlichkeitsfunktion ihr Maximum erreicht. Auswertung
angerufen Maximum-Likelihood-Schätzung. Weil Funktionen L Und
L Ihr Maximum bei den gleichen Werten von  erreichen, dann verwenden sie normalerweise, um das Extremum (Maximum) zu finden
L als praktischere Funktion.

Um den Maximalpunkt zu ermitteln
L Sie müssen einen bekannten Algorithmus verwenden, um das Extremum der Funktion zu berechnen:

Wenn die Wahrscheinlichkeitsdichte von zwei unbekannten Parametern abhängt –  1 und  2 –, werden kritische Punkte durch Lösen des Gleichungssystems gefunden:

Also nach der Maximum-Likelihood-Methode als Schätzung des unbekannten Parameters  der Wert * wird angenommen, bei dem
Stichprobenverteilungen X 1 ,X 2 ,…,X N maximal.

Aufgabe 8. Lassen Sie uns die Schätzung mithilfe der Maximum-Likelihood-Methode ermitteln für Wahrscheinlichkeit P in Bernoullis Schema,

Lasst uns ausführen N unabhängige wiederholte Versuche und messen die Anzahl der Erfolge, die wir angeben M. Nach der Formel von Bernoulli ist die Wahrscheinlichkeit, dass dies der Fall sein wird M Erfolg aus N–– ist die Wahrscheinlichkeitsfunktion des DSV.

Lösung : Lassen Sie uns eine Wahrscheinlichkeitsfunktion erstellen
.

Nach der Maximum-Likelihood-Methode finden wir einen solchen Wert P, was maximiert L, und damit ln L.

Dann logarithmieren L, wir haben:

Ableitung der Funktion ln L Von P sieht aus wie
und am Extrempunkt ist es gleich Null. Lösen Sie daher die Gleichung
, wir haben
.

Lassen Sie uns das Vorzeichen der zweiten Ableitung überprüfen
am resultierenden Punkt:

. Weil
für alle Werte des Arguments, dann der gefundene Wert P Es gibt einen Höchstpunkt.

Bedeutet, – bester Kostenvoranschlag für
.

Also nach der Maximum-Likelihood-Methode die Wahrscheinlichkeitsschätzung P Veranstaltungen A Im Bernoulli-Schema wird die relative Häufigkeit dieses Ereignisses verwendet .

Wenn die Probe X 1 , X 2 ,…, X N aus einer normalverteilten Grundgesamtheit extrahiert wird, haben die Schätzungen für den mathematischen Erwartungswert und die Varianz nach der Maximum-Likelihood-Methode die Form:

Die gefundenen Werte stimmen mit den durch die Momentenmethode erhaltenen Schätzungen dieser Parameter überein. Weil Da die Dispersion verschoben ist, muss sie mit der Bessel-Korrektur multipliziert werden. Dann wird sie so aussehen
, was mit der Stichprobenvarianz übereinstimmt.

Aufgabe 9 . Die Poisson-Verteilung sei gegeben
wo M= X ich wir haben
. Lassen Sie uns die Schätzung des unbekannten Parameters mithilfe der Maximum-Likelihood-Methode ermitteln  .

Lösung :

Durch die Konstruktion der Wahrscheinlichkeitsfunktion L und sein Logarithmus ln L. Wir haben:

Finden wir die Ableitung von ln L:
und löse die Gleichung
. Die resultierende Schätzung des Verteilungsparameters  wird die Form annehmen:
Dann
Weil bei
zweite partielle Ableitung
dann ist das der Maximalpunkt. Somit kann der Stichprobenmittelwert als Schätzung der maximalen Wahrscheinlichkeit des Parameters  für die Poisson-Verteilung verwendet werden.

Es kann überprüft werden, dass die Exponentialverteilung vorliegt
Wahrscheinlichkeitsfunktion für Stichprobenwerte X 1 , X 2 , …, X N hat die Form:

.

Die Schätzung des Verteilungsparameters  für die Exponentialverteilung ist gleich:
.

Der Vorteil der Maximum-Likelihood-Methode besteht in der Möglichkeit, „gute“ Schätzungen zu erhalten, die Eigenschaften wie Konsistenz, asymptotische Normalität und Effizienz für große Stichproben unter den allgemeinsten Bedingungen aufweisen.

Der Hauptnachteil der Methode ist die Komplexität der Lösung der Likelihood-Gleichungen sowie die Tatsache, dass das analysierte Verteilungsgesetz nicht immer bekannt ist.

Der Kern des Problems der Punktparameterschätzung

PUNKTSCHÄTZUNG DER VERTEILUNGSPARAMETER

Punktschätzung Dabei geht es darum, einen einzelnen numerischen Wert zu finden, der als Wert des Parameters verwendet wird. Es empfiehlt sich, eine solche Beurteilung vorzunehmen, wenn das ED-Volumen ausreichend groß ist. Darüber hinaus gibt es kein einheitliches Konzept für ein ausreichendes ED-Volumen; sein Wert hängt von der Art des zu schätzenden Parameters ab (wir werden auf dieses Problem zurückkommen, wenn wir Methoden zur Intervallschätzung von Parametern untersuchen, aber zunächst betrachten wir eine Stichprobe, die mindestens enthält 10 Werte ausreichend). Wenn das ED-Volumen klein ist, können Punktschätzungen erheblich von den wahren Parameterwerten abweichen, was sie für die Verwendung ungeeignet macht.

Problem der Punktparameterschätzung in einer typischen Umgebung ist wie folgt.

Verfügbar: Stichprobe von Beobachtungen ( x 1 , x 2 , …, x n) hinter einer Zufallsvariablen X. Probengröße N Fest

Die Form des Mengenverteilungsgesetzes ist bekannt X, zum Beispiel in Form der Verteilungsdichte F(Θ , X), Wo Θ – unbekannter (im Allgemeinen vektorieller) Verteilungsparameter. Der Parameter ist ein nicht zufälliger Wert.

Muss einen Kostenvoranschlag finden Θ* Parameter Θ Vertriebsrecht.

Einschränkungen: Die Stichprobe ist repräsentativ.

Es gibt mehrere Methoden zur Lösung des Problems der Punktparameterschätzung. Die gebräuchlichsten sind die Maximum-Likelihood-, Momenten- und Quantilmethoden.

Die Methode wurde 1912 von R. Fisher vorgeschlagen. Die Methode basiert auf der Untersuchung der Wahrscheinlichkeit, eine Stichprobe von Beobachtungen zu erhalten (x 1 , x 2, …, x n). Diese Wahrscheinlichkeit ist gleich

f(x 1, Θ) f(x 2, Θ) … f(x n, Θ) dx 1 dx 2 … dx n.

Gemeinsame Wahrscheinlichkeitsdichte

L(x 1, x 2 ..., x n; Θ) = f(x 1, Θ) f(x 2, Θ) ... f(x n, Θ),(2.7)

als Funktion des Parameters betrachtet Θ , angerufen Wahrscheinlichkeitsfunktion .

Als Einschätzung Θ* Parameter Θ man sollte den Wert nehmen, der die Wahrscheinlichkeitsfunktion maximal macht. Um die Schätzung zu finden, muss die Wahrscheinlichkeitsfunktion ersetzt werden T An Q und löse die Gleichung

dL/dΘ* = 0.

Um die Berechnungen zu vereinfachen, gehen wir von der Likelihood-Funktion zu ihrem Logarithmus ln über L. Diese Transformation ist akzeptabel, da die Likelihood-Funktion eine positive Funktion ist und am selben Punkt wie ihr Logarithmus ein Maximum erreicht. Wenn der Verteilungsparameter eine Vektorgröße ist

Θ* =(q 1, q 2, …, q n),

Dann werden die Maximum-Likelihood-Schätzungen aus dem Gleichungssystem ermittelt

d ln L(q 1, q 2, …, q n) /d q 1 = 0;

d ln L(q 1, q 2, …, q n) /d q 2 = 0;

. . . . . . . . .

d ln L(q 1, q 2, …, q n) /d q n = 0.

Um zu überprüfen, ob der optimale Punkt dem Maximum der Likelihood-Funktion entspricht, muss die zweite Ableitung dieser Funktion ermittelt werden. Und wenn die zweite Ableitung am optimalen Punkt negativ ist, dann maximieren die gefundenen Parameterwerte die Funktion.

Das Finden von Maximum-Likelihood-Schätzungen umfasst also die folgenden Schritte: Konstruieren der Likelihood-Funktion (ihres natürlichen Logarithmus); Differenzierung einer Funktion nach den erforderlichen Parametern und Erstellung eines Gleichungssystems; Lösen eines Gleichungssystems, um Schätzungen zu finden; Bestimmen der zweiten Ableitung einer Funktion, Überprüfen ihres Vorzeichens am optimalen Punkt der ersten Ableitung und Ziehen von Schlussfolgerungen.

Lösung. Wahrscheinlichkeitsfunktion für eine ED-Volumenstichprobe N

Log-Likelihood-Funktion

Gleichungssystem zum Finden von Parameterschätzungen

Aus der ersten Gleichung folgt:

oder schließlich

Somit ist das arithmetische Mittel die maximale Wahrscheinlichkeitsschätzung für die mathematische Erwartung.

Aus der zweiten Gleichung können wir finden

.

Die empirische Varianz ist verzerrt. Nach dem Entfernen des Versatzes

Tatsächliche Werte der Parameterschätzungen: M =27,51, s 2 = 0,91.

Um zu überprüfen, ob die erhaltenen Schätzungen den Wert der Likelihood-Funktion maximieren, nehmen wir die zweiten Ableitungen

Zweite Ableitungen der Funktion ln( L(m,S)) Unabhängig davon, ob die Parameterwerte kleiner als Null sind, handelt es sich bei den gefundenen Parameterwerten um Maximum-Likelihood-Schätzungen.

Die Maximum-Likelihood-Methode ermöglicht es uns, konsistente, effektive (falls vorhanden, dann liefert die resultierende Lösung effektive Schätzungen), ausreichende, asymptotisch normalverteilte Schätzungen zu erhalten. Mit dieser Methode können sowohl voreingenommene als auch unvoreingenommene Schätzungen erstellt werden. Die Verzerrung kann durch die Einführung von Korrekturen beseitigt werden. Die Methode eignet sich besonders für kleine Proben.

Und andere).

Die Maximum-Likelihood-Schätzung ist eine beliebte statistische Methode, mit der aus Daten ein statistisches Modell erstellt und Schätzungen der Modellparameter bereitgestellt werden.

Entspricht vielen bekannten Schätzverfahren im Bereich der Statistik. Nehmen wir zum Beispiel an, Sie interessieren sich für das Wachstum der Menschen in der Ukraine. Nehmen wir an, Sie haben Größendaten für eine Reihe von Personen und nicht für die gesamte Bevölkerung. Darüber hinaus wird davon ausgegangen, dass die Körpergröße eine normalverteilte Variable mit unbekannter Varianz und unbekanntem Mittelwert ist. Der Mittelwert und die Varianz des Stichprobenwachstums entsprechen höchstwahrscheinlich dem Mittelwert und der Varianz der gesamten Grundgesamtheit.

Bei einem festen Datensatz und einem grundlegenden Wahrscheinlichkeitsmodell erhalten wir mithilfe der Maximum-Likelihood-Methode Werte für die Modellparameter, die die Daten „näher“ an die reale Welt bringen. Die Maximum-Likelihood-Schätzung bietet eine einzigartige und einfache Möglichkeit, Lösungen im Fall einer Normalverteilung zu ermitteln.

Die Maximum-Likelihood-Schätzung wird für eine Vielzahl statistischer Modelle verwendet, darunter:

• lineare Modelle und verallgemeinerte lineare Modelle;
• Faktorenanalyse;
• Strukturgleichungsmodellierung;
• viele Situationen im Rahmen von Hypothesentests und Konfidenzintervallbildung;
• Discrete-Choice-Modelle.

Essenz der Methode

angerufen Maximum-Likelihood-Schätzung Parameter Somit ist ein Maximum-Likelihood-Schätzer ein Schätzer, der die Wahrscheinlichkeitsfunktion bei gegebener Realisierung einer festen Stichprobe maximiert.

Anstelle der Likelihood-Funktion wird häufig die Log-Likelihood-Funktion verwendet. Da die Funktion über den gesamten Definitionsbereich monoton ansteigt, ist das Maximum jeder Funktion das Maximum der Funktion und umgekehrt. Auf diese Weise

,

Wenn die Likelihood-Funktion differenzierbar ist, ist eine notwendige Bedingung für das Extremum, dass ihr Gradient gleich Null ist:

Eine hinreichende Bedingung für ein Extremum kann als negative Bestimmtheit der Hesse-Matrix der zweiten Ableitungen formuliert werden:

Die sogenannte Informationsmatrix, die per Definition gleich ist:

Am optimalen Punkt stimmt die Informationsmatrix mit der mathematischen Erwartung des Hessischen überein, mit einem Minuszeichen versehen:

Eigenschaften

• Maximum-Likelihood-Schätzungen können im Allgemeinen verzerrt sein (siehe Beispiele), sind aber konsistent. asymptotisch effizient und asymptotisch normal Schätzungen. Asymptotische Normalität bedeutet das

Wo ist die asymptotische Informationsmatrix?

Asymptotische Effizienz bedeutet, dass die asymptotische Kovarianzmatrix eine Untergrenze für alle konsistenten asymptotisch normalen Schätzer darstellt.

Beispiele

Die letzte Gleichheit kann wie folgt umgeschrieben werden:

wo, woraus ersichtlich ist, dass die Wahrscheinlichkeitsfunktion am Punkt ihr Maximum erreicht. Auf diese Weise

. .

Um sein Maximum zu finden, setzen wir die partiellen Ableitungen mit Null gleich:

- Stichprobenmittelwert und - Stichprobenvarianz.

Bedingte Maximum-Likelihood-Methode

Bedingte maximale Wahrscheinlichkeit (bedingte ML) Wird in Regressionsmodellen verwendet. Der Kern der Methode besteht darin, dass nicht die vollständige gemeinsame Verteilung aller Variablen (abhängige und Regressoren) verwendet wird, sondern nur bedingt Verteilung der abhängigen Variablen über Faktoren, also tatsächlich die Verteilung zufälliger Fehler im Regressionsmodell. Die Gist das Produkt der „bedingten Wahrscheinlichkeitsfunktion“ und der Faktorverteilungsdichte. Das bedingte MMP entspricht der Vollversion des MMP für den Fall, dass die Verteilung der Faktoren in keiner Weise von den geschätzten Parametern abhängt. Diese Bedingung wird in Zeitreihenmodellen, beispielsweise dem autoregressiven Modell, häufig verletzt. In diesem Fall handelt es sich bei den Regressoren um die vergangenen Werte der abhängigen Variablen, was bedeutet, dass auch ihre Werte demselben AR-Modell folgen, d. h. die Verteilung der Regressoren hängt von den geschätzten Parametern ab. In solchen Fällen werden die Ergebnisse der Anwendung der bedingten und der vollständigen Maximum-Likelihood-Methode unterschiedlich sein.

siehe auch

Anmerkungen

Literatur

• Magnus Y.R., Katyshev P.K., Peresetsky A.A.Ökonometrie. Anfängerkurs. - M.: Delo, 2007. - 504 S. - ISBN 978-5-7749-0473-0

Wikimedia-Stiftung. 2010.

• Marschak, Boris Iljitsch
• Bytereihenfolge

Sehen Sie in anderen Wörterbüchern, was die „Maximum-Likelihood-Methode“ ist:

Maximum-Likelihood-Methode- - Maximum-Likelihood-Methode In der mathematischen Statistik eine Methode zur Schätzung von Verteilungsparametern basierend auf der Maximierung der sogenannten Likelihood-Funktion... ...

MAXIMUM-LIKELIHOOD-METHODE- eine Methode zum Schätzen unbekannter Parameter der Verteilungsfunktion F(s; α1,..., αs) aus einer Stichprobe, wobei α1, ..., αs unbekannte Parameter sind. Wenn eine Stichprobe von n Beobachtungen in r disjunkte Gruppen s1,..., sr; ð1,..., pr… … Geologische Enzyklopädie

Maximum-Likelihood-Methode- in der mathematischen Statistik eine Methode zur Schätzung von Verteilungsparametern, basierend auf der Maximierung der sogenannten Likelihood-Funktion (gemeinsame Wahrscheinlichkeitsdichte von Beobachtungen mit Werten, aus denen ... ... Wirtschafts- und Mathematikwörterbuch

Maximum-Likelihood-Methode- maksimaliojo tikėtinumo metodas statusas T sritis automatika atitikmenys: engl. Maximum-Likelihood-Methode vok. Methode der maximalen Mutmaßlichkeit, f rus. Maximum-Likelihood-Methode, m pranc. Maximale Geschwindigkeitsmethode, f;… … Automatikos terminų žodynas

Maximum-Likelihood-Partial-Response-Methode- Viterbi-Signalerkennungsmethode, die ein Minimum an Intersymbolverzerrung gewährleistet. Siehe auch. Viterbi-Algorithmus. [L.M. Newdjajew. Telekommunikationstechnologien. Nachschlagewerk zum erklärenden Wörterbuch Englisch-Russisch. Herausgegeben von Yu.M... Leitfaden für technische Übersetzer

Sequenzdetektor mit Maximum-Likelihood-Methode– Ein Gerät zur Berechnung einer Schätzung der wahrscheinlichsten Folge von Symbolen, die die Wahrscheinlichkeitsfunktion des empfangenen Signals maximiert. [L.M. Newdjajew. Telekommunikationstechnologien. Nachschlagewerk zum erklärenden Wörterbuch Englisch-Russisch. Herausgegeben von Yu.M... Leitfaden für technische Übersetzer

Maximum-Likelihood-Methode- Maximum-Likelihood-Methode - [L.G. Sumenko. Englisch-Russisches Wörterbuch zur Informationstechnologie. M.: State Enterprise TsNIIS, 2003.] Themen Informationstechnologie im Allgemeinen Synonyme Maximum-Likelihood-Methode EN Maximum-Likelihood-Methode ... Leitfaden für technische Übersetzer

Maximum-Likelihood-Methode- Allgemeine Methode zur Berechnung von Parameterschätzungen. Es werden Schätzungen gesucht, die die Stichpmaximieren, die dem Produkt der Verteilungsfunktionswerte für jeden beobachteten Datenwert entspricht. Die Maximum-Likelihood-Methode ist besser ... Wörterbuch der soziologischen Statistik