Methode der kleinsten Quadrate

Lineare Modellfunktion

Lösung des Minimierungsproblems

Das Minimierungsproblem ergibt sich wie im allgemeinen linearen Fall gezeigt als

Dieses Problem hat immer eine Lösung. Hat die Matrix A vollen Rang, so ist sie sogar eindeutig. Die partiellen Ableitungen bezüglich der und Nullsetzen derselben zum Bestimmen eines Extremums ergeben ein lineares System von Normalgleichungen (auch Normalengleichungen)

das die Lösung des Minimierungsproblems liefert und im Allgemeinen numerisch gelöst werden muss. Die Matrix A^T A ist positiv definit, so dass es sich beim gefundenen Extremum um ein Minimum handelt. Damit kann das Lösen des Minimierungsproblems der linearen Modellfunktionen auf das Lösen eines Gleichungssystems reduziert werden. Im einfachen Fall einer Ausgleichsgeraden kann dessen Lösung, wie gezeigt wurde, sogar direkt als einfache Formel angegeben werden.

Alternativ lassen sich die Normalgleichungen in der Darstellung

ausschreiben, wobei das Skalarprodukt symbolisiert. Die Basisfunktionen sind als Vektoren , zu lesen mit den n diskreten Stützstellen am Ort der Beobachtungen y = y = (y₁ , y₂ , ..., y_n ).

Ferner lässt sich das Minimierungsproblem mit einer Singulärwertzerlegung gut analysieren. Diese motivierte auch den Ausdruck der Pseudoinversen, einer Verallgemeinerung der normalen Inversen einer Matrix. Diese liefert dann eine Sichtweise auf nichtquadratische lineare Gleichungssysteme, die einen nicht stochastisch, sondern algebraisch motivierten Lösungsbegriff erlaubt.

Numerische Behandlung der Lösung

Zur numerischen Lösung des Problems gibt es zwei Wege. Zum Einen können die Normalgleichungen

gelöst werden, die eindeutig lösbar sind, falls die Matrix A vollen Rang hat. Ferner hat die Systemmatrix A^T A die Eigenschaft, positiv definit zu sein, ihre Eigenwerte sind also alle positiv. Zusammen mit der Symmetrie von A^T A kann dies beim Einsatz von numerischen Verfahren zur Lösung ausgenutzt werden: beispielsweise mit der Cholesky-Zerlegung oder dem CG-Verfahren. Da beide Methoden von der Kondition der Matrix stark beeinflusst werden, ist dies manchmal keine empfehlenswerte Herangehensweise: Ist schon A schlecht konditioniert, so ist A^T A quadratisch schlecht konditioniert. Dies führt dazu, dass Rundungsfehler so weit verstärkt werden können, dass sie das Ergebnis unbrauchbar machen.

Zum anderen liefert das ursprüngliche Minimierungsproblem eine stabilere Alternative, da es bei kleinem Wert des Minimums eine Kondition in der Größenordnung der Kondition von A, bei großen Werten des Quadrats der Kondition von A hat. Um die Lösung zu berechnen wird eine QR-Zerlegung verwendet, die mit Householdertransformationen oder Givens-Rotationen erzeugt wird. Grundidee ist, dass orthogonale Transformationen die euklidische Norm eines Vektors nicht verändern. Damit ist

für jede orthogonale Matrix Q. Zur Lösung des Problems kann also eine QR-Zerlegung von A berechnet werden, wobei man die rechte Seite direkt mittransformiert. Dies führt auf eine Form

mit wobei eine rechte obere Dreiecksmatrix ist. Die Lösung des Problems ergibt sich somit durch die Lösung des Gleichungssystems

Die Norm des Minimums ergibt sich dann aus den restlichen Komponenten der transformierten rechten Seite (Qy)_{m + 1} , ..., (Qy)_n , da die dazugehörigen Gleichungen aufgrund der Nullzeilen in R nie erfüllt werden können.

In der statistischen Regressionsanalyse spricht man bei mehreren gegebenen Variablen x_j von multipler Regression. Der Ansatz ist auch als OLS (ordinary least squares) bekannt, im Gegensatz zu GLS (generalised least squares), dem verallgemeinerten Regressionsmodell bei Residuen, die von der Verteilungsannahme wie Unkorreliertheit und Homoskedastie abweichen. Dagegen liegen bei multivariater Regression für jede Beobachtung i (i = 1, ..., n) r viele y-Werte vor, so dass statt eines Vektors eine -Matrix Y vorliegt. Die linearen Regressionsmodelle sind in der Statistik wahrscheinlichkeitstheoretisch intensiv erforscht worden. Besonders in der Ökonometrie werden beispielsweise komplexe rekursiv definierte lineare Strukturgleichungen analysiert, um volkswirtschaftliche Systeme zu modellieren.

Copyright- und Lizenzinformationen: Diese Seite basiert auf dem Artikel Methode der kleinsten Quadrate aus der freien Enzyklοpädιe Wιkιpedιa und steht unter der Lizenz Creative Commons CC-BY-SA 3.0 Unported (Kurzfassung). Liste der Autoren

Anbieterkennzeichnung