Methode der kleinsten Quadrate

Lineare Modellfunktion

Lineare Modellfunktionen sind Linearkombinationen aus beliebigen, im Allgemeinen nicht-linearen Basisfunktionen. Für solche Modellfunktionen lässt sich das Minimierungsproblem analytisch über einen Extremwertansatz ohne iterative Annäherungsschritte lösen. Zunächst werden einige einfache Spezialfälle und Beispiele gezeigt.

Spezialfall einer einfachen linearen Ausgleichsgeraden

Eine einfache Modellfunktion mit zwei linearen Parametern stellt das Polynom erster Ordnung

dar. Gesucht werden zu n gegebenen Messwerten (x₁ , y₁ ), ..., (x_n , y_n ) die Koeffizienten und der bestangepassten Geraden. Die Abweichungen r_i zwischen der gesuchten Geraden und den jeweiligen Messwerten

nennt man Anpassungsfehler oder Residuen. Gesucht sind nun die Koeffizienten und mit der kleinsten Summe der Fehlerquadrate

Der große Vorteil des Ansatzes mit diesem Quadrat der Fehler wird sichtbar, wenn man diese Minimierung mathematisch durchführt: Die Summenfunktion wird als Funktion der beiden Variablen α₀ und α₁ aufgefasst (die eingehenden Messwerte sind dabei numerische Konstanten), dann die Ableitung (genauer: partielle Ableitungen) der Funktion nach diesen Variablen gebildet und von dieser Ableitung schließlich die Nullstelle gesucht. Da die Summenfunktion Quadrate der Variablen aufaddiert, wird bei der Ableitung aus diesen Quadraten einfach ein linearer Ausdruck, von dem die Nullstelle direkt und allgemein angegeben werden kann und schließlich nach den gesuchten Parametern auflösbar ist (längere Zwischenrechnung hier nicht dargestellt):

und

mit als arithmetischem Mittel der x-Werte, y entsprechend. Die Lösung für kann mit Hilfe des Verschiebungssatzes auch als

angegeben werden.

Beispiel mit einer Ausgleichsgeraden

Streudiagramm von Längen und Breiten von 10 zufällig ausgewählten Kriegsschiffen

Folgendes Beispiel soll das Approximieren der linearen Funktion zeigen. Es wurden zufällig 10 Kriegsschiffe ausgewählt und bezüglich mehrerer Merkmale, darunter Länge (m) und Breite (m), analysiert. Es soll untersucht werden, ob die Breite eines Kriegsschiffs möglicherweise in einem festen Bezug zur Länge steht.

Das Streudiagramm zeigt, dass zwischen Länge und Breite eines Schiffs ein ausgeprägter linearer Zusammenhang besteht. Es wird also als Modellfunktion eine Ausgleichsgerade genommen und mit Hilfe der Methode der kleinsten Quadrate errechnet. Man erhält nun analog zum oben angegebenen Fall zunächst

und entsprechend

y = 18, 41

In der folgenden Tabelle sind die Daten zusammen mit den Zwischenergebnissen aufgeführt.

Nummer	Länge (m)	Breite (m)	xi - x	yi - y
i	xi	yi	x*i	y*i
1	208	21,6	40,2	3,19	128,238	1616,04	10,1761
2	152	15,5	−15,8	−2,91	45,978	249,64	8,4681
3	113	10,4	−54,8	−8,01	438,948	3003,04	64,1601
4	227	31,0	59,2	12,59	745,328	3504,64	158,5081
5	137	13,0	−30,8	−5,41	166,628	948,64	29,2681
6	238	32,4	70,2	13,99	982,098	4928,04	195,7201
7	178	19,0	10,2	0,59	6,018	104,04	0,3481
8	104	10,4	−63,8	−8,01	511,038	4070,44	64,1601
9	191	19,0	23,2	0,59	13,688	538,24	0,3481
10	130	11,8	−37,8	−6,61	249,858	1428,84	43,6921
Σ	1678	184,1	0,0	0,00	3287,820	20391,60	574,8490

Damit bestimmt man als

so dass man sagen könnte, mit jedem Meter Länge wächst ein Kriegsschiff im Durchschnitt etwa 16 Zentimeter in die Breite. Das Absolutglied ergibt sich als

Die Anpassung der Punkte ist recht gut. Im Mittel beträgt die Abweichung zwischen der vorhergesagten Breite mit Hilfe des Merkmals Länge und der beobachteten Breite 2,1 m. Auch das Bestimmtheitsmaß, als normierter Koeffizient, ergibt einen Wert von ca. 92% (100% würde einer mittleren Abweichung von 0 m entsprechen); zur Berechnung siehe das Beispiel zum Bestimmtheitsmaß.

Copyright- und Lizenzinformationen: Diese Seite basiert auf dem Artikel Methode der kleinsten Quadrate aus der freien Enzyklοpädιe Wιkιpedιa und steht unter der Lizenz Creative Commons CC-BY-SA 3.0 Unported (Kurzfassung). Liste der Autoren

Anbieterkennzeichnung