Maschinelles Lernen ist ein Zweig der künstlichen Intelligenz, der es Maschinen ermöglicht, Datenanalysen durchzuführen und Vorhersagen zu treffen. Wenn das Modell des maschinellen Lernens jedoch nicht genau ist, kann es zu Vorhersagefehlern kommen. Diese Vorhersagefehler werden üblicherweise als Bias und Varianz bezeichnet. Beim maschinellen Lernen treten diese Fehler immer auf, da es immer einen geringfügigen Unterschied zwischen den Modellvorhersagen und den tatsächlichen Vorhersagen gibt. Das Hauptziel von ML-/Data-Science-Analysten besteht darin, diese Fehler zu reduzieren, um genauere Ergebnisse zu erhalten. In diesem Thema werden wir Bias und Varianz, Bias-Varianz-Kompromiss, Unteranpassung und Überanpassung diskutieren. Aber bevor wir beginnen, wollen wir zunächst verstehen, was Fehler beim maschinellen Lernen sind.
Fehler beim maschinellen Lernen?
Beim maschinellen Lernen ist ein Fehler ein Maß dafür, wie genau ein Algorithmus Vorhersagen für den bisher unbekannten Datensatz treffen kann. Auf der Grundlage dieser Fehler wird das maschinelle Lernmodell ausgewählt, das für den jeweiligen Datensatz die beste Leistung erbringt. Beim maschinellen Lernen gibt es hauptsächlich zwei Arten von Fehlern:
unabhängig davon, welcher Algorithmus verwendet wurde. Die Ursache dieser Fehler sind unbekannte Variablen, deren Wert nicht reduziert werden kann.
Was ist Voreingenommenheit?
Im Allgemeinen analysiert ein maschinelles Lernmodell die Daten, findet darin Muster und trifft Vorhersagen. Während des Trainings lernt das Modell diese Muster im Datensatz und wendet sie zur Vorhersage auf Testdaten an. Bei der Erstellung von Vorhersagen entsteht ein Unterschied zwischen den vom Modell erstellten Vorhersagewerten und den tatsächlichen Werten/Erwartungswerten , und dieser Unterschied wird als Bias-Fehler oder Fehler aufgrund von Bias bezeichnet . Es kann als Unfähigkeit von Algorithmen für maschinelles Lernen wie der linearen Regression definiert werden, die wahre Beziehung zwischen den Datenpunkten zu erfassen. Jeder Algorithmus beginnt mit einem gewissen Maß an Verzerrung, da Verzerrungen durch Annahmen im Modell entstehen, was das Erlernen der Zielfunktion erleichtert. Ein Modell hat entweder:
svm
Im Allgemeinen weist ein linearer Algorithmus eine hohe Voreingenommenheit auf, da er dadurch schnell lernt. Je einfacher der Algorithmus ist, desto höher ist wahrscheinlich die Verzerrung, die er einführt. Während ein nichtlinearer Algorithmus oft eine geringe Vorspannung aufweist.
Einige Beispiele für maschinelle Lernalgorithmen mit geringer Verzerrung sind Entscheidungsbäume, k-Nearest Neighbors und Support Vector Machines . Gleichzeitig handelt es sich um einen Algorithmus mit hoher Voreingenommenheit Lineare Regression, lineare Diskriminanzanalyse und logistische Regression.
Möglichkeiten zur Reduzierung von High Bias:
Eine hohe Verzerrung entsteht hauptsächlich aufgrund eines sehr einfachen Modells. Im Folgenden finden Sie einige Möglichkeiten, die hohe Verzerrung zu reduzieren:
- Erhöhen Sie die Eingabefunktionen, wenn das Modell nicht ausreichend angepasst ist.
- Verringern Sie den Regularisierungsterm.
- Verwenden Sie komplexere Modelle, z. B. die Einbeziehung einiger Polynomfunktionen.
Was ist ein Varianzfehler?
Die Varianz würde das Ausmaß der Variation in der Vorhersage angeben, wenn die unterschiedlichen Trainingsdaten verwendet würden. In einfachen Worten: Die Varianz gibt an, um wie viel sich eine Zufallsvariable von ihrem erwarteten Wert unterscheidet. Im Idealfall sollte ein Modell von einem Trainingsdatensatz zum anderen nicht zu stark variieren, was bedeutet, dass der Algorithmus die versteckte Zuordnung zwischen Eingabe- und Ausgabevariablen gut verstehen sollte. Varianzfehler sind beides geringe Varianz oder hohe Varianz.
Verzeichnis in Linux-Befehlen
Geringe Varianz bedeutet, dass es bei Änderungen im Trainingsdatensatz eine kleine Variation in der Vorhersage der Zielfunktion gibt. Gleichzeitig, Hohe Varianz zeigt eine große Variation in der Vorhersage der Zielfunktion bei Änderungen im Trainingsdatensatz.
Ein Modell, das eine hohe Varianz aufweist, lernt viel und funktioniert gut mit dem Trainingsdatensatz, lässt sich jedoch nicht gut mit dem unsichtbaren Datensatz verallgemeinern. Infolgedessen liefert ein solches Modell gute Ergebnisse mit dem Trainingsdatensatz, weist jedoch hohe Fehlerraten im Testdatensatz auf.
Da das Modell bei hoher Varianz zu viel aus dem Datensatz lernt, kommt es zu einer Überanpassung des Modells. Ein Modell mit hoher Varianz hat die folgenden Probleme:
- Ein Modell mit hoher Varianz führt zu einer Überanpassung.
- Erhöhen Sie die Modellkomplexität.
Normalerweise verfügen nichtlineare Algorithmen über eine große Flexibilität bei der Anpassung an das Modell und weisen eine hohe Varianz auf.
Einige Beispiele für maschinelle Lernalgorithmen mit geringer Varianz sind: Lineare Regression, logistische Regression und lineare Diskriminanzanalyse . Gleichzeitig sind Algorithmen mit hoher Varianz Entscheidungsbaum, Support Vector Machine und K-nächste Nachbarn.
Möglichkeiten zur Reduzierung hoher Varianz:
- Reduzieren Sie die Eingabemerkmale oder die Anzahl der Parameter, wenn ein Modell überangepasst ist.
- Verwenden Sie kein sehr komplexes Modell.
- Erhöhen Sie die Trainingsdaten.
- Erhöhen Sie den Regularisierungsterm.
Verschiedene Kombinationen von Bias-Varianz
Es gibt vier mögliche Kombinationen von Bias und Varianzen, die im folgenden Diagramm dargestellt werden:
Die Kombination aus geringer Verzerrung und geringer Varianz zeigt ein ideales Modell für maschinelles Lernen. Dies ist jedoch praktisch nicht möglich.
Bei hoher Verzerrung und hoher Varianz sind die Vorhersagen im Durchschnitt inkonsistent und auch ungenau.
Wie erkennt man eine hohe Varianz oder einen hohen Bias?
Eine hohe Varianz kann identifiziert werden, wenn das Modell Folgendes aufweist:
- Geringer Trainingsfehler und hoher Testfehler.
Eine hohe Verzerrung kann erkannt werden, wenn das Modell Folgendes aufweist:
Applet
- Hoher Trainingsfehler und der Testfehler ähnelt fast dem Trainingsfehler.
Bias-Varianz-Kompromiss
Beim Erstellen des Modells für maschinelles Lernen ist es wirklich wichtig, auf Verzerrungen und Varianz zu achten, um eine Über- und Unteranpassung des Modells zu vermeiden. Wenn das Modell sehr einfach ist und weniger Parameter aufweist, weist es möglicherweise eine geringe Varianz und eine hohe Verzerrung auf. Wenn das Modell hingegen eine große Anzahl von Parametern aufweist, weist es eine hohe Varianz und eine geringe Verzerrung auf. Daher ist es erforderlich, ein Gleichgewicht zwischen Bias- und Varianzfehlern herzustellen, und dieses Gleichgewicht zwischen Bias- und Varianzfehlern wird als bezeichnet der Bias-Varianz-Kompromiss.
Für eine genaue Vorhersage des Modells benötigen Algorithmen eine geringe Varianz und einen geringen Bias. Dies ist jedoch nicht möglich, da Bias und Varianz miteinander zusammenhängen:
- Wenn wir die Varianz verringern, erhöht sich die Verzerrung.
- Wenn wir den Bias verringern, erhöht sich die Varianz.
Der Kompromiss zwischen Bias und Varianz ist ein zentrales Thema beim überwachten Lernen. Idealerweise benötigen wir ein Modell, das die Regelmäßigkeiten in Trainingsdaten genau erfasst und sich gleichzeitig gut mit dem unsichtbaren Datensatz verallgemeinern lässt. Leider ist dies nicht gleichzeitig möglich. Denn ein Algorithmus mit hoher Varianz kann mit Trainingsdaten gut funktionieren, kann aber zu einer Überanpassung an verrauschte Daten führen. Der High-Bias-Algorithmus hingegen generiert ein sehr einfaches Modell, das möglicherweise nicht einmal wichtige Regelmäßigkeiten in den Daten erfasst. Wir müssen also einen optimalen Kompromiss zwischen Bias und Varianz finden, um ein optimales Modell zu erstellen.
Daher die Beim Bias-Varianz-Kompromiss geht es darum, den Sweet Spot zu finden, um ein Gleichgewicht zwischen Bias- und Varianzfehlern herzustellen.