Maschinelles Lernen erfordert mehrere Schritte

Einführung

Die Bereitstellung von maschinellem Lernen (ML) ist ein mehrstufiger Prozess.Dazu gehört die Auswahl eines Modells, das Training für eine bestimmte Aufgabe, die Validierung mit Testdaten und die anschließende Bereitstellung und Überwachung des Modells in der Produktion.Hier werden wir diese Schritte besprechen und sie aufschlüsseln, um Ihnen ML vorzustellen.ML bezeichnet Systeme, die ohne explizite Anleitung lern- und verbesserungsfähig sind.Diese Systeme lernen aus Daten, um eine bestimmte Aufgabe oder Funktion auszuführen.In manchen Fällen Lernen.oder spezifischeres Training, erfolgt auf überwachte Weise, wobei falsche Ausgaben dazu führen, dass das Modell angepasst wird, um es in Richtung der korrekten Ausgabe zu verschieben.In anderen Fällen tritt unüberwachtes Lernen auf, bei dem das System die Daten organisiert, um zuvor unbekannte Muster aufzudecken.Die meisten ML-Modelle folgen diesen beiden Paradigmen (überwachtes vs. unüberwachtes Lernen).Lassen Sie uns nun untersuchen, was mit einem Modell gemeint ist, und dann untersuchen, wie Daten zum Treibstoff für maschinelles Lernen werden.Modell für maschinelles Lernen Ein Modell ist eine Abstraktion einer Lösung für maschinelles Lernen.Das Modell definiert die Architektur。 die, sobald sie trainiert ist, zu einer Implementierung wird.Daher setzen wir keine Modelle ein.Wir setzen Implementierungen von Modellen ein, die aus Daten trainiert wurden (mehr dazu im nächsten Abschnitt).Also sind Modelle plus Daten plus Training gleich Instanzen von ML-Lösungen (Abbildung 1).Übersetzung erforderlich.Um beispielsweise Textdaten in ein Deep-Learning-Netzwerk einzuspeisen, müssen Wörter in eine numerische Form kodiert werden, die üblicherweise ein hochdimensionaler Vektor ist, wenn verschiedene Wörter verwendet werden könnten.In ähnlicher Weise müssen Ausgaben möglicherweise von einer numerischen Form zurück in eine Textform übersetzt werden.ML-Modelle gibt es in vielen Arten, darunter neuronale Netzwerkmodelle, Bayes'sche Modelle, Regressionsmodelle, Clustering-Modelle und mehr.Das Modell, das Sie wählen, basiert auf dem vorliegenden Problem.Im Zusammenhang mit neuronalen Netzen reichen die Modelle von flachen mehrschichtigen Netzen bis zu tiefen neuronalen Netzen, die viele Schichten umfassen

von spezialisierten Neuronen (Verarbeitungseinheiten).Deep Neural Networks haben auch eine Reihe von Modellen zur Verfügung, die auf Ihrer Zielanwendung basieren.

Zum Beispiel:

●Wenn sich Ihre Anwendung auf die Identifizierung von Objekten in Bildern konzentriert, ist das Convolutional Neural Network (CNN) ein ideales Modell.CNNs wurden zur Erkennung von Hautkrebs eingesetzt und übertreffen den durchschnittlichen Dermatologen.

●Wenn Ihre Anwendung das Vorhersagen oder Generieren komplexer Sequenzen (z. B. Sätze in menschlicher Sprache) umfasst, sind Recurrent Neural Networks (RNN) oder Long-Short-Term-Memory Networks (LSTM) ideale Modelle.LSTMs wurden auch auf die maschinelle Übersetzung menschlicher Sprachen angewendet.

●Wenn Ihre Anwendung die Beschreibung des Inhalts eines Bildes in menschlicher Sprache beinhaltet, kann eine Kombination aus einem CNN und einem LSTM verwendet werden (wobei das Bild in das CNN eingespeist wird und die Ausgabe des CNN die Eingabe für das LSTM darstellt, das gibt die Wortfolgen aus).

●Wenn Ihre Anwendung das Generieren realistischer Bilder (wie Landschaften oder Gesichter) beinhaltet, dann repräsentiert ein Generative Adversarial Network (GAN) das aktuelle Modell auf dem neuesten Stand der Technik.Diese Modelle stellen einige der populäreren tiefen neuronalen Netzwerkarchitekturen dar, die heute verwendet werden.Deep Neural Networks sind beliebt, weil sie unstrukturierte Daten wie Bilder, Video- oder Audioinformationen akzeptieren können.Die Schichten innerhalb des Netzwerks bilden eine Hierarchie von Merkmalen, die es ihnen ermöglichen, sehr komplexe Informationen zu klassifizieren.Deep Neural Networks haben in einer Vielzahl von Problembereichen eine hochmoderne Leistung gezeigt.Aber wie bei anderen ML-Modellen hängt ihre Genauigkeit von Daten ab.Lassen Sie uns diesen Aspekt als nächstes untersuchen.

Daten und Ausbildung

Daten sind der Treibstoff, der maschinelles Lernen vorantreibt, nicht nur im Betrieb, sondern auch beim Aufbau einer ML-Lösung durch Modelltraining.Im Zusammenhang mit Trainingsdaten für tiefe neuronale Netze ist es wichtig, die erforderlichen Daten im Zusammenhang mit Quantität und Qualität zu untersuchen.Tiefe neuronale Netze benötigen große Datenmengen für das Training.Eine Faustregel für die bildbasierte Klassifizierung lautet 1.000 Bilder

pro Klasse.Die Antwort hängt jedoch von der Komplexität des Modells und der Fehlertoleranz ab.Einige Beispiele aus Produktions-ML-Lösungen ergeben ein Spektrum an Datensatzgrößen.Ein Gesichtserkennungs- und -erkennungssystem benötigte 450.000 Bilder, und ein Frage-und-Antwort-Chatbot wurde mit 200.000 Fragen gepaart mit 2 Millionen Antworten trainiert.Je nach zu lösendem Problem können auch kleinere Datensätze ausreichen.Eine Stimmungsanalyselösung, die die Meinungspolarität aus geschriebenem Text bestimmt, benötigte nur Zehntausende von Proben.Die Datenqualität ist genauso wichtig wie die Quantität.Angesichts der für das Training erforderlichen großen Datensätze können selbst kleine Mengen fehlerhafter Trainingsdaten zu einer schlechten Lösung führen.Abhängig von der Art der erforderlichen Daten durchlaufen Ihre Daten möglicherweise einen Bereinigungsprozess.Dadurch wird sichergestellt, dass der Datensatz konsistent ist, keine doppelten Daten enthält, genau und vollständig ist (keine ungültigen oder unvollständigen Daten).Es gibt Tools, die diesen Prozess unterstützen.Die Validierung von Daten auf Bias ist ebenfalls wichtig, um sicherzustellen, dass die Daten nicht zu einer voreingenommenen ML-Lösung führen.Das ML-Training basiert auf numerischen Daten, sodass je nach Ihrer Lösung ein Vorverarbeitungsschritt erforderlich sein kann.Wenn Ihre Daten beispielsweise in menschlicher Sprache vorliegen, müssen sie zur Verarbeitung zunächst in eine numerische Form übersetzt werden.Bilder können für Konsistenz vorverarbeitet werden.Beispielsweise würden Bilder, die in ein tiefes neuronales Netzwerk eingespeist werden, in der Größe geändert und geglättet, um Rauschen (neben anderen Operationen) zu entfernen.Eines der größten Probleme im ML-Bereich ist die Beschaffung eines Datensatzes zum Trainieren Ihrer ML-Lösung.Dies könnte je nach Ihrem Problem das größte Unterfangen sein, da es möglicherweise nicht vorhanden ist und einen separaten Aufwand erfordert

erfassen.Schließlich sollte der Datensatz zwischen Trainingsdaten und Testdaten segmentiert werden.Der Trainingsteil wird verwendet, um das Modell zu trainieren, und nach dem Training werden die Testdaten verwendet, um die Genauigkeit der Lösung zu validieren