Grundkurs Machine Learning - Aus der Buchreihe »Informatik verstehen«. Ideal zum Selbststudium

Maschinelles Lernen - alle Grundlagen! Paul Wilmott ist für seine erhellende und unterhaltsame Darstellung angewandter Mathematik bekannt. Von der linearen Regression bis zu Neuronalen Netzwerken führt er Sie durch alle Verfahren, und zwar komplett Software-unabhängig. Der Vorteil dabei: Jeder Schritt ist schwarz auf weiß zu sehen, kein Framework kann etwas "verstecken", es geht immer um die Sache selbst. Mit vielen Beispielen, Grafiken und Schritt-für-Schritt-Kästen. Für alle, die wirklich verstehen wollen, wie Maschinen lernen.

Aus dem Inhalt:

• Lineare Regression


• k-Nearest Neighbors


• Naive Bayes-Klassifikatoren


• k-Means-Algorithmus


• Support Vector Machines


• Logistische Regression


• Selbstorganisierende Karten


• Entscheidungsbäume


• Reinforcement Learning


• Neuronale Netze

  Vorwort ... 13




  1.  Einführung ... 17



       1.1 ... Maschinelles Lernen ... 18


       1.2 ... Lernen ist der Schlüssel ... 19


       1.3 ... Ein wenig Geschichte ... 20


       1.4 ... Schlüsselmethodiken in diesem Buch ... 22


       1.5 ... Klassische mathematische Modellierung ... 26


       1.6 ... Maschinelles Lernen ist anders ... 28


       1.7 ... Einfachheit führt zu Komplexität ... 29


       1.8 ... Weiterführende Literatur ... 33





  2.  Allgemeines ... 35



       2.1 ... Jargon und Notation ... 35


       2.2 ... Skalierung ... 37


       2.3 ... Distanzmessung ... 38


       2.4 ... Fluch der Dimensionalität ... 39


       2.5 ... Hauptkomponentenanalyse ... 39


       2.6 ... Maximum-Likelihood-Schätzung ... 40


       2.7 ... Konfusionsmatrix ... 44


       2.8 ... Kostenfunktion ... 47


       2.9 ... Gradientenabstieg ... 52


       2.10 ... Training, Testen und Validieren ... 54


       2.11 ... Bias und Varianz ... 57


       2.12 ... Lagrange-Multiplikatoren ... 63


       2.13 ... Mehrfachklassen ... 65


       2.14 ... Informationstheorie und Entropie ... 67


       2.15 ... Verarbeitung natürlicher Sprache (NLP) ... 70


       2.16 ... Bayes-Theorem ... 72


       2.17 ... Was nun? ... 73


       2.18 ... Weiterführende Literatur ... 74





  3.  K-nächste Nachbarn ... 75



       3.1 ... Wofür können wir die Methode verwenden? ... 75


       3.2 ... Wie die Methode funktioniert ... 76


       3.3 ... Der Algorithmus ... 78


       3.4 ... Probleme mit KNN ... 78


       3.5 ... Beispiel: Körpergröße und -gewicht ... 79


       3.6 ... Regression ... 83


       3.7 ... Weiterführende Literatur ... 85





  4.  K-Means Clustering ... 87



       4.1 ... Wofür können wir die Methode verwenden? ... 87


       4.2 ... Was macht K-Means Clustering? ... 89


       4.3 ... Scree-Plots ... 93


       4.4 ... Beispiel: Kriminalität in England, 13 Dimensionen ... 94


       4.5 ... Beispiel: Volatiliät ... 98


       4.6 ... Beispiel: Zinssatz und Inflation ... 100


       4.7 ... Beispiel: Zinssätze, Inflation und BIP-Wachstum ... 103


       4.8 ... Ein paar Kommentare ... 104


       4.9 ... Weiterführende Literatur ... 105





  5.  Naiver Bayes-Klassifikator ... 107



       5.1 ... Wofür können wir ihn verwenden? ... 107


       5.2 ... Verwendung des Bayes-Theorems ... 108


       5.3 ... Anwendung des NBK ... 108


       5.4 ... In Symbolen ... 110


       5.5 ... Beispiel: Politische Reden ... 111


       5.6 ... Weiterführende Literatur ... 114





  6.  Regressionsmethoden ... 115



       6.1 ... Wofür können wir sie verwenden? ... 115


       6.2 ... Mehrdimensionale lineare Regression ... 116


       6.3 ... Logistische Regression ... 117


       6.4 ... Beispiel: Noch einmal politische Reden ... 119


       6.5 ... Weitere Regressionsmethoden ... 121


       6.6 ... Weiterführende Literatur ... 122





  7.  Support-Vektor-Maschinen ... 123



       7.1 ... Wofür können wir sie verwenden? ... 123


       7.2 ... Harte Ränder ... 123


       7.3 ... Beispiel: Iris (Schwertlilie) ... 126


       7.4 ... Lagrange-Multiplier-Version ... 128


       7.5 ... Weiche Ränder ... 130


       7.6 ... Kernel-Trick ... 132


       7.7 ... Weiterführende Literatur ... 136





  8.  Selbstorganisierende Karten ... 137



       8.1 ... Wofür können wir sie verwenden? ... 137


       8.2 ... Die Methode ... 138


       8.3 ... Der Lernalgorithmus ... 140


       8.4 ... Beispiel: Gruppierung von Aktien ... 142


       8.5 ... Beispiel: Abstimmungen im Unterhaus ... 147


       8.6 ... Weiterführende Literatur ... 149





  9.  Entscheidungsbäume ... 151



       9.1 ... Wofür können wir sie verwenden? ... 151


       9.2 ... Beispiel: Zeitschriftenabo ... 153


       9.3 ... Entropie ... 158


       9.4 ... Überanpassung und Abbruchregeln ... 161


       9.5 ... Zuschneiden ... 162


       9.6 ... Numerische Merkmale/Attribute ... 162


       9.7 ... Regression ... 164


       9.8 ... Ausblick ... 171


       9.9 ... Bagging und Random Forest ... 171


       9.10 ... Weiterführende Literatur ... 172





10.  Neuronale Netze ... 173



       10.1 ... Wofür können wir sie verwenden? ... 173


       10.2 ... Ein sehr einfaches Netzwerk ... 173


       10.3 ... Universelles Approximations-Theorem ... 174


       10.4 ... Ein noch einfacheres Netzwerk ... 176


       10.5 ... Die mathematische Manipulation im Detail ... 177


       10.6 ... Häufige Aktivierungsfunktionen ... 181


       10.7 ... Das Ziel ... 182


       10.8 ... Beispiel: Approximation einer Funktion ... 183


       10.9 ... Kostenfunktion ... 184


       10.10 ... Backpropagation ... 185


       10.11 ... Beispiel: Buchstabenerkennung ... 188


       10.12 ... Training und Testen ... 190


       10.13 ... Mehr Architekturen ... 194


       10.14 ... Deep Learning ... 196


       10.15 ... Weiterführende Literatur ... 197





11.  Verstärkendes Lernen ... 199



       11.1 ... Wofür können wir es verwenden? ... 199


       11.2 ... Geländeausfahrt mit Ihrem Lamborghini 400 GT ... 200


       11.3 ... Jargon ... 202


       11.4 ... Ein erster Blick auf Blackjack ... 203


       11.5 ... Der klassische Markow-Entscheidungsprozess für Tic-Tac-Toe ... 204


       11.6 ... Noch mehr Jargon ... 206


       11.7 ... Beispiel: Der mehrarmige Bandit ... 207


       11.8 ... Etwas anspruchsvoller 1: Bekannte Umgebung ... 211


       11.9 ... Beispiel: Ein Labyrinth ... 214


       11.10 ... Notation zu Wertefunktionen ... 218


       11.11 ... Die Bellman-Gleichung ... 220


       11.12 ... Optimale Policy ... 221


       11.13 ... Die Bedeutung der Wahrscheinlichkeit ... 222


       11.14 ... Etwas anspruchsvoller 2: Modell-frei ... 223


       11.15 ... Monte Carlo Policy Evaluation ... 224


       11.16 ... Temporal-Difference-Lernen ... 227


       11.17 ... Vor- und Nachteile: MC versus TD ... 228


       11.18 ... Finden der optimalen Policy ... 229


       11.19 ... Sarsa ... 230


       11.20 ... Q-Lernen ... 232


       11.21 ... Beispiel: Blackjack ... 233


       11.22 ... Große Zustandsräume ... 245


       11.23 ... Weiterführende Literatur ... 245





  Datensätze ... 247




  Epilog ... 251




  Index ... 253