Karpathys char-rnn-Aufsatz verwandelte RNN-Theorie in Demos, die jeder trainieren konnte

Im Jahr 2015 besagte die gängige Lehrmeinung, rekurrente neuronale Netze seien schwer zu trainieren, und die Arbeiten, die sie verwendeten, waren schwer verdaulich, mit Gleichungen und Benchmark-Tabellen, die dem Leser kaum einen Eindruck davon vermittelten, was das Netz tatsächlich gelernt hatte. Andrej Karpathy hatte in seiner eigenen Arbeit zur Bildbeschriftung das Gegenteil festgestellt, wo ein kleines, willkürlich konfiguriertes Modell innerhalb von Minuten überraschend gute Bildunterschriften erzeugte, und er machte sich daran zu zeigen, warum diese Modelle Aufmerksamkeit verdienten.

Sein Aufsatz lehrte das RNN als eine zustandsbehaftete Schrittfunktion und baute darauf mit einem zeichenbasierten Sprachmodell auf, das das nächste Zeichen eines Textes vorhersagt. Der Artikel enthielt eine minimale 100-Zeilen-Implementierung in numpy und eine MIT-lizenzierte Torch/Lua-Codebasis, char-rnn, sodass der Leser jedes Experiment reproduzieren konnte, indem er eine große Textdatei einspeiste.

Die Demonstrationen machten das Lernen nachvollziehbar. Das Sampling nach dem Training zeigte Shakespeare-Dialoge, Wikipedia-Markdown mit korrekt verschachteltem XML und Klammern, LaTeX, das fast zu einer fiktiven algebraischen Geometrie kompilierte, und Linux-Kernel-C-Code mit ausbalancierten geschweiften Klammern und plausiblen Kommentaren. Ein Krieg-und-Frieden-Modell verbesserte sich von zufälligen Wirrwarr bei Iteration 100 zu korrekt buchstabierten Sätzen bei Iteration 2000, und Neuron-Visualisierungen fanden Zellen, die gelernt hatten zu verfolgen, ob sich der Text innerhalb einer URL, eines Zitats oder eines Wiki-Links befand, statt Zeichenketten auswendig zu lernen.

Die an den Beitrag angehängte Änderungsliste dokumentiert die Resonanz: Reddit-Diskussionen, einen Vortrag beim London Deep Learning Meetup, einen Vergleich mit n-gram-Baselines von Yoav Goldberg und Nachbildungen aus der Community, die char-rnn auf Kochrezepten, Eminem-Texten, Obama-Reden, irischer Volksmusik, Musik in ABC-Notation und der Bibel trainierten. Der Aufsatz tauchte am 3. Februar 2019 erneut auf Hacker News auf und erzielte 161 Punkte und 51 Kommentare.

Lernen im Vollzug zeigen: ein Zeichenmodell pro Korpus, mit Code und Neuron-Karten

Eine 100-Zeilen-numpy-Implementierung plus ein veröffentlichtes Repository machten die Behauptung falsifizierbar: Jeder Leser konnte dieselben Modelle trainieren, statt den Screenshots des Autors zu vertrauen.

Vertraute Korpora übernahmen die Erklärung kostenlos – Shakespeare, Wikipedia, LaTeX und Linux-Quellcode –, weil Leser beurteilen konnten, ob die gesampelte Ausgabe richtig aussah, ohne jegliche ML-Kenntnisse zu benötigen.

Das Zeigen von Samples bei den Iterationen 100, 300, 700 und 2000 ersetzte die abstrakte Aussage, dass Netze lernen, durch den sichtbaren Prozess der entstehenden Struktur, von der Abstandsetzung über die Rechtschreibung bis zur Grammatik.

Neuron-Feuerungskarten beantworteten die Skepsis gegenüber Black Boxes, indem sie Zellen zeigten, die allein aus Rohzeichen das Erkennen von Zitaten, das Verfolgen von URLs und das Zählen von Klammern gelernt hatten.

Die MIT-Lizenzierung ließ abgeleitete Projekte die Technik in Rezepte, Musik und politische Reden verbreiten, und so säte ein einzelner Blogbeitrag ein sichtbares Ökosystem.

Wenn einer Technik misstraut wird, weil ihr Innenleben unsichtbar ist, liefere die kleinste funktionierende Version aus und zeige das Lernen im Vollzug; Belege, die Leser erneut ausführen können, schlagen Behauptungen, es sei zu schwer.

Die an den Beitrag angehängte Änderungsliste verzeichnet unmittelbare Folgeentwicklungen: Diskussionen auf r/machinelearning und r/programming, einen Vortrag beim London Deep Learning Meetup, Yoav Goldbergs Vergleich mit n-gram-Baselines und Community-Modelle, die auf Kochrezepten, Eminem-Texten, Obama-Reden, irischer Volksmusik und der Bibel trainiert wurden, sowie einen Terminal.com-Snapshot mit vorinstalliertem char-rnn. Der Aufsatz tauchte am 3. Februar 2019 erneut auf Hacker News auf und erzielte 161 Punkte und 51 Kommentare, Jahre nachdem die zugrunde liegende LSTM-Arbeit, die er populär machte, veröffentlicht worden war.