GenAI und das Treffen der Geister

Bei einer kürzlich stattgefundenen Hitachi-Energy-Konferenz habe ich eine sehr interessante Präsentation von nVidia, einem Partner von Hitachi, gesehen. nVidia, ein fabless-Halbleiterunternehmen, dessen GPUs treibende Kräfte der GenAI-Revolution sind, wurde von dem Redner nicht als GPU-Unternehmen, sondern als „Simulationsunternehmen“ beschrieben. Der Redner erklärte, dass nVidia eine Reihe von Simulationstechnologien unterstützt, die von „physikbasiert“ bis „datenbasiert“ reichen.

Als jemand, der als Physiker ausgebildet wurde, hat es bei mir bei dieser Beschreibung gleich mehrere „Aha-Momente“ ausgelöst. Was der Redner natürlich meinte, war, dass Simulationen oder Videospiele entweder auf „Algorithmen“ basieren können – das heißt, auf einer Reihe von physischen oder un-physikalischen Gesetzen (zum Beispiel für Fantasywelten) – oder auf Extrapolationen, die auf Daten basieren.

Wenn wir als Entwickler Code schreiben, legen wir eine Reihe von „Gesetzen“ oder Regeln fest, denen ein Computer folgen soll. Erlerntes Verhalten hingegen abstrahiert eine Reihe von Mustern oder Wahrscheinlichkeiten aus den gesammelten Daten. Letzteres ist das Wesen von großen Sprachmodellen – sie werden nicht programmiert; vielmehr werden sie basierend auf einer Auswahl von natürlichen Sprachtexten, Fotografien, Musik oder anderen Informationsquellen trainiert.

Die Modelle „ziehen ihre eigenen Schlüsse“ im Lernprozess. (Oder, genauer gesagt, die Modelle sind die Artefakte, die das Lernen verkörpern, das stattfand, als ein Algorithmus die Trainingsdaten verarbeitete.)

Erneut hat mich das sehr eindrucksvoll an den menschlichen Lernprozess und an die Funktionsweise der Physik und Wissenschaft erinnert.

Es gibt eine berühmte Anekdote über den Physiker Galileo, der im 16. Jahrhundert geboren wurde und während eines Gottesdienstes in der Stadt Pisa in Italien (berühmt durch den Schiefen Turm) die Schwingung eines Kronleuchters beobachtete. Ein Luftzug versetzte die Kronleuchter ab und zu in Bewegung, wobei größere oder kleinere Schwingungen entstanden.

Galileo stellte fest, dass unabhängig davon, wie hoch der Kronleuchter durch den Wind angehoben wurde, die Zeit, die ein bestimmter Kronleuchter für eine Schwingung benötigte, immer gleich war. Mit anderen Worten, die Zeit, die der Kronleuchter für das Hin- und Herschwingen benötigte, hing nur von der Länge der Kette ab, die ihn hielt, nicht von der Höhe, aus der er losgelassen wurde.

Dies ist eine außergewöhnliche Beobachtung, und die Tatsache, dass dieses Phänomen in den ersten 300.000 Jahren der Menschheitsgeschichte anscheinend nicht bemerkt (oder zumindest aufgezeichnet und untersucht) wurde, zeigt, wie tiefgründig und neugierig Galileo war.

Es ist wichtig zu beachten, dass Galileo keine Uhr hatte, mit der er die Zeit aufzeichnen konnte – diese waren noch nicht erfunden worden und konnten auch nicht erfunden werden, bis dieser „Pendel-Effekt“ entdeckt worden war. Galileo maß diese anfänglichen Schwingungen mit seinem Puls – obwohl er später seine Beobachtungen vermutlich mit Wasseruhren oder Sanduhren, die zu seiner Zeit bekannt waren, verfeinerte.

Warum ist das interessant? Weil Galileo, wie andere Entdecker, Beobachtungen oder „Daten“ nutzte, um Muster zu erkennen. Aus den Daten konnte er eine Vorhersage treffen – nämlich, dass die Schwingungsdauer eines Pendels nur von der Länge des Pendels und nicht von der Höhe der Schwingung oder (wie später festgestellt wurde) vom Gewicht abhängt.

Warum ist das wichtig und wie hängt es mit GenAI zusammen? Es gibt zwei breite Zweige der Physik, die als „experimentell“ und „theoretisch“ bezeichnet werden. Das Ziel der experimentellen Physik ist es, Beobachtungen zu machen und zu bestimmen, was passiert. Das Ziel der theoretischen Physik ist es, zu erklären, warum etwas passiert – konkret, die zugrunde liegenden Prinzipien zu entdecken, die sich in den Beobachtungen manifestieren oder die vorhersagen, was beobachtet werden wird.

Interessant ist für mich im Zusammenhang mit GenAI, dass es ein Mittelfeld zwischen diesen beiden Bereichen der Physik gibt, das manchmal als Phänomenologie bezeichnet wird. Der Begriff Phänomenologie wird in verschiedenen Kontexten verwendet, aber als ich ein Doktorand in der Hochenergie-Teilchenphysik (theoretische Physik) war, wurde das Wort „Phänomenologie“ verwendet, um Vorhersagen zu beschreiben, für die wir noch keine Theorie hatten, um sie zu erklären.

Mit anderen Worten, wir wussten, dass etwas passiert oder passieren würde, aber wir hatten noch keine zufriedenstellende Erklärung für das „Warum“.

Galileo, in seinen Pendelbeobachtungen in der Kirche und später in seinem „Labor“, führte das durch, was wir heute als experimentelle Physik bezeichnen würden. Das heißt, er machte Beobachtungen darüber, was passierte, und beschrieb, was er sah.

In meinen begrenzten historischen Recherchen habe ich keinen Nachweis gefunden, dass er dies tat, aber wir können uns vorstellen, dass Galileo seine Beobachtungen einen Schritt weiter hätte gehen können und quantitative Vorhersagen über das Verhalten von Pendeln gemacht hätte. Das heißt, basierend auf seinen experimentellen Ergebnissen hätte er entdecken können, dass für kleine Schwingungen die Periode eines Pendels proportional zur Quadratwurzel der Pendellänge ist.

Selbst wenn er jedoch ein solches quantitativ genaues Vorhersagemodell erstellt hätte, verzeichnet die Geschichte nicht, dass Galileo jemals wirklich verstand, WARUM die von ihm entdeckte Pendelregel wahr war. Eine zufriedenstellende qualitative Erklärung musste etwa 100 Jahre warten, bis der niederländische Wissenschaftler Christiaan Huygens 1673 an der harmonischen Bewegung arbeitete. Eine vollständige quantitative Erklärung erforderte, dass Sir Isaac Newton zuerst den Kalkül erfand und seine drei Bewegungsgesetze festlegte. (Für die theoretische Grundlage der einfachen harmonischen Bewegung, wie sie ein Pendel darstellt, siehe hier zum Beispiel.)

Wie hängt diese Geschichte also mit GenAI zusammen?

Wir können uns leicht vorstellen, dass unsere aktuellen GenAI-Modelle wie Galileo handeln – beobachten, was passiert, Muster erkennen und basierend auf diesen Mustern Extrapolationen und Vorhersagen treffen. Wir können uns sogar vorstellen, dass sie die erforderlichen mathematischen Anpassungen und Berechnungen durchführen, um diese neuen Beobachtungen in mathematische Modelle zu überführen.

Es ist schwieriger, sich vorzustellen, dass ein aktuelles GenAI-Modell wie ein Huygens oder ein Newton agiert und von den ersten Prinzipien ableitet, WARUM etwas passiert, es sei denn, das Modell enthält diese Informationen bereits und ruft sie lediglich ab.

Ich glaube nicht, dass das Schließen aus den ersten Prinzipien für GenAI unmöglich ist, und es wird hart daran gearbeitet, dies zu ermöglichen. Ansätze wie „chain of thought“ und „train of thought“ kommen dem nahe. Aber „Theorie“ ist nicht die Stärke der heutigen GenAI-Technologie (Stand 2024). Aktuelle LLMs sind „Phänomenologen“, keine „Theoretiker“, was in keiner Weise ihre Bedeutung schmälern soll.

Warum kümmern wir uns um die Theorie? Wenn wir vorhersagen können, „was“ passieren wird, interessiert uns wirklich das „warum“?

Dies ist eine gute Frage, und es wird schnell metaphysisch, abhängig von der Natur des Bewusstseins. Darüber hinaus wird schnell philosophisch, was eine „zufriedenstellende Erklärung“ und „erste Prinzipien“ sind. Aber im praktischen Sinne können wir sehen, dass sowohl Theorie als auch Phänomenologie in verschiedenen Kontexten einen Wert haben.

Die Phänomenologie hat einen „praktischen“ Wert. Astronomen und früher auch Astrologen konnten die Phasen des Mondes und den Verlauf der Jahreszeiten lange vor dem Verständnis vorhersagen, dass die Erde die Sonne umkreist und der Mond die Erde umkreist. Diese rein phänomenologisch basierten Vorhersagen hatten einen tiefgreifenden Einfluss auf die Menschheitsgeschichte, einschließlich der Erfindung der Landwirtschaft, die wiederum zur Entstehung von Städten und Zivilisation führte.

Aber es liegt in der Natur des menschlichen Geistes, die Gründe hinter dem, was er beobachtet, zu erkennen. Menschen entwickelten Theorien – zunächst das, was wir heute religiös oder mythologisch nennen würden – um zu erklären, warum sich Sonne und Mond so verhalten, wie sie es tun. Dies geschah viele Jahrhunderte vor der Entdeckung des Kalküls und des Gravitationsgesetzes durch Newton, den immer präziser werdenden Beobachtungen durch Kepler und zuvor Galileo, und der Hypothese von Kopernikus, dass die Erde die Sonne umkreist. Es liegt in der Natur des Menschen, immer wieder „warum“ zu fragen, bis eine zufriedenstellende „Theorie“ präsentiert wird, um die Beobachtungen zu erklären.

Abgesehen davon, dass sie uns Menschen intellektuell befriedigt, hat die Theorie den Vorteil, dass sie uns durch die Reduktion des beobachteten Verhaltens auf grundlegende Prinzipien ermöglicht, Probleme zu lösen und Verbindungen zu erkennen, die nur durch Phänomenologie nicht offensichtlich wären.

Zum Beispiel erklärt die Theorie der einfachen harmonischen Bewegung, die in der Feynman-Vorlesung oben beschrieben wird, nicht nur die Bewegung von Pendeln (Galileos Beobachtungen), sondern auch die Schwingung von gezupften Saiten auf Musikinstrumenten und die Bewegung von Gewichten an Federn. Wenn wir dies leicht verallgemeinern, führt die erzwungene harmonische Bewegung (ein durch den Wind oder durch den Mechanismus einer Uhr angetriebenes Pendel) auch zu Einsichten im Bereich der „Resonanz“.

Dies wiederum hilft uns, verschiedene Phänomene wie die Struktur der Ringe des Saturn und das Verhalten physischer Strukturen wie Brücken unter dem Einfluss einer äußeren Kraft, wie dem Wind, zu verstehen.

Indem wir unser Verständnis von mehreren Beobachtungen vereinen, hilft uns eine Theorie, die zugrunde liegende Verbindung zwischen Phänomenen zu entdecken, die zunächst unterschiedlich erschienen. Dieser Prozess der Theoriebildung beschränkt sich nicht nur auf die Physik, sondern ist etwas, das wir alle im Alltag tun. Wir haben eine Theorie über die Beweggründe des Verhaltens unseres Ehepartners oder Freundes; als Säuglinge entwickeln wir die Theorie, dass ein Objekt weiter existiert, auch wenn wir es nicht sehen; als Schüler oder Ingenieure entwickeln wir eine Theorie darüber, was es braucht, um eine gute Note oder eine Beförderung zu bekommen.

Wir entwickeln auch „Theorien“ jeden Tag im Softwarebereich, wenn wir eine „Architektur“ oder einen Algorithmus entwickeln, der ein (hoffentlich) einfaches System erzeugt, das nicht nur ein, sondern mehrere Probleme löst.

Wir abstrahieren auch Gemeinsamkeiten zwischen verschiedenen Systemen – zum Beispiel Protokollierung, Beobachtbarkeit und Sicherheit – und strukturieren sie als „übergreifende Anliegen“, anstatt sie für jedes System neu zu erfinden. Im Allgemeinen synthetisieren Menschen ständig Beobachtungen und versuchen, die zugrunde liegende Ursache zu erkennen.

Das menschliche Gehirn funktioniert mit einer Kombination aus Beobachtung, phänomenologisch basierter Vorhersage und Abstraktion oder „Theorie“, um das, was es beobachtet und erwartet, zu verstehen. Derzeit (im Jahr 2024) ist GenAI in den ersten beiden Aspekten – Beobachtung und phänomenologisch basierte Vorhersage – am stärksten.

Um das „heilige“ (oder „unheilige“) Gral der allgemeinen künstlichen Intelligenz zu erreichen, müssen KI-basierte Systeme nicht nur vorhersagen, sondern auch in der Lage sein, Abstraktionen und „Theorien“ basierend auf ihren Beobachtungen und Vorhersagen zu bilden. Sie müssen ein „Galileo-Gehirn“ mit einem „Sir Isaac Newton-Gehirn“ kombinieren.

Ich erwarte, dass wir tatsächlich eine solche „Begegnung der Köpfe“ in der GenAI sehen werden, auch wenn wir heute noch nicht vollständig dort angekommen sind. Wir haben uns selbst als Beispiele, dass diese beiden Denkweisen in einem einzigen Wesen koexistieren können. Wir wissen auch aus erster Hand, wie mächtig eine Intelligenz ist, die nicht nur vorhersagt „was“, sondern auch versteht „warum“.