Yann LeCuns Imaginative and prescient zur Schaffung autonomer Maschinen

GettyImages 1284049480 e1656697107135

[ad_1]

Wir freuen uns, die Rework 2022 am 19. Juli und virtuell vom 20. bis 28. Juli wieder persönlich zu präsentieren. Nehmen Sie an aufschlussreichen Gesprächen und spannenden Networking-Möglichkeiten teil. Registrieren Sie sich heute!


Inmitten der hitzigen Debatte über KI-Sensibilität, bewusste Maschinen und künstliche allgemeine Intelligenz veröffentlichte Yann LeCun, leitender KI-Wissenschaftler bei Meta, einen Entwurf zur Schaffung „autonomer Maschinenintelligenz“.

LeCun hat seine Ideen in einem Papier zusammengestellt, das sich von Fortschritten in maschinellem Lernen, Robotik, Neurowissenschaften und Kognitionswissenschaften inspirieren lässt. Er legt einen Fahrplan für die Erstellung von KI vor, die die Welt modellieren und verstehen, schlussfolgern und planen kann, Aufgaben auf verschiedenen Zeitskalen zu erledigen.

Obwohl das Papier kein wissenschaftliches Dokument ist, bietet es einen sehr interessanten Rahmen, um über die verschiedenen Teile nachzudenken, die erforderlich sind, um tierische und menschliche Intelligenz zu replizieren. Es zeigt auch, wie sich die Denkweise von LeCun, einem preisgekrönten Pionier des Deep Studying, geändert hat und warum er der Meinung ist, dass aktuelle Ansätze für KI uns nicht zu KI auf menschlicher Ebene führen werden.

Ein modularer Aufbau

Eines der wichtigsten Elemente von LeCuns Imaginative and prescient ist eine modulare Struktur aus verschiedenen Komponenten, die von verschiedenen Teilen des Gehirns inspiriert sind. Dies ist ein Bruch mit dem beliebten Ansatz im Deep Studying, bei dem ein einzelnes Modell durchgehend trainiert wird.

Im Zentrum der Architektur steht ein Weltmodell, das die Zustände der Welt vorhersagt. Während die Modellierung der Welt in verschiedenen KI-Architekturen diskutiert und versucht wurde, sind sie aufgabenspezifisch und können nicht an verschiedene Aufgaben angepasst werden. LeCun schlägt vor, dass autonome Systeme wie Menschen und Tiere ein einziges flexibles Weltmodell haben müssen.

„Eine Hypothese in diesem Artikel ist, dass Tiere und Menschen nur eine Weltmodell-Engine irgendwo in ihrem präfrontalen Kortex haben“, schreibt LeCun. „Diese Weltmodell-Engine ist für die jeweilige Aufgabe dynamisch konfigurierbar. Mit einer einzigen, konfigurierbaren Weltmodell-Engine anstelle eines separaten Modells für jede Scenario kann das Wissen darüber, wie die Welt funktioniert, aufgabenübergreifend geteilt werden. Dies kann ein Analogieschluss ermöglichen, indem das für eine Scenario konfigurierte Modell auf eine andere Scenario angewendet wird.“

Zdc UaL3HPYLMJpZbX499d4BHOVyCMBrw5Wp3RUVrD3XOC8fCZ szzsiJC3T 3nKypXPRUOY6zioD1hg1tztkTXw0Xh7Y9nz4d8VWYzhBt3xoe1fLMNBgrIq8B32kiVjV8UNpg 2nYtp3IQ2CY?is pending load=1
LeCuns vorgeschlagene Architektur für autonome Maschinen

Das Weltmodell wird durch mehrere andere Module ergänzt, die dem Agenten helfen, die Welt zu verstehen und Maßnahmen zu ergreifen, die für seine Ziele related sind. Das Modul „Wahrnehmung“ übernimmt die Rolle der tierischen Sinnesorgane, sammelt Informationen aus der Welt und schätzt deren aktuellen Zustand mit Hilfe des Weltmodells ein. Das Weltmodell erfüllt dabei zwei wichtige Aufgaben: Erstens ergänzt es die fehlenden Informationen im Wahrnehmungsmodul (z. B. verdeckte Objekte), und zweitens sagt es die plausiblen zukünftigen Zustände der Welt voraus (z. B. wo werden die fliegender Ball im nächsten Zeitschritt).

Das „Kosten“-Modul bewertet das „Unbehagen“ des Agenten, gemessen in Energie. Der Agent muss Maßnahmen ergreifen, die sein Unbehagen verringern. Einige der Kosten sind fest verdrahtet oder „intrinsische Kosten“. Bei Menschen und Tieren wären diese Kosten beispielsweise Starvation, Durst, Schmerz und Angst. Ein weiteres Untermodul ist der „trainierbare Kritiker“, dessen Ziel es ist, die Kosten für das Erreichen eines bestimmten Ziels zu reduzieren, z. B. das Navigieren zu einem Ort, das Erstellen eines Instruments usw.

Das Modul „Kurzzeitgedächtnis“ speichert relevante Informationen über die Zustände der Welt im Laufe der Zeit und den entsprechenden Wert der intrinsischen Kosten. Das Kurzzeitgedächtnis spielt eine wichtige Rolle, um dem Weltmodell zu helfen, richtig zu funktionieren und genaue Vorhersagen zu treffen.

Das „Actor“-Modul setzt Vorhersagen in konkrete Aktionen um. Es erhält seinen Enter von allen anderen Modulen und steuert das Verhalten des Agenten nach außen.

Schließlich kümmert sich ein „Konfigurator“-Modul um die exekutive Kontrolle und passt alle anderen Module, einschließlich des Weltmodells, an die spezifische Aufgabe an, die es ausführen möchte. Dies ist das Schlüsselmodul, das sicherstellt, dass eine einzige Architektur viele verschiedene Aufgaben bewältigen kann. Es passt das Wahrnehmungsmodell, das Weltmodell, die Kostenfunktion und die Aktionen des Agenten basierend auf dem Ziel an, das er erreichen möchte. Wenn Sie zum Beispiel nach einem Werkzeug suchen, um einen Nagel einzutreiben, sollte Ihr Wahrnehmungsmodul so konfiguriert sein, dass es nach schweren und soliden Gegenständen sucht, Ihr Akteursmodul muss Aktionen planen, um den provisorischen Hammer aufzuheben und ihn zum Eintreiben zu verwenden der Nagel, und Ihr Kostenmodul muss berechnen können, ob das Objekt handlich und nah genug ist, oder Sie sollten nach etwas anderem suchen, das in Reichweite ist.

Interessanterweise berücksichtigt LeCun in seiner vorgeschlagenen Architektur zwei Betriebsmodi, inspiriert von Daniel Kahnemans Dichotomie „Considering Quick and Gradual“. Der autonome Agent sollte ein „Modus 1“-Betriebsmodell haben, ein schnelles und reflexives Verhalten, das Wahrnehmungen direkt mit Handlungen verknüpft, und ein „Modus 2“-Betriebsmodell, das langsamer und komplizierter ist und das Weltmodell und andere Module zur Vernunft verwendet und planen.

Selbstüberwachtes Lernen

Während die von LeCun vorgeschlagene Architektur interessant ist, bringt ihre Implementierung mehrere große Herausforderungen mit sich. Dazu gehört die Schulung aller Module zur Erfüllung ihrer Aufgaben. In seiner Arbeit verwendet LeCun ausgiebig die Begriffe „differenzierbar“, „gradientenbasiert“ und „Optimierung“, die alle darauf hindeuten, dass er glaubt, dass die Architektur auf einer Reihe von Deep-Studying-Modellen statt auf symbolischen Systemen basieren wird in die Wissen vorab von Menschen eingebettet wurde.

LeCun ist ein Befürworter des selbstüberwachten Lernens, ein Konzept, über das er seit mehreren Jahren spricht. Einer der Hauptengpässe vieler Deep-Studying-Anwendungen ist ihr Bedarf an von Menschen kommentierten Beispielen, weshalb sie als „supervised studying“-Modelle bezeichnet werden. Die Datenkennzeichnung lässt sich nicht skalieren und ist langsam und teuer.

Auf der anderen Seite lernen unüberwachte und selbstüberwachte Lernmodelle, indem sie Daten beobachten und analysieren, ohne dass Etiketten erforderlich sind. Durch Selbstkontrolle erwerben Menschenkinder ein gesundes Menschenverstandswissen über die Welt, einschließlich Schwerkraft, Dimensionalität und Tiefe, Objektpersistenz und sogar Dinge wie soziale Beziehungen. Autonome Systeme sollten auch selbstständig lernen können.

In den letzten Jahren wurden einige große Fortschritte beim unüberwachten Lernen und beim selbstüberwachten Lernen erzielt, hauptsächlich bei Transformer-Modellen, der Deep-Studying-Architektur, die in großen Sprachmodellen verwendet wird. Transformer lernen die statistischen Beziehungen von Wörtern, indem sie Teile eines bekannten Textes maskieren und versuchen, den fehlenden Teil vorherzusagen.

Eine der beliebtesten Formen des selbstüberwachten Lernens ist das „kontrastive Lernen“, bei dem einem Modell beigebracht wird, die latenten Merkmale von Bildern durch Maskierung, Augmentation und Exposition gegenüber verschiedenen Posen desselben Objekts zu lernen.

LeCun schlägt jedoch eine andere Artwork des selbstüberwachten Lernens vor, die er als „energiebasierte Modelle“ bezeichnet. EBMs versuchen, hochdimensionale Daten wie Bilder in niedrigdimensionale Einbettungsräume zu codieren, die nur die relevanten Merkmale bewahren. Auf diese Weise können sie berechnen, ob zwei Beobachtungen miteinander zusammenhängen oder nicht.

In seinem Beitrag schlägt LeCun die „Joint Embedding Predictive Structure“ (JEPA) vor, ein Modell, das EBM nutzt, um Abhängigkeiten zwischen verschiedenen Beobachtungen zu erfassen.

Diagrammbeschreibung automatisch generiert
Joint Embedding Predictive Structure (JEPA)

„Ein wesentlicher Vorteil von JEPA ist das es kann sich dafür entscheiden, die Particulars zu ignorieren, die nicht leicht vorhersagbar sind“, schreibt LeCun. Im Grunde bedeutet dies, dass JEPA nicht versucht, den Zustand der Welt auf Pixelebene vorherzusagen, sondern die latenten, niedrigdimensionalen Merkmale vorhersagt, die für die anstehende Aufgabe related sind.

In dem Papier diskutiert LeCun weiter hierarchisches JEPA (H-JEPA), einen Plan, JEPA-Modelle übereinander zu stapeln, um Argumentation und Planung auf unterschiedlichen Zeitskalen zu handhaben.

„Die Fähigkeit von JEPA, Abstraktionen zu lernen, legt eine Erweiterung der Architektur nahe, um Vorhersagen auf mehreren Zeitskalen und mehreren Abstraktionsebenen zu handhaben“, schreibt LeCun. „Intuitiv enthalten Darstellungen auf niedriger Ebene viele Particulars über die Eingabe und können für kurzfristige Vorhersagen verwendet werden. Es kann jedoch schwierig sein, genaue langfristige Vorhersagen mit demselben Detaillierungsgrad zu erstellen. Umgekehrt kann eine abstrakte Darstellung auf hoher Ebene langfristige Vorhersagen ermöglichen, aber auf Kosten vieler Particulars.“

Diagramm, Zeitleiste Beschreibung automatisch generiert
Hierarchische Joint Embedding Predictive Structure (H-JEPA)

Der Weg zu autonomen Agenten

In seiner Arbeit gibt LeCun zu, dass viele Dinge unbeantwortet bleiben, einschließlich der Konfiguration der Modelle, um die optimalen latenten Merkmale und eine genaue Architektur und Funktion für das Kurzzeitgedächtnismodul und seine Überzeugungen über die Welt zu lernen. LeCun sagt auch, dass das Konfiguratormodul immer noch ein Mysterium bleibt und mehr Arbeit geleistet werden muss, damit es richtig funktioniert.

LeCun stellt jedoch klar, dass aktuelle Vorschläge zum Erreichen einer KI auf menschlicher Ebene nicht funktionieren werden. Ein Argument, das in den letzten Monaten viel an Bedeutung gewonnen hat, ist zum Beispiel „Es dreht sich alles um Größe“. Einige Wissenschaftler schlagen vor, dass wir durch die Skalierung von Transformatormodellen mit mehr Schichten und Parametern und deren Coaching mit größeren Datensätzen schließlich zu künstlicher allgemeiner Intelligenz gelangen werden.

LeCun widerlegt diese Theorie und argumentiert, dass LLMs und Transformatoren funktionieren, solange sie auf diskrete Werte trainiert werden.

„Dieser Ansatz funktioniert nicht für hochdimensionale kontinuierliche Modalitäten wie Video. Um solche Daten darzustellen, ist es notwendig, irrelevante Informationen über die zu modellierende Variable durch einen Encoder wie im JEPA zu eliminieren“, schreibt er.

Eine andere Theorie lautet „Belohnung ist genug“, vorgeschlagen von Wissenschaftlern bei DeepMind. Nach dieser Theorie sind die richtige Belohnungsfunktion und der richtige Reinforcement-Studying-Algorithmus alles, was Sie brauchen, um künstliche allgemeine Intelligenz zu schaffen.

Aber LeCun argumentiert, dass RL zwar erfordert, dass der Agent ständig mit seiner Umgebung interagiert, ein Großteil des Lernens, das Menschen und Tiere tun, jedoch durch reine Wahrnehmung erfolgt.

LeCun widerlegt auch den hybriden „neuro-symbolischen“ Ansatz, indem er sagt, dass das Modell wahrscheinlich keine expliziten Mechanismen zur Symbolmanipulation benötigt, und beschreibt Argumentation als „Energieminimierung oder Befriedigung von Einschränkungen durch den Akteur, der verschiedene Suchmethoden verwendet, um eine geeignete Kombination von zu finden Aktionen und latente Variablen.“

Es muss noch viel mehr passieren, bevor LeCuns Blaupause Wirklichkeit wird. „Es ist im Grunde das, woran ich zu arbeiten gedenke und wovon ich hoffe, andere dazu inspirieren zu können, in den nächsten zehn Jahren zu arbeiten“, schrieb er auf Fb, nachdem er das Papier veröffentlicht hatte.

Die Mission von VentureBeat soll ein digitaler Marktplatz für technische Entscheidungsträger sein, um sich Wissen über transformative Unternehmenstechnologie anzueignen und Transaktionen durchzuführen. Erfahre mehr über die Mitgliedschaft.

[ad_2]

admin

Leave a Reply

Your email address will not be published.