Reservoirberechnung - Reservoir computing

Reservoir Computing ist ein Rechenwerk, das aus der Theorie rekurrenter neuronaler Netze abgeleitet ist und Eingangssignale durch die Dynamik eines festen, nichtlinearen Systems, das Reservoir genannt wird, in höherdimensionale Rechenräume abbildet. Nachdem das Eingangssignal in das Reservoir eingespeist wurde, das als "Black Box" behandelt wird, wird ein einfacher Auslesemechanismus trainiert, um den Zustand des Reservoirs zu lesen und ihn auf die gewünschte Ausgabe abzubilden. Der erste wesentliche Vorteil dieses Frameworks besteht darin, dass das Training nur in der Auslesephase durchgeführt wird, da die Reservoirdynamik festgelegt ist. Die zweite ist, dass die Rechenleistung natürlich verfügbarer Systeme, sowohl klassischer als auch quantenmechanischer, genutzt werden kann, um die effektiven Rechenkosten zu reduzieren.

Geschichte

Das Konzept des Reservoir Computing stammt aus der Verwendung rekursiver Verbindungen innerhalb neuronaler Netze , um ein komplexes dynamisches System zu erstellen. Es ist eine Verallgemeinerung früherer neuronaler Netzwerkarchitekturen wie rekurrente neuronale Netzwerke, Liquid-State-Machines und Echo-State-Netzwerke . Reservoir Computing erstreckt sich auch auf physikalische Systeme, die keine Netzwerke im klassischen Sinne sind, sondern kontinuierliche Systeme in Raum und/oder Zeit: z Oberfläche. Die resultierende Komplexität solcher rekurrenten neuronalen Netze erwies sich als nützlich bei der Lösung einer Vielzahl von Problemen, einschließlich Sprachverarbeitung und dynamischer Systemmodellierung. Das Training rekurrenter neuronaler Netze ist jedoch anspruchsvoll und rechenintensiv. Reservoir Computing reduziert diese trainingsbezogenen Herausforderungen, indem es die Dynamik des Reservoirs fixiert und nur die lineare Ausgabeschicht trainiert.

Als Reservoir für Berechnungen kann eine Vielzahl nichtlinearer dynamischer Systeme dienen. In den letzten Jahren haben Halbleiterlaser erhebliches Interesse auf sich gezogen, da die Berechnung im Vergleich zu elektrischen Komponenten schnell und energieeffizient sein kann.

Jüngste Fortschritte sowohl in der KI als auch in der Quanteninformationstheorie haben das Konzept der Quantenneuralen Netze hervorgebracht . Diese sind vielversprechend in der Quanteninformationsverarbeitung, die klassische Netzwerke herausfordert, aber auch bei der Lösung klassischer Probleme Anwendung finden können. 2018 wurde eine physikalische Realisierung einer Quantenreservoir-Computing-Architektur in Form von Kernspins in einem molekularen Festkörper demonstriert. Die Kernspin-Experimente demonstrierten jedoch kein Quantenreservoir-Computing an sich, da sie keine Verarbeitung sequentieller Daten beinhalteten. Vielmehr handelte es sich bei den Daten um Vektoreingaben, was dies genauer zu einer Demonstration der Quantenimplementierung eines zufälligen Küchenspülenalgorithmus macht ( in einigen Communities auch als extreme Lernmaschinen bezeichnet ). Im Jahr 2019 wurde eine weitere mögliche Implementierung von Quantenreservoirprozessoren in Form von zweidimensionalen fermionischen Gittern vorgeschlagen. Im Jahr 2020 wurde die Realisierung von Reservoir Computing auf Gate-basierten Quantencomputern vorgeschlagen und auf Cloud-basierten supraleitenden IBM-Supraleitungs-Quantencomputern demonstriert.

Reservoir Computer wurden verwendet , Zeitreihenanalysezwecke. Einige ihrer Verwendungen beinhalten insbesondere die Vorhersage chaotischer Zeitreihen , die Trennung chaotischer Signale und die Verknüpfungsinferenz von Netzwerken aus ihrer Dynamik.

Klassisches Reservoir Computing

Reservoir

Das „Reservoir“ im Reservoir Computing ist die interne Struktur des Computers und muss zwei Eigenschaften haben: Es muss aus einzelnen, nichtlinearen Einheiten bestehen und Informationen speichern können. Die Nichtlinearität beschreibt die Reaktion jeder Einheit auf Eingaben, was es Lagerstättencomputern ermöglicht, komplexe Probleme zu lösen. Reservoirs können Informationen speichern, indem sie die Einheiten in wiederkehrenden Schleifen verbinden, wobei die vorherige Eingabe die nächste Reaktion beeinflusst. Durch die veränderte Reaktion aufgrund der Vergangenheit können die Computer auf bestimmte Aufgaben trainiert werden.

Reservoirs können virtuell oder physisch sein. Virtuelle Reservoirs werden typischerweise zufällig generiert und sind wie neuronale Netze aufgebaut. Virtuelle Reservoirs können mit Nichtlinearität und wiederkehrenden Schleifen entworfen werden, aber im Gegensatz zu neuronalen Netzwerken sind die Verbindungen zwischen den Einheiten zufällig und bleiben während der Berechnung unverändert. Physische Reservoirs sind aufgrund der inhärenten Nichtlinearität bestimmter natürlicher Systeme möglich. Die Interaktion zwischen Wellen auf der Wasseroberfläche enthält die nichtlineare Dynamik, die bei der Reservoirbildung erforderlich ist, und eine Mustererkennungs-RC wurde entwickelt, indem zuerst Wellen mit Elektromotoren eingegeben und dann die Wellen beim Auslesen aufgezeichnet und analysiert werden.

Vorlesen

Die Auslesung ist eine neuronale Netzwerkschicht, die eine lineare Transformation an der Ausgabe des Reservoirs durchführt. Die Gewichte der Ausleseschicht werden trainiert durch Analysieren der raumzeitlichen Muster des Reservoirs nach Anregung durch bekannte Eingaben und durch Verwenden eines Trainingsverfahrens wie einer linearen Regression oder einer Ridge-Regression . Da die Implementierung von raumzeitlichen Lagerstättenmustern abhängt, sind die Details der Auslesemethoden auf jeden Lagerstättentyp zugeschnitten. Zum Beispiel kann das Auslesen für einen Reservoircomputer, der einen Flüssigkeitsbehälter als Reservoir verwendet, das Beobachten von räumlich-zeitlichen Mustern auf der Oberfläche der Flüssigkeit beinhalten.

Typen

Kontext-Nachhallnetzwerk

Ein frühes Beispiel für Reservoir Computing war das Context Reverberation Network. Bei dieser Architektur speist eine Eingabeschicht in ein hochdimensionales dynamisches System ein, das von einem trainierbaren einschichtigen Perzeptron ausgelesen wird . Zwei Arten dynamischer Systeme wurden beschrieben: ein rekurrentes neuronales Netzwerk mit festen Zufallsgewichten und ein kontinuierliches Reaktions-Diffusions-System, inspiriert von Alan Turings Modell der Morphogenese . Auf der trainierbaren Schicht ordnet das Perzeptron die aktuellen Eingaben den Signalen zu, die im dynamischen System nachhallen ; letztere sollen einen dynamischen "Kontext" für die Eingaben bereitstellen. In der Sprache späterer Arbeiten diente das Reaktions-Diffusions-System als Reservoir.

Echozustandsnetzwerk

Hauptartikel: Echo State Network

Das Tree Echo State Network (TreeESN)-Modell stellt eine Verallgemeinerung des Reservoir-Computing-Frameworks auf baumstrukturierte Daten dar.

Flüssigkeitszustandsmaschine

Hauptartikel: Liquid-State-Maschine

Nichtlineare transiente Berechnung

Diese Art der Informationsverarbeitung ist am relevantesten, wenn zeitabhängige Eingangssignale von der internen Dynamik des Mechanismus abweichen. Diese Abweichungen verursachen Transienten oder vorübergehende Auseinandersetzungen, die in der Ausgabe des Geräts dargestellt werden.

Deep-Reservoir-Computing

Die Erweiterung des Reservoir-Computing-Frameworks in Richtung Deep Learning mit der Einführung von Deep Reservoir Computing und des Deep Echo State Network (DeepESN)-Modells ermöglicht es, effizient trainierte Modelle für die hierarchische Verarbeitung von Zeitdaten zu entwickeln und gleichzeitig die Untersuchung auf die inhärente Rolle der geschichteten Zusammensetzung in rekurrenten neuronalen Netzen .

Quantenreservoir-Computing

Die Berechnung von Quantenlagerstätten kann die nichtlineare Natur quantenmechanischer Wechselwirkungen oder Prozesse nutzen, um die charakteristischen nichtlinearen Lagerstätten zu bilden, kann aber auch mit linearen Lagerstätten durchgeführt werden, wenn die Injektion der Eingabe in die Lagerstätte die Nichtlinearität erzeugt. Die Verbindung von maschinellem Lernen und Quantengeräten führt zur Entstehung des Quanten-Neuromorphic-Computing als neues Forschungsgebiet.

Typen

Gaußsche Zustände wechselwirkender harmonischer Quantenoszillatoren

Gaußsche Zustände sind eine paradigmatische Klasse von Zuständen kontinuierlich variabler Quantensysteme . Obwohl sie heute in erstellt und manipuliert werden können, zum Beispiel, state-of-the-art optischer Plattformen, natürlich robust zu Dekohärenz ist es bekannt , dass sie für nicht ausreichend sind, zum Beispiel universelle Quantencomputer , weil Transformationen , die die Gaußsche bewahren Natur eines Staates sind linear. Normalerweise würde auch die lineare Dynamik für die nichttriviale Lagerstättenberechnung nicht ausreichen. Es ist dennoch möglich, eine solche Dynamik für Reservoir-Computing-Zwecke zu nutzen, indem man ein Netzwerk von wechselwirkenden harmonischen Quantenoszillatoren betrachtet und die Eingabe durch periodische Zustandsrücksetzungen einer Teilmenge der Oszillatoren injiziert. Mit einer geeigneten Wahl, wie die Zustände dieser Teilmenge von Oszillatoren von der Eingabe abhängen, können die Observablen der restlichen Oszillatoren zu nichtlinearen Funktionen der Eingabe werden, die für die Reservoirberechnung geeignet sind; Dank der Eigenschaften dieser Funktionen wird sogar universelles Reservoir-Computing möglich, indem die Observablen mit einer polynomialen Auslesefunktion kombiniert werden. Im Prinzip könnten solche Reservoir-Computer mit kontrollierten optisch-parametrischen Multimode- Prozessen implementiert werden , jedoch ist eine effiziente Extraktion der Ausgabe aus dem System insbesondere im Quantenbereich eine Herausforderung, bei dem die Rückwirkung der Messung berücksichtigt werden muss.

2-D-Quantenpunktgitter

In dieser Architektur verleiht die randomisierte Kopplung zwischen den Gitterplätzen dem Reservoir die den Reservoirprozessoren innewohnende „Black Box“-Eigenschaft. Das Reservoir wird dann durch ein einfallendes optisches Feld angeregt, das als Eingang dient . Das Auslesen erfolgt in Form von Besetzungszahlen von Gitterplätzen, die natürlicherweise nichtlineare Funktionen der Eingabe sind.

Kernspins in einem molekularen Festkörper

In dieser Architektur liefert die quantenmechanische Kopplung zwischen Spins benachbarter Atome innerhalb des molekularen Festkörpers die Nichtlinearität, die erforderlich ist, um den höherdimensionalen Rechenraum zu schaffen. Das Reservoir wird dann durch hochfrequente elektromagnetische Strahlung angeregt, die auf die Resonanzfrequenzen relevanter Kernspins abgestimmt ist . Das Auslesen erfolgt durch Messung der Kernspinzustände.

Reservoir Computing auf Gate-basierten supraleitenden Quantencomputern in naher Zukunft

Das am weitesten verbreitete Modell des Quantencomputings ist das Gate-basierte Modell, bei dem Quantencomputer durch sequentielle Anwendungen von unitären Quantengattern auf Qubits eines Quantencomputers durchgeführt werden. Eine Theorie für die Implementierung von Reservoir Computing auf einem Gate-basierten Quantencomputer mit Proof-of-Principle-Demonstrationen auf einer Reihe von supraleitenden verrauschten Quantencomputern (NISQ) von IBM wurde in berichtet.

Siehe auch

Verweise

Weiterlesen