KI-Forschung

Künstliches Gehirn kommt mit einem einzigen Neuron aus

Neuronale Netze bestehen aus vielen einzelnen Neuronen. Forscher der TU Berlin haben nun ein solches Netz simuliert, dass mit nur einem einzigen Neuron auskommt. Damit könnte sich KI künftig besser in Hardware integrieren lassen.

Bild: ©Lee/stock.adobe.com

Forschenden der Technischen Universität (TU) Berlin ist es gelungen, ein neuronales Netz aus Tausenden von Nervenzellen in einem Computer zu simulieren – mit einem einzigen, im Softwarecode programmierten Neuron. Dieses wird zeitlich versetzt angesteuert und ausgelesen und kann so die Rollen aller virtuellen Neuronen einnehmen. Auf diese Weise entsteht eine neue Klasse von neuronalen Netzen, deren Neuronen nicht im Raum verteilt sind, sondern in der Zeit.

Damit wären zukünftig neue Lösungen denkbar, um künstliche Neuronen direkt in Hardware-Komponenten zu integrieren, etwa mit Hilfe optoelektronischer Bauelemente. Zudem könnte mit dieser Methode KI-Hardware klimaschonender rechnen, da weniger Strom verbraucht wird.

Großer Verbrauch und Hardware-Grenzen

„Unsere Forschung adressiert zwei Beschränkungen, mit denen die heutigen neuronalen Netze konfrontiert sind“, sagt Dr. Serhiy Yanchuk, Leiter der Arbeitsgruppe Angewandte Dynamische Systeme an der TU. Das sei zum einen der hohe Stromverbrauch von neuronalen Netzen, die in Supercomputern simuliert werden. So zeigte eine Studie der Universität von Kopenhagen, dass nur ein einziger Trainingszyklus für eines der aktuell besten KI-Programme zur Spracherzeugung so viel Strom verbraucht, wie dem CO2-Äquivalent von 700.000 mit dem Auto gefahrenen Kilometern entspricht. Wird solch ein KI-Programm nach dem Training industriell – also sehr oft – eingesetzt, kann der Gesamt-Stromverbrauch hierfür noch höher liegen. „Auf der anderen Seite gibt es auch neuronale Netze, deren Neuronen als reale physikalische Systeme aufgebaut werden“, erklärt Yanchuk. „Diese können als rein elektrische Halbleiter-Bauelemente oder auch mit Hilfe von optischen Technologien auf der Basis von Lasern realisiert werden. Und da gibt es natürlich Grenzen in Bezug auf die Anzahl dieser Hardware-Neuronen und die Verbindungen zwischen ihnen.“ Während es in Supercomputern bereits möglich sei, Milliarden von Neuronen zu programmieren, würden die jüngsten Hardware-Implementierungen bisher nur einigen Tausend künstlichen Nervenzellen erreichen.

Wie eine Gesprächssimulation

Die Idee der TU-Forscher: Ein einzelnes Neurons wird zeitverzögert angesteuert und ausgelesen (In- und Output) und übernimmt nacheinander die Rollen aller Neuronen im neuronalen Netz. Als Beispiel nennen die Forschenden etwa einen einzelnen Gast der die Konversation einer großen Tischgesellschaft simuliert, in dem die Stühle wechselt und alle Gesprächsbeiträge selber spricht.

Spezielle Verzögerungsleitungen nehmen dafür den Zustand des Neurons auf, modulieren ihn und senden das daraus resultierende verzögerte Signal zurück. „Dass das prinzipiell möglich ist, haben wir jetzt im Computer gezeigt. Für eine Realisierung in Hardware kämen vor allem laserbasierte Schaltungen in Frage, weil diese so schnell sind, dass die Zeitverzögerungen besonders kurz ausfallen“, erklärt Florian Stelzer, der Erstautor der Studie. Die normalerweise räumliche Distanz zwischen zwei Neuronen im Netzwerk würde bei diesem Konzept also durch eine zeitliche Verschiebung ersetzt.

„Unser System ist quasi eine Erweiterung des Reservoir-Computing mit einer künstlichen Nervenzelle als Herzstück“, sagt Stelzer. „Sie ist letztlich nichts anderes als eine mathematische, sogenannte nicht-lineare Funktion, die wir genau definieren können.“ Neu sei, dass durch die veränderbaren Zeitverzögerungen Lernen möglich werde. „Zudem können wir in unserer Konfiguration erstmals die verschiedenen Netzebenen eines tiefen neuronalen Netzes simulieren.“ Das Ergebnis nennen die Forschenden ein „Folded-in-time Deep Neural Network“ (Fit-DNN). Im Computer hat es bereits eine für neuronale Netze typische Aufgabe bewältigt: Es konnte Bilder von Kleidungsstücken, die durch überlagertes Rauschen unkenntlich gemacht wurden, wieder rekonstruieren.

Datum:21. Februar 2022

Autoren:Neuronale Netze bestehen aus vielen einzelnen Neuronen. Forscher der TU Berlin haben nun ein solches Netz simuliert, dass mit nur einem einzigen Neuron auskommt. Damit könnte sich KI künftig besser in Hardware integrieren lassen.

Themen: Industrie 4.0, Technik

Webseite: www.tu.berlin

Downloads: