KI im Mini-Labor oder die Präzision auf dem Prüfstand

Wer eine KI-L?sung entwickelt, begibt sich zuweilen auf eine Reise ins Ungewisse. Zumindest am Anfang wissen Forschende und Designer:innen nicht immer, ob ihre Algorithmen und KI-Modelle wie erwartet funktionieren oder ob die KI am Ende gar Fehler macht. Mitunter schneiden KI-Anwendungen, die in der Theorie gut arbeiten, unter realen Bedingungen schlecht ab. Um das Vertrauen der Nutzenden zu gewinnen, sollte eine KI jedoch zuverl?ssig und korrekt arbeiten (vgl. ETH Magazin Globe, 18.03.2025). Das gilt f¨¹r popul?re Chatbots genauso wie f¨¹r KI-Tools in der Forschung.

Bevor ein neues KI-Tool in der realen Welt zum Einsatz kommt, muss es gr¨¹ndlich getestet werden. Tests in der realen Welt k?nnen jedoch ein teures oder sogar riskantes Unterfangen sein. Daher testen Forschende ihre Algorithmen oft in Computersimulationen der Realit?t. Da Simulationen jedoch Ann?herungen an die Realit?t darstellen, kann diese Art, KI-L?sungen zu testen, dazu f¨¹hren, die Leistung einer KI zu ¨¹bersch?tzen. Der ETH-Mathematiker Juan Gamella hat nun einen neuen Ansatz in der Zeitschrift ?Nature Machine Intelligence? vorgestellt, mit dem Forschende pr¨¹fen k?nnen, wie zuverl?ssig und einwandfrei ihre Algorithmen und KI-Modelle funktionieren. Ein KI-Modell beruht auf bestimmten Annahmen und wird darauf trainiert, aus Daten zu lernen und gegebene Aufgaben intelligent zu erledigen. Ein Algorithmus umfasst die mathematischen Regeln, die das KI-Modell befolgt, um eine Aufgabe zu bearbeiten.

KI pr¨¹fen statt ¨¹bersch?tzen

Juan Gamella hat spezielle Miniatur-Labors (?Mini-Labors?) gebaut, die sich als Pr¨¹fstand f¨¹r neue KI-Algorithmen eignen. ?Die Mini-Labors stellen eine flexible Testumgebung bereit, die echte Messdaten liefert. Sie sind ein bisschen wie ein Experimentierfeld f¨¹r Algorithmen, in dem Forschende ihre KI ¨¹ber simulierte Daten hinaus in einer kontrollierten und sicheren Umgebung testen k?nnen?, sagt Gamella. Die Mini-Labors basieren auf wohlbekannter Physik, sodass die Forschenden dieses Wissen nutzen k?nnen, um zu ¨¹berpr¨¹fen, ob ihre Algorithmen f¨¹r eine Vielzahl von Problemen zur richtigen L?sung gelangen. Versagt eine KI im Test, k?nnen die Forschenden die zugrunde liegenden mathematischen Annahmen und Algorithmen gezielt und fr¨¹h in der Entwicklung verbessern.

Gamellas erste Mini-Labors beruhen auf zwei physikalischen Systemen, die essenzielle Eigenschaften aufweisen, sodass viele KI-Tools unter realen Bedingungen mit ihnen zurechtkommen m¨¹ssen: Wie sich die Mini-Labors genau einsetzen lassen, h?ngt von der jeweils zu pr¨¹fenden Fragestellung ab, und davon, was der Algorithmus leisten soll. Das eine Mini-Labor von ihm enth?lt zum Beispiel ein dynamisches System wie Wind, das sich st?ndig ver?ndert und auf ?u?ere Einfl¨¹sse reagiert. Es l?sst sich verwenden, um KI-Tools f¨¹r Steuerungsprobleme zu testen. Sein zweites Mini-Labor befolgt gut bekannte physikalische Gesetze f¨¹r Licht. Es l?sst sich dazu verwenden, um eine KI zu testen, die solche Gesetze automatisch aus Daten lernen soll, um damit Wissenschaftler:innen bei neuen Entdeckungen zu unterst¨¹tzen

Die Mini-Labors sind konkrete Ger?te, die etwa so gross sind wie ein Desktop-Computer, und die sich per PC-Fernbedienung steuern lassen. Sie erinnern an die historischen Demonstrationsexperimente, mit denen Forschende ab dem 16. Jahrhundert ihre Theorien und Erkenntnisse in wissenschaftlichen Gesellschaften pr?sentierten, diskutierten und verbesserten. Juan Gamella vergleicht die Rolle der Miniatur-Labors in der Entwicklung von KI-Algorithmen mit der eines Windkanals im Flugzeugbau: Wird ein neues Flugzeug entwickelt, wird der gr?sste Teil des Entwurfs zun?chst mit Computersimulationen durchgef¨¹hrt, weil das kosteng¨¹nstiger und effizienter ist. Haben sich die Ingenieur:innen auf ihre Designs geeinigt, bauen sie Miniaturmodelle und checken sie im Windkanal. Erst dann bauen sie ein Flugzeug in Originalgr?sse und testen es in echten Fl¨¹gen.

Wichtiger Schritt zwischen Simulation und Realit?t

?Wie der Windkanal bei Flugzeugen dienen die Mini-Labors der Sicherheitspr¨¹fung, um zu gew?hrleisten, dass alles in einem fr¨¹hen Stadium funktioniert, wenn wir von der Simulation zur Realit?t ¨¹bergehen?, sagt Gamella. Er betrachtet das Testen von KI-Algorithmen in einer kontrollierten Umgebung als einen entscheidenden Zwischenschritt, um sicherzustellen, dass eine KI in komplexen, realen Szenarien funktioniert. Die Mini-Labors bieten dies f¨¹r bestimmte Arten von KI, besonders f¨¹r diejenigen, die direkt mit der physischen Welt interagieren sollen.

Die Mini-Labors helfen den Forschenden, das Problem des ?bergangs von der Simulation zur Realit?t zu untersuchen: sie bieten ihnen ein Testumfeld, in dem die Forschenden so viele Experimente durchf¨¹hren k?nnen, wie sie ben?tigen. Dieses ?bergangsproblem ist auch f¨¹r den ?berlappungsbereich von Robotik und KI relevant, wo KI-Algorithmen oft so trainiert werden, zuerst Aufgaben in einer simulierten Umgebung zu l?sen und erst danach in der realen Welt. Dies erh?ht ihre Zuverl?ssigkeit.

Juan Gamella selbst begann als Mathematik-Bachelor, bevor er sich dem Masters-Studium in Robotik an der ETH zuwandte. Also Doktorand kehrte er zur Mathematik und KI-Forschung zur¨¹ck. Sein Flair f¨¹r Physik und Technologie ist geblieben: ?Ich m?chte Tools entwickeln, die Wissenschaftler:innen bei der L?sung von Forschungsfragen helfen.? Die Anwendung seiner Mini-Labors beschr?nkt sich nicht auf Ingenieurwissenschaften. Mit einem Kollegen der Charit¨¦ Universit?tsklinik Berlin versuchte er ein Mini-Labor zu entwerfen, um KI-Algorithmen in der Zellbiologie und in der synthetischen Biologie zu testen. Die Kosten waren jedoch zu hoch. Hingegen wird das zweite Mini-Labor, ein Licht-Tunnel, bereits als Testumgebung in der industriellen Fertigung eingesetzt ¨C f¨¹r ein optisches Problem. Ebenso trugen die Mini-Labors dazu bei, verschiedene neue Methoden zu testen, wie grosse Sprachmodelle (LLM) in der realen Welt externe Seite genauere Vorhersagen machen k?nnen.

Kausale KI ¨C der K?nigsweg zu korrekter KI

In ?Nature Machine Intelligence? hat Juan Gamella den K?nigsweg beschritten, um die Tauglichkeit der Mini-Labore zu belegen ¨C schliesslich weist er nach, dass sie selbst f¨¹r Fragen der kausalen KI dienlich sind. Kausalit?tsforschung und kausale KI sind ein Schl¨¹sselgebiet der Statistik und theoretischen Informatik, das von grundlegender Bedeutung ist f¨¹r KI-Modelle: Damit KI-Modelle zuverl?ssig und korrekt funktionieren, sollten sie kausale Zusammenh?nge verstehen.

Oft bilden KI-Modelle jedoch nicht die kausalen Zusammenh?nge der Welt ab, sondern sie machen Vorhersagen, die auf statistischen Korrelationen beruhen (vgl. Interview mit ETH-Informatikprofessor Thomas Hofmann). Kausalit?t ist ein wissenschaftlich grundlegender Begriff, der die Beziehungen zwischen Ursachen und Wirkungen bezeichnet. Kausale KI bezieht sich auf KI-Modelle, die Ursache-Wirkungs-Beziehungen erkennen. Die Ergebnisse kausaler KI sind pr?ziser und nachvollziehbarer. Deshalb ist kausale KI wichtig f¨¹r Gebiete wie Medizin, ?konomie oder Klimaforschung.

Um kausale KI zu entwickeln, sind neue statistische Methoden n?tig, da kausale Beziehungen mitunter von besonderen Umst?nden und Zuf?llen beeinflusst werden. Zudem sind sie in komplexen Zusammenh?ngen nicht einfach voneinander zu trennen. Gamella hat mit den ETH-Mathematikprofessoren Peter B¨¹hlmann und Jonas Peters geforscht. Beide haben wichtige Ans?tze entwickelt, wie sich kausale Beziehungen unter wechselnden Bedingungen identifizieren und von st?renden Einfl¨¹ssen oder zuf?lligem Rauschen unterscheiden lassen.

?Diese Methoden sind jedoch in der Regel schwierig in der realen Welt zu testen,? sagt Gamella. ?Daf¨¹r ben?tigen wir Daten von Systemen, bei denen die Ursache-Wirkungs-Beziehungen bereits bekannt sind, um zu ¨¹berpr¨¹fen, ob unsere Algorithmen sie genau lernen k?nnen. Diese Daten sind schwer zu finden.? F¨¹r die Publikation testeten die drei ETH-Forscher deshalb Algorithmen der kausalen KI auf den von Gamella gebauten Mini-Labors. Gamella bezeichnet seine Mini-Labors denn auch als ?Kausalkammern?.

Zun?chst pr¨¹ften sie, ob die Algorithmen das korrekte Kausalmodell f¨¹r jedes Mini-Labor, das heisst f¨¹r Wind und Licht, erlernten. Sie sahen auch, wie gut die Algorithmen erfassten, welche Faktoren einander beeinflussen und wie sie unter ungew?hnlichen Bedingungen oder bei pl?tzlichen Ver?nderungen funktionieren. Peter B¨¹hlmann, der Gamellas Doktorvater ist, lobt: ?Die Kausalkammern sind eine wertvolle Erg?nzung der Kausalit?tsforschung. Neue Algorithmen lassen sich so in noch nie dagewesener Art und Weise validieren.?

Eine sichere und spielerische Art zu lernen

Erfreulich f¨¹r Gamella ist der unterwartete Nutzen der Kausalkammern f¨¹r die Lehre. ?Da die Mini-Labors ein sicheres Experimentierfeld f¨¹r Algorithmen bieten, sind sie auch ein tolles ?Spielfeld? f¨¹r Studierende?, sagt Gamella. Dozierende f¨¹r KI, Statistik und andere Ingenieurwissenschaften k?nnen sie nutzen, damit ihre Studierenden das Gelernte direkt in einer praktischen Umgebung anwenden k?nnen. Bereits bekunden Dozierende aus der ganzen Welt ihr Interesse und Juan Gamella startet nun Pilotstudien an der ETH Z¨¹rich und der Universit?t L¨¹ttich.