Wer schon einmal versucht hat, Einrad zu fahren, kennt die ersten Sekunden nur zu gut: Für einen kurzen Moment glaubt man, es könnte funktionieren — und dann erinnert einen die Schwerkraft ziemlich direkt an die Realität. Ein Einrad ist ein klassisches instabiles System. Es gibt kein zweites Rad, auf das man sich stützen kann, keinen Fuss, den man schnell absetzt, sondern nur einen einzigen kontaktpunkt und die ständige Notwendigkeit, sofort zu reagieren, bevor das System kippt.
Genau diese Herausforderung wollen wir mit Wheeliam meistern. Wheeliam ist der Roboter, den wir dieses Jahr am Robotic Systems Lab (RSL, ETH Zürich) im Rahmen des Equilibrio Focus Projects entwickeln: ein selbstbalancierender Einradroboter mit einer 3-DoF-Hüfte und einem Bein mit geschlossener 5-Bar-Kinematik. Dadurch kann er sich ducken, aufrichten und langfristig sogar über Hindernisse springen.
Hinter dem Projekt steht ein zwölfköpfiges Studierendenteam: neun Maschinenbauingenieur:innen und ein Elektroingenieur von der ETH sowie zwei Systemtechnikingenieur:innen der ZHAW. Wheeliam wiegt rund 40 kg, ist in geduckter Haltung etwa 1,5 m hoch und erreicht vollständig ausgefahren eine Höhe von 2,1 m. Unsere Vision ist ein Roboter, der sich dort bewegen kann, wo sowohl klassische Radroboter als auch Laufroboter an ihre Grenzen stossen: auf schmalen Wegen, an steilen Hängen, in Geröllfeldern und in schwierigem Gelände dazwischen. Um dorthin zu kommen, schreiben wir den Controller nicht von Hand. Stattdessen lassen wir den Roboter selbst lernen.
Warum Reinforcement Learning?
Klassische Regelungstechnik funktioniert hervorragend, wenn sich ein System sauber modellieren lässt. Bei Wheeliam ist das jedoch nur sehr begrenzt der Fall. Ein Einradroboter mit einem springfähigen Bein, einer Hüfte, die aktiv stabilisieren muss, und Kontaktbedingungen, die sich mit jedem Untergrund verändern, ist kein System, das sich einfach mit einem kompakten Modell beschreiben lässt.
Reinforcement Learning (RL) bietet hier einen anderen Ansatz: Der Roboter darf ausprobieren, scheitern und sich schrittweise verbessern. Wir definieren, was gutes Verhalten bedeutet — zum Beispiel Geschwindigkeitsbefehle zu verfolgen, aufrecht zu bleiben und möglichst energieeffizient zu agieren. Der Lernalgorithmus sucht anschliessend selbst nach einer geeigneten Policy. Diese Policy ist ein neuronales Netzwerk, das aus den Beobachtungen des Roboters passende Motorbefehle berechnet.
Der entscheidende Nachteil: RL braucht sehr viele Versuche. Einen echten Prototypen kann man aber nicht millionenfach umfallen lassen. Deshalb trainieren wir zuerst in der Simulation und übertragen die gelernte Policy später auf die reale Hardware. Dieser Schritt, der sogenannte Sim-to-Real-Transfer, ist einer der anspruchsvollsten Teile des Projekts — und genau dort steckt ein grosser Teil der Ingenieursarbeit.
Training in der Simulation und Transfer auf die Hardware
Wir trainieren Wheeliams Policy mit Proximal Policy Optimization (PPO) in NVIDIA Isaac Lab. Dabei simulieren wir tausende Wheeliams parallel auf einer einzigen GPU. Die Policy selbst ist ein rekurrentes neuronales Netzwerk: Eine GRU verarbeitet zeitliche Zusammenhänge, danach folgt ein MLP, das die eigentlichen Stellgrössen berechnet.
Als Eingaben verwendet die Policy ausschliesslich propriozeptive Informationen. Dazu gehören IMU-Daten wie Orientierung und Winkelgeschwindigkeit, Gelenkpositionen und -geschwindigkeiten sowie eine kurze Historie der vergangenen Aktionen. Daraus berechnet sie Sollwerte für das Rad und die Beingelenke. Die Policy läuft mit 50 Hz, während die Physiksimulation mit 200 Hz arbeitet.
Die grössere Herausforderung beginnt jedoch nach dem Training: Eine Policy, die in einer idealisierten Simulation funktioniert, muss auch auf dem realen Wheeliam stabil bleiben. Um diese Lücke zwischen Simulation und Hardware zu verkleiner, setzen wir auf mehrere bewährte Methoden:
Domain Randomization
Während des Trainings ist kein simulierter Wheeliam exakt gleich wie der andere. Wir variieren zum Beispiel Massen, Radreibung, Rückprallverhalten und Messrauschen der IMU. Dadurch lernt die Policy nicht nur einen einzigen perfekten Roboter kennen, sondern eine ganze Verteilung leicht unterschiedlicher Systeme. Wenn sie später auf den echten Wheeliam trifft, ist dieser im besten Fall nur eine weitere Variante, mit der sie bereits umgehen kann.
Asymmetric Actor-Critic
Während des Trainings erhält der Critic zusätzliche Informationen, die der echten Policy später nicht zur Verfügung stehen. Dazu gehören etwa reale lineare Geschwindigkeiten, Kontaktkräfte oder Körpermassen. Diese privilegierten Informationen helfen, das Training zu stabilisieren. Die Policy, die später auf dem Roboter läuft, bleibt jedoch auf jene Sensorinformationen beschränkt, die auch tatsächlich auf der Hardware verfügbar sind.
Systemidentifikation mit PACE
Echte Motoren verhalten sich nicht wie ideale Drehmomentquellen. Reibung, Trägheit, Dämpfung und Kommunikationsverzögerungen spielen auf der Hardware eine grosse Rolle. Deshalb verwenden wir PACE, ein am RSL entwickeltes Framework zur Systemidentifikation. Damit bestimmen wir aktorspezifische Parameter direkt aus geloggten Hardwaredaten. So wird das Verhalten der simulierten Aktoren deutlich realistischer und näher an der echten Hardware.
Teacher-Student-Distillation
Zusätzlich experimentieren wir mit einer Teacher-Student-Pipeline. Dabei lernt zunächst eine stärkere Teacher-Policy mit Zugriff auf zusätzliche Informationen. Anschliessend wird eine leichtere rekurrente Student-Policy darauf trainiert, dieses Verhalten nachzuahmen — allerdings nur mit den Informationen, die später auch auf dem echten Roboter verfügbar sind.
Wo wir heute stehen
In der Simulation zeigt sich die Policy robust gegenüber Störungen und kann Geschwindigkeitsbefehle zuverlässig verfolgen. Auf dem echten Wheeliam sehen wir inzwischen die ersten sehr vielversprechenden Resultate: Die Policy kann den Roboter auf der Stelle aufrecht halten und ihn jeweils ungefähr eine Minute lang balancieren lassen. Angesichts der komplexen Dynamik unseres Systems ist das für uns ein wichtiger Meilenstein. Als Nächstes konzentrieren wir uns darauf, das Aktormodell weiter zu verbessern, die Randomisierung in der Simulation auszubauen und die Beobachtungspipeline zu verfeinern. Damit soll Wheeliam den Schritt vom stabilen Balancieren im Stand hin zu einer ruhigen, kontrollierten Fahrt schaffen. Die nächsten Wochen dürften deshalb nochmals deutlich anders aussehen als die bisherigen.
Was als Nächstes kommt und wo MyBotShop ins Spiel kommt
Aktuell verlässt sich Wheeliam ausschliesslich auf Propriozeption. Er weiss also, wie seine Gelenke stehen und wie er sich bewegt — aber noch nicht, was um ihn herum passiert oder wo er sich in der Welt befindet. Das war eine bewusste Entscheidung: Zuerst wollten wir das Balancierproblem zuverlässig lösen, bevor wir zusätzliche Sensorik und komplexere Umgebungswahrnehmung integrieren. Gleichzeitig ist klar, dass dies nur der erste Schritt ist. Ein Einradroboter, der den Bordstein vor sich nicht erkennt, wird im Outdoor-Einsatz nicht weit kommen.
Genau hier wird die Unterstützung von MyBotShop besonders wertvoll. Durch ihr grosszügiges Sponsoring konnten wir Wheeliam mit einem Robosense Airy LiDAR und einer SIRIUS RTK GNSS Base Station ausstatten. Diese Sensoren eröffnen uns das nächste Kapitel des Projekts: eine exterozeptive Policy, die nicht nur balancieren und fahren kann, sondern ihre Umgebung wahrnimmt und sich in anspruchsvollem Outdoor-Terrain zurechtfindet. Wir sind MyBotShop sehr dankbar für diese Unterstützung und freuen uns darauf, beide Sensoren in die nächste Iteration unseres Systems zu integrieren.
Wenn Sie Wheeliams Fortschritt verfolgen möchten, finden Sie uns unter www.equilibrio.ethz.ch sowie auf LinkedIn unter Equilibrio.
