Een humanoïde robot die duizenden keren per dag stalen lagerringen uit een bak vist en op een lopende band legt, moet dat vrijwel foutloos doen en minstens zo snel als een menselijke collega. Dit is de lat waar humanoids over moeten om hen in te zetten in de industrie: 99,9% succes bij menselijke of bovenmenselijke snelheid. KinetIQ Ascend wil dit bereiken met reinforcement learning.

Imiteren schiet tekort

De meeste AI modellen voor robots worden vandaag getraind door behavior cloning. Een operator bestuurt de robot (teleoperatie), en het model leert die demonstraties na te bootsen. Die aanpak werkt tot op zekere hoogte, maar loopt tegen twee beperkingen aan.

Het eerste beperking is snelheid en kwaliteit. Een model dat kopieert kan nooit sneller of preciezer worden dan de mens die het voordeed. Wie het script gewoon sneller afspeelt, botst soms op fysische beperkingen: een grijper sluit maar sneller tot een bepaalde limiet. Zodra je te snel gaat, klopt de timing niet meer en trekt de arm terug voor de greep gesloten is.

Het tweede beperking is betrouwbaarheid. Behavior cloning laat alleen goed gedrag zien en bijna nooit de kost van fout gedrag omdat het niet werd getoond. Het model leert wat het moet doen, maar nauwelijks wat het moet vermijden. Bovendien treedt vaak causale verwarring op. Het model grijpt terug naar een oppervlakkig verband dat toevallig correleert met succes, en faalt zodra die correlatie breekt.

Reinforcement learning op echte hardware

KinetIQ Ascend pakt beide beperkingen aan door de robot zelf te laten oefenen. Het model probeert acties, krijgt een beloning bij succes en een straf bij falen. Het model optimaliseert binnen de grenzen van de fysieke beperkingen van de hardware. Simulatie schaalt door meer rekentijd, maar dit sluit niet volledig aan op de werkelijkheid. Daarom traint Humanoid rechtstreeks op de fysieke robots, 24 uur per dag, op echte taken uit een productie situatie.

Simulatie blijft belangrijk voor het ontwikkelen van de methode en sample-efficiëntie. De leercurves van simulatie en van de fysieke robot lopen opvallend gelijk. De echte hardware volgt dezelfde trend die in simulatie naar 100% succes leidt. Dat maakt volledige betrouwbaarheid vooral een kwestie van robottijd en rekenkracht, niet van ontbrekende methodes.

Opslitsing training en inference

Een fabriek kan honderden robots tegelijk inzetten. Al die camerabeelden naar een centraal datacenter streamen is meestal niet werkbaar. Daarom loopt de inferentie op de robot zelf, dikwijls op NVIDIA Jetson Thor. De trainer draait in de cloud en verstuurt bijgewerkte gewichten terug naar de robots. Updates komen zowel van fysieke robots als van simulaties. Zo schaalt de verbetering met het aantal gebruikte robots.

Hardware beschermen tijdens verkenning

Exploratie betekent dat de robot dingen probeert die soms mislopen. Actieve compliance vormt de eerste verdediging, bij onverwacht contact geeft de arm mee, maar zodra een gewricht zijn eindstand bereikt, komt de kracht rechtstreeks op de robot.

Als tweede vangnet meet het systeem de kracht aan de gewrichten. Overschrijdt die een veilige drempel, dan stopt de uitvoering en speelt de robot de recente commando’s omgekeerd af. Een soort pijnreflex. Omdat een test eindigt bij een veiligheidsstop, leert het brein impliciet om overmatige krachten te vermijden. Behavior cloning kan dat niet. Het kan enkel reageren op kracht die al wordt uitgeoefend.

Beloningen beperken en generiek houden

De beloning bestaat vooral uit één binair signaal. Is de taak geslaagd of niet? Geen specifieke, taakspecifieke definities die het model kan gebruiken die zorgen dat voor elke nieuwe capaciteit het model opnieuw moet getraind worden. Discounting (minder belonen wanneer een succesvolle taak langer duurt) zorgt automatisch voor meer snelheid.

Deze eenvoud maakt de aanpak schaalbaar. Een nieuwe taak vereist enkel een definitie van succes en een lijst van herstelbare fouten.

Omgaan met een werkelijkheid in beweging

Omgevingen zijn niet statisch. De belichting verandert ’s avonds, operatoren wisselen, hardware verslijt. Een beloning geven zonder al deze parameters als referentiepunt heeft weinig waarde.

De sampler-trainer kloof dichten

Omdat inference op Jetson Thor draait en training op Hoppers en Blackwells gebeurt, verschillen de evaluaties die beiden aan een actie toekennen. Dat verschil verstoort de PPO-update. Er wordt een correctie uitgevoerd op het model.

Sport mode gestuurd door RL

Tijdens training verhoogt het team de FPS in stappen, bijvoorbeeld van 60 naar 75 naar 90, en laat RL de kwaliteit herstellen op elk niveau. Een te grote sprong ineens laat de beloning zo ver instorten dat herstel niet meer lukt. Een geleidelijke versnelling werkt wel.

Resultaten op drie productietaken

KinetIQ Ascend is getest op drie taken uit het productieportfolio van Humanoid.

Machines voeden

De robot pikt lagerringen uit een volle bak en legt ze op een transportband. De baseline haalde 291 ringen per uur met een grijpsucces van 0,60. Na vijf dagen RL, met een snelheidscurriculum van 60 naar 90 FPS, klom de doorvoer naar 412 ringen per uur. Dat is 42% winst, met een cyclustijd die zakte van 27,2 naar 19,5 seconden en een grijpsucces dat steeg naar 0,67.

Objecten overhandigen

De robot grijpt een voorwerp uit een totebag en geeft het aan een persoon. Baseline: 80% succes. Na drie dagen RL, waarbij het model alleen op waterflessen oefende, steeg de doorvoer met 85% en klom het succes naar 98%. Een vertienvoudiging van de betrouwbaarheid.

Op objecten die het model tijdens RL nooit zag bleef er 40% doorvoerwinst. Op vervormbare zakjes was de winst bescheiden met 13%. Training op één object verbeterde dus de algemene pickvaardigheid, niet enkel het gedrag rond dat ene object.

Bakken opheffen

De robot tilt een bak met beide armen van tafel tot borsthoogte. Deze taak vereist gecoördineerde tweearmige manipulatie die de vorige taken niet nodig hadden. Zonder wijzigingen aan de methode, hyperparameters of het curriculum verdubbelde de doorvoer van 122 naar 279 totes per uur. Het succespercentage steeg van 77,6% naar 98,9%, ongeveer 20 keer minder fouten.

Wat dit betekent voor de VLA-pipeline (Vision-language-action)

Behavior cloning verliest zijn rol. Het volstaat dat dit de methode bepaalt. Reinforced learning onderdrukt daarna wat niet werkt en verfijnt wat wel werkt. Robots die eenmaal draaien blijven leren. Elke interventie door een supervisor markeert een fout waarvan het model kan leren. Zo gebeuren gegevensverzameling en training samen met de normale operaties.

Zodra er een capabel basismodel bestaat, verbetert reinforced learning de voorspelbaarheid naarmate er meer trainingscompute is. Elke verbetering wordt opgeslagen en voedt de volgende generatie basismodellen.

De volgende winst zit in de schaal, niet in de methode

De echte les uit KinetIQ Ascend is niet dat reinforcement learning werkt op humanoïde robots. Dat wisten we al uit simulaties. De les is dat de kloof tussen een demo en een humanoid inzetten in een productieomgeving verkleind wordt door robots te laten werken en generieke beloningen. De vraag is niet meer of autonome fabrieksrobots hun 99,9% betrouwbaarheid halen, maar hoe snel de infrastructuur groeit die hen daartoe brengt.