Transformer-basert forsterkningslæring gir industrirobotar nytt nivå av autonomi

Forskere har utviklet et rammeverk som kombinerer transformer-arkitektur med forsterkningslæring for å trene industrielle robotarmar. Resultatet er kontrollpolicyer som samtidig ivaretar presisjon, tilpasningsevne, driftssikkerhet og evne til å håndtere flere oppgaver – noe som historisk har vært vanskelig å oppnå samtidig.

Moderne produksjonsmiljø krever stadig meir av autonome robotmanipulatorar. Ein industrirobot må ikkje berre utføre ei oppgåve presist, han må òg kunne tilpasse seg variasjonar i arbeidsstykke, oppdage og unngå farlege situasjonar, og helst meistre fleire ulike oppgåver utan at ein må byggje heilt nye kontrollsystem frå botnen av kvar gong. La oss sjå kva eit nytt rammeverk basert på transformer-arkitektur og forsterkningslæring faktisk kan tilby på dette området.

Frå separate løysingar til ein samla arkitektur

Tradisjonelt har robotstyring vore delt opp i separate modular for persepsjon, planlegging og kontroll, gjerne skreddarsydd for éi spesifikk oppgåve. Når oppgåva endrar seg, må store delar av systemet omarbeidast. Den nye tilnærminga nyttar transformer-baserte nevrale nettverk – den same arkitekturen som ligg til grunn for mange moderne språkmodellar – til å lære ein sekvensiell representasjon av robotens tilstand, sensordata og handlingshistorikk.

Denne representasjonen blir deretter brukt som grunnlag for ein forsterkningslæringsagent som lærer optimal åtferd gjennom prøving og feiling i simulerte miljø, før policyen blir overført til fysisk maskinvare. Transformer-strukturen gjer det mogleg for systemet å handtere lange tidsseriar av sensordata og samtidig generalisere betre mellom ulike oppgåvetypar enn klassiske forsterkningslæringsmetodar basert på enklare nettverksarkitekturar som CNN eller LSTM.

Presisjon, tryggleik og multitasking i éin policy

Eit sentralt poeng i forskinga er at éin og same lærte policy kan handtere fleire oppgåver – til dømes plukking, plassering og montering – utan å krevje separat opptrening for kvar oppgåve. Dette oppnår ein ved å nytte eit felles tilstandsrom der oppgåvespesifikk informasjon blir koda inn som del av input-sekvensen til transformeren, gjerne representert som:

state_t = [joint_positions, joint_velocities, 
           end_effector_pose, task_embedding,
           sensor_history_t-k:t]
policy_output = transformer(state_t) → action_t

Driftssikkerheit blir ivareteken gjennom innebygde avgrensingar i belønningsfunksjonen, slik at agenten straffast for bevegelsar som nærmar seg kollisjonsrisiko eller overskrir momentgrenser på ledda. Dette er spesielt relevant for samarbeidande robotar (cobots) som opererer nær menneske, der sikkerheitsmarginar må balanserast mot effektivitet.

Forfattarane peikar på at rammeverket viser betre generalisering på tvers av oppgåver samanlikna med konvensjonelle forsterkningslæringsmetodar, samtidig som treningstida blir redusert.

Praktiske implikasjonar for utviklarar og integratorar

For hobbyistar og profesjonelle som byggjer eigne robotløysingar, opnar denne typen forsking for fleire praktiske moglegheiter. Rammeverk av denne typen er typisk kompatible med standard robotarmar med 6 eller 7 fridomsgrader, og kan integrerast med vanlege simuleringsmiljø som PyBullet, Isaac Gym eller MuJoCo før overføring til fysisk maskinvare. Dette senkar terskelen for å eksperimentere med avansert robotstyring utan å måtte byggje kontrollsystem frå grunnen av for kvart nytt prosjekt.

For studentar og forskingsmiljø representerer dette òg eit interessant utgangspunkt for vidare eksperimentering – spesielt innan multitask-læring og sim-to-real-overføring, to av dei mest aktive forskingsfelta innan robotikk i dag.

Kilde: Frontiers in artificial intelligence