En ny open source-plattform for autonome roboter er under utvikling, og den samler navigasjon, datasyn, taleinteraksjon og skybasert AI i ett system. Prosjektet er bygget rundt ROS2 og moderne maskinvare, og kan bli et interessant utgangspunkt for hobbyister og utviklere som vil bygge egne interaktive roboter.
Robotikkmiljøet rundt ROS Discourse har fått et spennende nytt bidrag: et open source-prosjekt som kombinerer autonom navigasjon, maskinsyn og naturlig språkinteraksjon i én samlet robotplattform. Målet er å skape en robot som ikke bare kan bevege seg selvstendig i et miljø, men som også kan oppfatte og kommunisere med mennesker på en naturlig måte. La oss se hva denne plattformen faktisk kan gjøre.
Maskinvare og programvarestack
Robotens hjerne er en Raspberry Pi, kombinert med en RPLiDAR C1 for kartlegging og hinderdeteksjon. Et kamera gir visuell informasjon, mens en Android-nettbrett fungerer som grensesnitt mot brukeren. I tillegg inneholder systemet robotikksensorer og et eget motorkontrollsystem for presis bevegelsesstyring.
Programvaren er bygget på en moderne og velprøvd stack:
- ROS2 (robotrammeverk)
- MediaPipe (gjenkjenning av ansikt og gester)
- RTAB-Map (SLAM og kartlegging)
- FastAPI (backend-kommunikasjon)
- Docker (containerisering)
- Whisper (talegjenkjenning)
- NVIDIA Isaac Sim (simulering og digital tvilling)
Denne kombinasjonen gjør det mulig å utvikle, teste og distribuere funksjonalitet modulært, noe som er svært nyttig i åpne robotprosjekter der flere bidragsytere kan jobbe parallelt.
Skybasert AI og sanntidsstyring
En interessant arkitekturvalg er fordelingen mellom lokal og skybasert prosessering. Mens sanntidskontroll av roboten skjer direkte på enheten for å sikre lav latens og pålitelighet, kjøres tyngre AI-arbeidslaster i skyen på NVIDIA H200 GPUer. Dette gir tilgang til kraftige modeller for bildeanalyse og naturlig språkforståelse uten å belaste den innebygde maskinvaren unødig.
Denne hybride tilnærmingen er relevant for mange som bygger egne roboter: man kan holde kostnadene nede på lokal maskinvare, samtidig som man drar nytte av skalerbar AI-kraft når det trengs.
Planlagte funksjoner og bruksområder
Prosjektet har en ambisiøs funksjonsliste, blant annet:
- Autonom navigasjon med LiDAR-basert SLAM
- Hinderunngåelse i sanntid
- Menneskedeteksjon og sporing
- Ansikts- og gestegjenkjenning
- Taleassistent med naturlig språkinteraksjon
- Sanntids robottelemetri
- Skyassistert AI-prosessering
- Digital tvilling-simulering i Isaac Sim
Dette gjør plattformen relevant for flere bruksområder, fra forskning og utdanning til prototyping av servicerobotikk. For studenter og hobbyister som ønsker å eksperimentere med ROS2-basert navigasjon kombinert med AI-drevet interaksjon, representerer dette et konkret og dokumentert utgangspunkt å bygge videre på.
Kombinasjonen av lokal sanntidsstyring og skybasert AI illustrerer en arkitektur som trolig blir stadig vanligere i fremtidens robotikkprosjekter.
Prosjektet er fortsatt under aktiv utvikling, men den åpne tilnærmingen betyr at interesserte allerede nå kan følge fremdriften og potensielt bidra med egen kompetanse innen navigasjon, maskinsyn eller taleteknologi.
Kilde: ROS Discourse