Forskere har utviklet en veksthusrobot som kan oppdage, lokalisere og høste tomatklaser autonomt – selv når fruktene er delvis skjult eller lysforholdene varierer kraftig. Løsningen kombinerer en optimalisert YOLOv8-modell med ROS-basert navigasjon, og kjører i sanntid på innebygget maskinvare uten behov for skytilkobling.
Veksthusdyrking av tomater er arbeidsintensivt, og manuell høsting av klaser utgjør en betydelig kostnad for produsenter. En ny studie publisert i Frontiers in Plant Science presenterer en robotplattform som tar sikte på å automatisere nettopp denne prosessen – fra deteksjon til fysisk høsting – ved hjelp av en kombinasjon av forbedret dyp læring og robotoperativsystemet ROS.
Presis deteksjon under vanskelige forhold
Kjernen i systemet er en modifisert versjon av YOLOv8n, en lettvekts objektdeteksjonsmodell som er godt egnet for edge-enheter. Forskerne har lagt til to viktige forbedringer:
- BiFPN (Bidirectional Feature Pyramid Network) – gir bedre fusjon av funksjoner på tvers av ulike skalaer, noe som er avgjørende for å oppdage tomatklaser i varierende størrelse og avstand.
- WIoU (Wise Intersection over Union) – en tapsfunksjon som forbedrer presisjonen i boundingbox-prediksjon, spesielt når frukt er delvis okkludert av blader eller andre tomater.
Denne kombinasjonen gjør modellen mer robust mot de to største utfordringene i veksthusmiljøer: fruktokklusjon og ujevn belysning fra naturlig sollys kombinert med kunstig vekstlys.
Fra 2D-bilde til 3D-posisjon
Deteksjon alene er ikke nok for presis robothøsting – systemet må også beregne nøyaktig tredimensjonal posisjon for gripearmen. Roboten benytter stereovisjon eller dybdekamera for å konvertere 2D-deteksjoner til 3D-koordinater, slik at robotarmen kan navigere presist til hver enkelt klase uten å skade planten eller frukten.
Målet har vært å oppnå nøyaktig fruktdeteksjon og 3D-lokalisering samtidig som systemet opprettholder sanntidsytelse på innebygget databehandlingsutstyr – ikke i et laboratorium med kraftige GPU-er.
ROS-basert autonom styring
Hele robotplattformen styres gjennom ROS (Robot Operating System), som håndterer kommunikasjon mellom de ulike delsystemene: navigasjon, synssystem, og manipulatorkontroll. Dette gir en modulær arkitektur der man kan bytte ut enkeltkomponenter – for eksempel kameramodul eller gripemekanisme – uten å måtte redesigne hele systemet.
For utviklere som jobber med lignende prosjekter, illustrerer dette hvor viktig det er med en fleksibel mellomvare. Et typisk oppsett for navigasjonsnoden kan se slik ut:
#!/usr/bin/env python3
import rospy
from geometry_msgs.msg import Twist
def navigate_to_target(x, y, z):
rospy.init_node('harvest_navigator')
pub = rospy.Publisher('/cmd_vel', Twist, queue_size=10)
# Beregn bevegelsesvektor basert på 3D-koordinater
cmd = Twist()
cmd.linear.x = calculate_approach_speed(x, y, z)
pub.publish(cmd)
Praktisk betydning for edge-deployment
Det som gjør denne forskningen spesielt relevant for hobbyister og utviklere, er fokuset på edge-deployment. Ved å optimalisere YOLOv8n for innebygd maskinvare – typisk enheter med begrenset GPU-kapasitet som Jetson-plattformer – unngår man avhengighet av skybaserte beregninger. Dette reduserer latens betraktelig og gjør systemet driftssikkert selv uten stabil internettforbindelse, noe som er kritisk i mange veksthusmiljøer.
La oss se hva dette betyr i praksis: en lettvektsmodell som kjører lokalt, kombinert med robust objektdeteksjon og ROS-integrasjon, åpner døren for skalerbare landbruksrobotikk-løsninger som kan tilpasses ulike avlinger og veksthusstørrelser – ikke bare i storskala kommersiell produksjon, men potensielt også i forskningsmiljøer og avanserte hobbyprosjekter.
Kilde: Frontiers in plant science