Åstrand, Björn
Robust och kostnadseffektiv automatisering av mekanisk ogräsbekämpning för ekologisk odling av sockerbetor
Idag rensas ogräs för hand i kravodlingen. Detta är relativt dyrt och det är svårt att hitta personer som vill utföra detta jobb. Detta medför att kravodlingen är begränsad i storlek och att efterfrågan är större an tillgången, t.ex. för ekologisk socker. För att öka volymen av de ekologisk odlade grödorna behövs det en automatisering av den mekaniska ogräsbekämpningen i den ekologiska odlingen. Målet med detta projekt är att uppnå en robust och kostnadseffektiv automatisering av mekanisk ogräsbekämpning för ekologisk odling av sockerbetor (se även Forskningsprogram bilaga 1).
För att nå det övergripande målet att uppnå en robust och kostnadseffektiv automatisering av mekanisk ogräsbekämpning behövs det följande. För det första behövs det en vidare utveckling av våra metoder så att de klarar av att hantera skillnader som finns mellan olika delar av fältet och mellan olika fält. Sedan behövs det utveckling av ett specialanpassat datorsystem och rensningsverktyg så att ett kostnadseffektiv system uppnås. Slutligen behövs det utförliga försök på olika fält för att kunna uppnå en robust automatisering och för att få kunskap hur den ekologiska odlingen bör bedrivas, t.ex. vad gäller plantavstånd, för en effektiv automatisering (se även Forskningsprogram bilaga 1).
Ett mål med projektet är att vidareutveckla våra tidigare utvecklade metoder för plantigenkänning så att hantera variationer mellan fält, som t.ex. plantstorlek.
Igenkänning av grödorna med hjälp av såmönstret
För att hantera variationer inom och mellan fält behövs metoder för identifiering av ogräs och gröda som ej är beroende av dessa variationer. Ett sätt är att utnyttja grödans position på fältet. Många grödor odlas i rader i ett definierat mönster med ett fixt avstånd mellan grödorna. Detta mönster är en viktig egenskap, som kan användas för att skilja ut grödan från ogräs, och som är oberoende av plantvariationer i färg och form. Vi har under projektets gång utvecklat och förfinat en metod som vi kallar för kontextmetoden. Kontextmetoden bygger på att vi har gjort en matematisk modell av raden med grödor (sockerbetor) och denna modell används sedan för att hitta de plantor som har störst sannolikhet att vara en gröda. Vi har testat denna metod mot en databas med bilder av rader med sockerbetor. I den aktuella databasen så var ogrästrycket i raden ca 50 ogräs/m2 och uppkomsten ca 70%. Sockerbetorna var i första örtbladstadiet. Omkring 90% av betorna hittades, och ca 60% av ogräset hittades. Förklaringen till att 40 % av ogräset inte hittades är att uppkomsten var låg. Detta innebär att om ett ogräs är placerat i närheten av den position där en sockerbeta skulle ha stått, så tolkas denna som sockerbeta. Kontextmetoden har även testats i fält hos en ekologisk odlare sommaren 2004. Två tester genomfördes med vår försöksmaskin inklusive prototyp till rensningsverktyg. Uppkomsten var ca 80% och sockerbetorna var i första örtbladstadiet. Testet visar att 99% av sockerbetorna stod kvar och att cirka 60 % av ogräset i raden togs bort [1]. Anledningen till att en del ogräs stod kvar beror på: Att uppkomsten inte är 100%. Vår kontext metod räknar med en uppkomst på 100%. Detta kan lösas genom att komplettera med en annan metod (se nästa stycke). Att rensningsverktyget hade vissa begränsningar. Detta kan lösas genom att vidareutveckla rensningsverktyget. Att en del ogräs var hopväxta med sockerbetorna (överlappande plantor). Detta kan lösas genom vidareutveckling av bildbehandlingsmetoder (se Överlappande plantor) eller tidig rensning.
Igenkänning av grödorna med hjälp av såmönstret och plantors utseende.
Problemet med låg uppkomst och att därigenom ogräs anses vara en betplanta, på de ställen där det inte kommer upp en betplanta, kan lösas genom att kombinera kontextmetoden med metoder av klassificering av enskilda plantor m h a plantornas utseende såsom färg, form och storlek. Problemet med att använda färg och form hos den enskilda plantans för igenkänning av grödan är, som tidigare nämnts, att plantornas utseende kan variera kraftigt mellan och inom fält. Detta kan bero på att uppkomsten sker vid olika tidpunker på olika delar av fältet och att ogräsförekomsten samt artsammansättningen hos ogräs varierar inom och mellan fält. Det har visats i ett flertal studier, och även av oss [2], att det går att få en hög igenkänningsgrad, över 90% om man använder färg och form. Problemet är att dessa igenkänningsmetoder måste tränas på ett urval av bilder på gröda och ogräs och är därför känslig mot variationer i plantornas utseende (d.v.s. det är osäkert hur väl träningsdatat representerar situationen i fält). Genom att kombinera kontextmetoden med metoder av klassificering av enskilda plantor har vi visat [3] att man blir mindre känslig för träningsfel hos klassificeraren som använder sig av färg och form och därmed också mer robust. Man blir också mer robust mot högt ogrästryck. Förutom detta så ökar den totala klassificeringsgraden med 3-8% jämfört med att bara använda sig av färg och form. Vi har utvärderat metoden på två databaser och den totala klassificeringsgraden var mellan 92%-98%. Vi har av tidskäl inte kunnat testa i fält, bara mot databaser, men vi förväntar oss att ogräsreduktionen på 60% kan höjas till över 90%.
Adaptivt system
Genom att kombinera kontextmetoden med metoder av klassificering av enskilda plantor blir man mindre känslig mot träningsfel hos klassificeraren som använder sig av färg och form. De metoder som vi använder för igenkänning med hjälp av plantans utseende har tränats offline, mot olika databaser [3]. Databaserna representera bara ett urval av de situationer som kan uppstå i fält. För att bättre hantera nya situationer i fält och därmed få ett system som är mer generellt och robust i fält har vi undersökt möjligheten att träna klassificerarna online. För att göra detta möjligt har vi studerat metoder som kategoriseras som unsupervised learning, d v s självlärande system. För att få ett fungerande adaptivt system krävs att indata automatiskt kan separeras i olika kluster samt metoder för att tala om vilken eller vilka kluster som tillhör beta eller ogräs. Vi har testat olika metoder (ex. k-means, competetive learning) för att separera data i olika kluster. Resultaten visar att det är fullt möjligt att dela upp indata i kluster. Genom att välja rätt kluster kan man få resultat fullt jämförbara med klassificerare tränade offline. Problemet är dock att veta vilka kluster som tillhör vad, dvs. är sockerbetor eller ogräs. Eftersom varje art har, till viss utsträckning, en unik färg och form, så skulle teoretiskt sett varje art ha ett motsvarande kluster. I praktiken är det inte så och en art kan bestå av flera kluster och ett kluster av flera arter. För att veta vilka kluster som tillhör sockerbetor och vilka som tillhör ogräs har vi testat tre olika metoder för att klassificera kluster automatiskt. Gemensamt för alla klusteralgoritmer är att man bestämmer antalet kluster i förväg och initierar startcentrum för kluster. Den ena metoden utgår från en databas (Databasmetoden, dvs. en databas skild från det fält som testas) för att initiera kluster center och den andra utnyttjar såmönstret för att klassificera kluster (Kontextmetoden). En tredje metod (Expertmetoden) är att man manuellt initierar kluster genom att ge exempel från aktuellt fält (databas). Vid online träning med competetive learning erhölls en klassificerings grad på 86% för Expertmetoden, 93-96% för Databasmetoden, beroende på vilken databas som användes som referens, och 94% för Kontextmetoden. Jämförbart resultat för en offline tränad klassificerare är 94%. Resultaten visar alltså att man med online klassificering, dvs. ett adaptivt system, kan nå likvärdiga resultat som offline-tränad klassificerare.
Överlappade plantor
Problemet att plantor och ogräs överlappar har inte täckts in i tidigare forskning och kräver utveckling av speciella metoder som kombineras med ovanstående metoder. Att ogräs och sockerbetor växer ihop ökar med ökad ogräsförekomst. För att särskilja mellan ogräs och sockerbetor har vi har använt ASM för att segmentera och klassificera sockerbetor från ogräs. För segmentering används ASM till att sätta ihop vilka blad som tillhör en sockerbeta och även till att plocka bort ogräs som växer ihop med sockerbetan. ASM kan användas till att ta bort ogräset. För segmentering visar resultaten att 3/4 av sockerbetan kommer finnas innanför den deformerade modellen och att 2/3 av ogräset som täcker sockerbetan har blivit borttaget. [4] beskriver metoder för att segmentera sockerbetsbladen var för sig och dessutom plocka bort överlappande ogräs. För klassificering kan ASM användas till att extrahera klassificeringsparametrar. Modellen placeras över plantan som ska testas och deformeras så att den passar plantan så bra som möjligt. Är det en sockerbeta kommer den deformerade modellen att passa plantan bättre än om det är ett ogräs. Hur bra modellen lyckas att anpassa sig efter den nya plantan beror en del på hur initial modellen placerades. Placeras den centralt över plantan och med rätt skala och rotation blir sökresultatet betydligt bättre än om den har placerats illa. Hur noggrann som man måste vara när man placerar initialmodellen har undersökts och resulterat i [5]. Som regel kan man säga att modellen får vara max dubbelt så stor som plantan, vara placerad med centrum innanför en cirkel med radie som halva plantans radie och den kan vara roterad upp till 18 grader fel. Ca. 80% av plantorna blir rätt klassade när ASM används för segmentering och parameterextrahering. Om dessutom plantans area och färg används som klassificeringsparametrar stiger klassificeringsgraden till 90%. Klassificeringsparametrarna som är framtagna för ASM har jämförts med traditionella formparametrar och en kombination av ASM parametrar och traditionella parametrar ger ca 88% rätt klassificerade plantor utan att area- och färgparametrar har använts. Klassificeringsparametrarna har jämförts mellan dataseten och ASM- och formparametrar ligger betydligt stabilare än vad area- och färgparametrarna gör. Totalt sett ökar klassificeringsgraden för överlappade plantor från 88% till 95% med ASM jämfört med att använda metoder som baseras på egenskaper beräknade på plantans färg och form.
Det andra målet med projektet är att utveckla ett specialanpassat datorsystem och rensningsverktyg så att ett kostnadseffektivt system uppnås.
Kamera- och datorsystem
Vi har utvecklat ett integrerat kostnadseffektiv kamera- och datorsystem baserat på en cmos-kamera och en signalprocessor. Systemet har en uppskattad materialkostnad på cirka 5000 kronor. Detta arbete har rönt nationell intresse och var nominerat till bästa bidrag inom inbyggda system - en återkommande tävling i Sverige. Systemet har ställts ut på tekniska mässan i Stockholm. Systemet har testas i fält och tar bilder av god kvalitet. Vi har även integrerat delar av vår mjukvara på systemet för att utvärdera prestanda. Preliminära resultat visar att systemet är snabbt nog för den tilltänkta applikationen.
Rensningsverktyg
Ett ny prototyp till rensingsverktyg har också utvecklas och har testas och provats på vår försöksmaskin med goda resultat. 60% av ogräset togs bort och 99% av sockerbetan stod kvar.
Vetenskapliga publikationer
1. Åstrand B., Baerveldt A. -J., Plant recognition and localization using context information, Mechatronics and Robotics 2004 - special session Autonomous Machines in Agriculture, Aachen, Germany, September 13-15, (2004)
2. Åstrand B., Vision based perception for Mechatronic weed control, PhD Thesis, ISBN 91-7291-646-X, Chalmers University of Technology, 2005.
3. Åstrand, B., Baerveldt, A.-J., Plant recognition and localization using context information and individual plant features, Research Report IDE0577, Halmstad University, Halmstad, Sweden, 2005.
4. Johansson M., Baerveldt A.-J, Segmentation of Partly Occluded Plant Leaves, Swedish Society for Automated Image Analysis (SSBA), pp.77-80, (2005).
5. Johansson M., Søgaard, H. T., Baerveldt A. -J., Robustness of Plant Recognition Based on Active Shape Models, Mechatronics and Robotics 2004 - special session Autonomous Machines in Agriculture, Aachen, Germany, September 13-15, (2004)