Probleem op deze pagina?

Project: RaPiDo: Vision Guided Random Picking for Industrial Robots

TETRA: Technologie-transfer gerichte projecten door instellingen van hoger onderwijs
01/10/2014
30/09/2016

Binnen dit project zullen we industriële robots uitrusten met visiesensoren die ons toelaten producten te grijpen waarvan de positie en oriëntatie vooraf niet exact gekend is, het zogenaamde “random picking”. Dit staat in tegenstelling tot de traditionele manier van werken waarbij vaak gebruik gemaakt wordt van verenkelingsinstallaties, uitlijnhulpstukken of trays om de producten vooraf perfect uit te lijnen en de robot naar star voorgeprogrammeerde posities te sturen.

We zullen nu dus ook willekeurig gepositioneerde objecten correct kunnen hanteren. In dit project bekijken we de state-of-the-art op dit gebied en maken we via realistische testcases een grondige evaluatie van de keuzemogelijkheden voor zo’n random picking oplossing:

- 2D en 3D sensoren, inclusief nieuw opkomende sensoren zoals MFC, structured light en ToF.
- Algoritmes om de objecten te herkennen en te lokaliseren.
- De mogelijkheden van in-hand scanning en visual servoing; de gripperkeuze (incl. de nieuw opkomende underactuated grippers); padplanningalgoritmes die een efficiënte beweging garanderen zonder botsingen.
- De interface tussen het systeem, de robot en de gebruikte sensoren.
- De vergelijkende studie zal gebeuren met een breed scala aan te picken producten, o.a. met uitdagende eigenschappen als textuurloosheid, (semi-)transparantie, speculariteiten, vormvariaties (zoals o.a. bij groenten en fruit), flexibele vorm (bvb zakken), …

Belangrijke toepassingen zijn onder meer:
- Conveyor picking: Het grijpen van producten op een lopende band
(de)palletizing: Het (ont) stapelen van producten op een pallet
- Random bin picking: Het grijpen van producten die willekeurig gestapeld in een bakje liggen
- robot picking applications

Voor elk van deze bovenstaande toepassingen zullen we een aantal use cases uitwerken van echte robot picking gevallen, aangereikt vanuit de bedrijven die deelnemen aan het project.

Industriële real-life cases

In dit project hebben we een groot aantal real-life toepassingscasussen uitgewerkt op vraag van de bedrijven in de industriële gebruikersgroep. De bedrijven leverden zelf de nodige materialen aan die door een industriële robot via vision-guided random picking opgepikt moesten worden. Hierdoor beschikten we over een zeer uitgebreide collectie aan testobjecten, met een grote variatie aan eigenschappen inzake optische kenmerken, grootte, materiaal, flexibiliteit, enz.

De volgende industriële cases werden uitgewerkt:

• Case Robberechts – Detectie en picking van meubelonderdelen die bestaan uit geolied metalen plaatmateriaal met uitdagende specs: platen zijn geolied; +/- 0.7 tot 2mm dik, vormen zijn ongeveer rechthoekig, met specifieke uitsparingen op de hoeken; +/- 300x100 tot 500x500mm groot; 20-25 verschillende producten; platen kunnen eventueel magnetisch worden gegrepen; producten kunnen (licht) in elkaar haken; echter niet zo erg als twee L-vormen;
• Case KUKA – Detectie en picking van lasonderdelen uit dun metalen plaatmateriaal, waarbij vooral naar de nauwkeurigheid werd gekeken
• Case Ceratec – Binpicking: Een welgedefinieerde bak met identieke producten die ad random in deze bak zijn aangebracht. Een robot dient op basis van de gegevens komende van een visiesysteem en een daarvoor ontwikkelde grijper de verschillende producten “gecontroleerd” uit de bak te halen. De bak dient zo ver mogelijk geledigd te worden zonder dat er een menselijke tussenkomst (voor het herschikken van de producten in de bak) vereist is.
• Case Borit – Ontwikkeling visiesysteem voor de visuele inspectie van dunne metalen bipolaire plaatjes, als halffabrikaat voor brandstofcellen en electrolysers.
• Case SoftKinetic - SoftKinetic wilde enkele van zijn camera’s laten benchmarken (t.o.v. elkaar en andere systemen) in een robot picking opstelling, zoals conveyor picking of (de)palletising.Case
• Case van Rooij – In-hand scanning met smart camera: De robot maakt met de “camera in de hand” een scan van het werkgebied. Daarin worden autonoom objecten gedetecteerd. Op basis van reeds bekende / mogelijke robot bewerkingen wordt een autonome keuze gemaakt voor wat te doen. Dit wordt als een voorstel naar de gebruiker gepresenteerd, die hier op hoog niveau zijn akkoord aan kan geven. De robot zal hierna zelfstandig de taken uitvoeren, zonder verdere interventie.
• Case Dewilde – In-hand scanning van kersen in blisters op transportband. Specs: 1sec/kers, prijsbudget visie 25kEUR.
• Case Induct/Octinion – Strawberry picking. De bedoeling is om door middel van visual servoing naar de vrucht te gaan. Initieel is de locatie van de vrucht gekend met ruime onzekerheidsmarges. Deze marges hebben te maken met de onnauwkeurigheid van een vast localisatiesysteem maar zijn ook gerelateerd aan het feit dat de vruchten hangen en dus kunnen bewegen. Bewegingen worden geïnduceerd door het plukken van vorige vruchten en door verplaatsingen van de robot tussen de rijen. Door het plaatsen van een camera op de robotarm, kan de positie van de vruchten, tijdens het naderen van de grijper tot de vrucht beter worden bepaald. Op die manier zal er met een groter succespercentage vruchten kunnen worden geplukt.
• Case MediTech - lokaliseren en opnemen van geneesmiddelverpakkingen in een smalle ruimte: Diverse geneesmiddelverpakkingen worden aangevoerd op een transportband, waarbij de doosjes reeds grotendeels verenkeld zijn. In een uitzonderlijk geval is het mogelijk dat er twee doosjes op elkaar liggen. Aan de beide zijden van de transportband bevindt zich een hoge wand (geen marge). De vrije hoogte bovenaan is eveneens beperkt. Doel is om de doosjes te lokaliseren, afmetingen en oriëntatie te bepalen en de doos te kunnen isoleren van de andere dozen en op een geordende manier op dezelfde band te plaatsen.
• Case Beltech - Welke structured light patronen kunnen het best gebruikt worden ter optimalisatie van de processing tijd en het aantal in te nemen beelden, zodat de puntenwolk zo snel mogelijk gegenereerd kan worden ?

Resultaten binnen bedrijven

• Van Rooij EDSE ontwikkelde op basis van de binnen het project ontwikkelde Multi Flash Camera een nieuw smart-camera prototype.
• Van Rooij EDSE ontwikkelde op basis van de binnen het project ontwikkelde detectie algoritmes (Point Pair Features) een nieuw software onderdeel (Aview++) voor de 3D detectie van werkstukken.
• Beltech ontwikkelde op basis van de voorgestulde structured light sensor een 3D scanning oplossing.
• Beltech bouwde in samenwerking met KUKA een bin picking demo cell.
• Intermodalics verbeterde op basis van de project resultaten de gebruikte sensor kalibratie.

Opgeleverde deliverables

Programmacode, technische documentatie en howto’s

Alle code van de Open Demonstrator Vision Guided Robot Picking die tijdens het project is gerealiseerd is ter beschikking gesteld op de volgende GitLab pagina:

https://gitlab.com/EAVISE/IWT_TETRA_Rapido

Deze code is gebaseerd op open source libraries en zelf ook wereldwijd beschikbaar gemaakt onder een niet-limiterende open source licentie. Ook uitgebreide technische documentatie en howto-guides zijn via het hierboven webadres raadpleegbaar.

Masterproeven, uitgevoerd in het kader van dit onderzoeksproject:
• 2014-2015: Xavier Dooms, “Camera gebaseerde robotsturing d.m.v. ROS implementatie met OpenCV”, KU Leuven Campus De Nayer Sint-Katelijne-Waver
• 2015-2016: Sebastian Van der Borght, “Camera gebaseerde robotsturing”, KU Leuven Campus De Nayer Sint-Katelijne-Waver
• 2015-2016: Sam De Kunst, “Vergelijkende studie van feature point detectoren en descriptoren in OpenCV voor robotsturing” , KU Leuven Campus De Nayer Sint-Katelijne-Waver
• 2015-2016: Jonas Van den Auwelant: “Localization and tracking of human operator arms in collaborative robot work cell”, KU Leuven Campus De Nayer Sint-Katelijne-Waver
• 2013-2014: Yannik Kenzeler en Joren Deneyer, “Gerandomiseerde padplanningsalgoritmen voor opnemen van willekeurig geplaatste werkstukken met zesassige robot in simulatie”, KU Leuven Campus Diepenbeek
• 2014-2015: Joris Beuls, "Experimentele evaluatie van botsingsvrije trajectgeneratie voor 3D random bin picking” , KU Leuven Campus Diepenbeek
• 2015-2016: Lucas Leenaers en Pieter Nelissen, “Automatische kwaliteitscontrole van te lassen en gelaste werkstukken” , KU Leuven Campus Diepenbeek
• 2015-2016: Wim Van der Aelst en Luca Castelli, “Ontwikkeling van een ROS-driver voor Epson C3 robots” , KU Leuven Campus Diepenbeek

Wetenschappelijke publicaties

• Abbeloos, Wim, Grielens, Sander, Goedemé, Toon; Vision Guided Random Picking for Industrial Robots; Research Day FIIW-ESAT/CW; 13 November 2015; 2015.
• Abbeloos, Wim, Goedemé, Toon; Point Pair Feature based Object Detection for Random Bin Picking; Conference on Computer and Robot Vision; Proceedings CRV 2016; p. 432-439; British Columbia.; June 1-3, 2016; 2016.
• Verheyen, M., Beckers, W., Claesen, E., Moonen, G., Demeester, E.; Vision-based Sorting of Medium Density Fibreboard and Grade A Wood Waste; Conf. on Emerging Technologies and Factory Automation; 6-9 September 2016.
• Abbeloos, Wim, Goedemé, Toon; Object Detection for Random Bin Picking using Point Pair Features; European Conference on Computer Vision; Amsterdam, The Netherlands, 11-14 October; 2016.
• Coudron, Inge, Goedemé, Toon; Multi-view ToF Fusion for Object Detection in Industrial Applications; VISAPP; Proceedings of the 12th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications; vol. 4; p. 203-207; Setúbal; 27 February - 1 March 2017; 2017.
• Wim Abbeloos, Fabian Gouwens, Simon Jansen, Berend Küpers, Maurice Ramaker, Toon Goedemé; Team Applied Robotics: A closer look at our robotic picking system; ICRA Workshop on Warehouse Picking Automation Workshop WPAW 2017, Singapore, 29th May, 2017.
• Submitted to ETFA: Jeroen De Maeyer, Bart Moyaers, Eric Demeester, Cartesian Path Planning for Arc Welding Robots: Evaluation of the Descartes Algorithm.
• In preparation: IROS paper on optimal combination of Point Pair Features and Range Templates for random bin picking (Wim Abbeloos and Toon Goedemé)

Brede disseminatie:

Demo’s:

• Abbeloos, Wim: Robotic picking system demonstration; RoboBusiness Europe; Odense; Denmark; 1-3 June 2016.
• Abbeloos, Wim Robotic picking system demonstration; Amazon Picking Challenge at RoboCup 2016 from June 30 – July 3, 2016 in Leipzig, Germany. Verheyen, Maarten; random bin picking demonstratie;
• Dag van de wetenschap; Diepenbeek; 22 november 2015
• Verheyen, Maarten; random bin picking demonstratie; Dag van de wetenschap; Diepenbeek; 27 november 2016

Populair-wetenschappelijke publicaties:

• Artikel in vaktijdschrift: Trends en ontwikkelingen bij visiesystemen: EAVISE onderzoekt nieuwe technologieën in Project RaPiDo:visiegestuurde random bin picking voor industriële robots, Motion Control Magazine, eds. Wouter Verheecke, PGM publishers.
• Blog over ons team bij de Amazon Picking Challenge: http://appliedrobotics.blogspot.be

Voordrachten:
• Toon Goedemé, RaPiDo voorstelling, Academia-to-business Forum georganiseerd door DSP Valley, 14 november 2013, bij imec in Heverlee.
• Wim Abbeloos, 3D bin picking, Vision&Robotics 2015, Eindhoven.
• Eric Demeester, Presentatie “Robot Programmatie: enkele lessen uit de praktijk, trends en uitdagingen”, CevoraIT Event, 25 november 2015, Berchem
• Toon Goedemé, “Nieuwe 3D-visiesystemen bieden ongekende mogelijkheden”, VistaLink 3D Roadshow, 24 februari 2016, Lamot, Mechelen.
• Inge Coudron, Toon Goedemé, workshop on AGV's for the Industry 4.0 shop floor, April 27 2016, Leuven

KULeuven Technologiecampus Diepenbeek - ACRO
KULeuven Technologiecampus De Nayer - EAVISE

beltech, borit, ceratec, dewilde engineering, dspvalley, egemin, gibas, induct, intermodalics, kuka, materialise, meditech, phaer, robberechts, sirris, softkinetic, vanrooij-EDSE, ABB, datavision, festo, flemac, imtech, intrion, robomotive, SEDAC, sick, vistalink

Toon Goedemé
Artificiële Intelligentie (AI), Automatisatie, Robotica, Controlesystemen, Embedded Systemen en Real Time Systemen, Image/Video Computing, Imaging, Image Processing, Pattern Recognition
Eric Demeester, Toon Goedemé, Wim Abbeloos
Luc Verhoeven (Just Innovation), Luc Larmuseau (iLLumoo)
http://www.eavise.be/rapido
Share this on
Page RaPiDo_Ei....pdf
407.8 KB