Programma

Programma: TETRA: Technologie-transfer gerichte projecten door instellingen van hoger onderwijs
Startdatum: 01/10/2014
Einddatum: 01/10/2016

Projectdoelstellingen

• De koppeling van warmte- en dieptebeelden (ToF) met de eindige elementenmethodes binnen een CAD/CAE-omgeving. 
• Het koppelen van kleur- en diepte-informatie in robotica (object manipulatie). 
• Het koppelen van 3D , IR en RGB bij het opvolgen van sportlui in een fitness center. 
• Het koppelen van warmte, kleur en diepte-informatie ten behoeve van security, maar robuust tegenover allerlei weersomstandigheden (zon, regen, mist…) en over grotere afstanden (bvb: 80 m.). 
• Het koppelen van warmte en diepte informatie bij de opvolging van ouderlingen in een thuissituatie of in een home. 
• Het koppelen van warmte en diepte-informatie ten behoeve van ‘smart navigation’. (AGV's en rolstoelen).

Wat we in het bijzonder nastreven is:

a. Knowlegde Fusion: na de inkanteling van twee hogescholen in dezelfde faculteit.
b. Data Fusion: van informatie die aangeleverd wordt door verschillende camera-types.
c. Tool Fusion: van actuele softwarepakketten die toelaten 3D data te verwerken. (Matlab, Halcon, OpenCV, MeshLab, NX,...).
d. Knowledge Sharing: met bedrijven, KMO's, de zorgsector en met andere onderzoeksgroepen.
e. Proof of concepts: de relevante gegevensverwerking wordt via praktische cases aangetoond.
f. Networking: o.a. via deelname aan de Vision en Robotics beurs in Nederland willen we binding houden met vele bedrijven in de Benelux. Ook twee studiedagen de deelname aan congressen leidt tot directe netwerking.
g. Wetenschappelijke publicaties: zodat de vorderingen publiek worden en de inhoud wetenschappelijk gevalideerd.

Doelgroep

Overzicht van de doelgroepen:

a. Produktieomgevingen die te maken hebben met ‘intelligent material handling’: logistiek, robotica, sortering.. Zowel de systeem-integratoren als de eindgebruikers. 
b. Bedrijven die inzetten op autonome navigatie-mogelijkheden (AGV’s , Autonomous Cars, Wheelchairs). 
c. Bedrijven die te maken hebben met kwaliteitsbepalingen: productie-kwaliteit, gebouw-isolatie, materiaalkarakteristatie, sortering o.b.v. kwaliteit, … 
d. Engineering & Consultance: nieuwe productie-opvolging, haalbaarheidsstudies. 
e. Bedrijven die te maken hebben ‘security’: bewaking van bedrijfsterreinen, bewaking van ‘sluizen’, bewaking van toegangspoorten, toezicht allerhande … 
f. Organisaties uit de zorgsector: rolwagenbesturing, het ‘thuis’-toezicht op ouderlingen, bejaardentehuizen,… 
g. De sector van de fitness centra en de medische technieken: de 3D-evaluatie van de lichaamshouding en de energetische prestaties. 
h. Organisaties uit de wetenschappelijke sector: ‘fundamenteel’ onderzoek, verberteringen van algoritmen uit de artificiële visie-intelligentie, toepassingsgericht onderzoek, specifieke opleidingen aan de universiteit (Fysica, Biomedische, Masters Elektromechanica… ).

Samenvatting

Industriële Visietechnologie kan terugvallen op een jarenlange traditie waarin beeldinformatie afkomstig van allerlei cameratypes vlot geïnterpreteerd wordt (RGB, Infrared, Hyperspectraal, Time of flight ToF, Sheet of light SoL, Lidar,...). Ook de bijhorende software (Matlab, Halcon, OpenCV...) biedt overvloedig veel mogelijkheden, waardoor directe artificiële visie-intelligentie mogelijk werd. Cameratypes werden in het recente verleden ook met elkaar gecombineerd in één behuizing: kleur en diepte werden voor het eerst gecombineerd door Optrima (VUB, het latere SoftKinetic), kleur en warmte vindt men terug bij XenICs en FLIR. Ook andere combinaties ziet men op de markt verschijnen (in het bijzonder ook in de militaire toepassingen). Ook de beeldresolutie neemt met een goede regelmaat toe. High Speed Time of Flight camera's lijken op komst. In afwachting van een volledige integratie beseffen bedrijven dat de fusie van data, afkomstig van verschillende camera’s (Point Clouds), belangrijk is voor de volgende generatie van applicaties op het vlak van: kwaliteitscontrole, industriële bewaking, robotica, smart navigation, onderhoudsactiviteiten en vele andere.

Ook het computer gesteund ontwerpen (CAE) nam een grote vlucht. Rapid Prototyping groeide verder door naar 3D printtechnieken. Eindige Elementenberekeningen werden evidente rekentechnieken, die het mechanisch ontwerpen op een directe wijze ondersteunen.

Bedrijven zijn op de hoogte van de evolutie op het gebied van 3D-vision, CAE en design. Dit wordt bevestigd door de overvloedige bedrijfsinteresse in dit domein. Op de beurs Vision & Robotics, waar onze onderzoeksgroep drie jaar op rij vernieuwende mogelijkheden toonde (navigatie, robotica, road damage control), zien we vele bedrijven (+/_ 1300/jaar) geboeid kennismaken met de concrete technologische mogelijkheden van Time of flight camera’s (ToF) en andere principes van 3D-meettechnieken.

Anderzijds, tussen het ‘weet hebben van’ mogelijkheden en de concrete toepassing ervan in nieuwe omstandigheden ligt voor vele bedrijven een kloof die niet eenvoudig overbrugd wordt. Vandaar de industriële vraag naar samenhangend inzicht in de mogelijkheden van 3D-vision in relatie tot 3D-design en productie-opvolging.

Het is omwille van die industriële vraag naar kennis, dat een aantal vakspecialisten binnen de opleiding Elektromechanica van de pas opgerichte faculteit Toegepaste Ingenieurswetenschappen van de Universiteit Antwerpen gecoördineerde acties willen ondernemen via dit TETRA-project. Onderzoekers uit de voormalige Hogescholen ‘Artesis en Karel de Grote’ brachten hun 3D-expertise samen en verbonden hun interne netwerken met elkaar (BIMEF, VisionLab, Active Perception Lab, AVRG). Ook hun externe industriële netwerken komen daardoor samen (CAD, Visie-technologie, Vision&Robotics, ...) . Vanuit die opstelling willen ze een antwoord bieden op de vraag naar coherent inzicht in de state of the art van 3D-Vision en 3D-design. 

In het TETRA-project ‘Smart Data Clouds (2014-2016)’ willen we de ‘knowhow’ bundelen en via cases de potentiële mogelijkheden op een rijtje brengen. We streven er vooral naar om directe kalibratiemethodes aan te tonen, zodat iedere technicus nieuwe camera-opstellingen of ontregelde systemen vanuit z’n eigen kennis kan bijstellen. Uit de praktijk weet men dat kalibraties die op allerlei ‘checkerboard’ patronen steunen, gespecialiseerde kennis vergen en bovendien tijdrovend zijn. Indien die kennis niet ‘in huis’ is, dan is het oponthoud bij faling onaanvaardbaar groot en geraakt het vertrouwen in de technologie vaak verloren. 

Via de praktijkgerichte industriële cases, worden de mogelijkheden concreet aangetoond: gaande van statische opstellingen, bewegende objecten op transportbanden, bewegende camera’s verbonden aan een meetrobot of een automatisch geleid voertuig (smart car), vrij bewegende camera’s die door een onderhoudstechnicus tijdens inspectie-rondes worden gedragen; en ten slotte de vrij bewegende camera’s (6 DoF) die verbonden worden aan zgn. quadrocopters. 

Deze opdeling sluit mooi aan bij de vragen die de deelnemende bedrijven ons voorlegden: 

• Port of Antwerp heeft voor de bediening van sluizen een systeem nodig voor stabiele monitoring en detectie op grotere afstanden, ook bij ongunstige weersomstandigheden. 
• Macq wil Traffic Control ontwikkelen voor een nauwkeurige detectie en classificatie van voertuigen en andere weggebruikers. 
• Piam wenst 3D-overzicht te houden tijdens de AGV-navigatie bij het stapelen en vervoeren van goederen in magazijnen. 
• RSscan, ICrealisations, Absolid, wensen 3D-body scans te analyseren van de lichaamsbewegingen van sporters of tijdens de revalidatieoefeningen van kinepatiënten. 
• Mo-Vis, Absolid, RSsscan en ICrealisations willen via beeldtechnologie antwoorden bieden voor een aantal hangende vraagstukken uit de zorgsector (rolstoelnavigatie, analyse en detectie van gebaren en lichaamsbewegingen). 

Via deze industriële cases willen we in dit project (2014-2016) de potentiële mogelijkheden op een rijtje zetten en de knowhow bundelen om tot werkbare smart data clouds te komen. Bij de realisatie van de cases wordt de gebruikersgroep intensief betrokken: o.a. via de verslaggeving en brainstorm sessies in de gebruikerscommissies, de bedrijfsbezoeken, de studiedagen, bedrijfsvoordrachten, de opleidingen en de masterthesissen. De doelgroep van het TETRA-project is zeer omvangrijk (industriële productie, smart navigation, security …). Als economische impact, moet gewezen worden op de talrijke toepassingsmogelijkheden van data fusion, waardoor de concurrentiële positie van de bedrijven pertinent verbetert. Ook de zorgsector zal ruim profijt halen uit de behandelde cases. In de eerste plaats bij het organiseren van toezicht op ouderlingen en anderzijds ook ten behoeve van de ‘free navigation’ van rolstoelen. Rolstoelpatiënten zullen daardoor meer bewegingsvrijheid bekomen.

Resultaat

a. Knowlegde Fusion: vanuit onze onderzoeksgroep ‘Op3Mech’ willen we expertise samenbrengen die we afzonderlijk hadden opgebouwd in de voormalige Hogescholen. Na ruim overleg, ontstond de vaststelling dat de grootste gemeenschappelijke expertise zich bevindt ter hoogte van 3D-puntenwolken die o.a. voortkomen bij de time of flight camera’s in het labo Industriële Visie en de ontwerp en optimalisatie-kennis die aanwezig is via de CAD-praktijk (NX, Inventor..). Ook de ruime kennis van toegepaste thermografie komt ten goede aan dit project.

b. Data Fusion: heel wat camera-types en hun bijhorende software zijn in staat informatie voort te brengen die op een driedimensionele wijze aanwezig is in het tafereel dat wordt waargenomen. Ruimte-informatie wordt op een welbepaald tijdstip afgebeeld op een plat vlak. Het kan gaan om kleur, diepte en temperatuur. Ook hun ruimte- en tijdsafgeleiden bevatten informatie in de context van vele applicaties. Elk van de kleurkanalen wordt de dag van vandaag verder verfijnd in tal van inspectiekanalen. Het betreft allerlei vormen van hyperspectraal banden, varianten van infrarood (IR) en ‘near infrared NIR’, lasertechnieken e.a. Indien zulke camera’s naar eenzelfde scene kijken, dan zal de samenvoeging van de gegevens heel wat mogelijkheden bieden ten aanzien van de interpretatie van de scene. Of het dan gaat om info die bijdraagt tot het beter navigeren, of het evalueren van de rijpingsgraad van fruit, of het zoeken naar hot spots of bewegende objecten in een technische omgeving, maakt niet echt veel uit. Ieder bedrijf heeft wel zijn typische omstandigheden, die via data fusion beter toegerust worden om te kunnen automatiseren.

c. Tool Fusion: we willen voor de bedrijven en voor onszelf uitzoeken wat de nodige en noodzakelijke camera’s en tools zijn om vlot te kunnen omgaan met het genereren van betrouwbare 3D-puntenwolken. Cameratypes moeten aangepast worden aan applicatie-omstandigheden en software-mogelijkheden als Matlab, Halcon e.a., die licentiegestuurd worden; tegenover de Open Source software als OpenCV en Meshlab die bedrijven meer onafhankelijk kan bieden. Het moet overwogen worden wanneer het profijt groter is: MET licentie en ondersteuning of ZONDER licentie en zonder ondersteuning. Het TETRA-project wil een juiste brug leggen tussen beide mogelijkheden.

d. Knowledge Sharing: alle activiteiten die ontplooid worden, leiden ertoe dat kennis verzameld wordt op het geschikte niveau (Bachelor, Master, PhD, bedrijf, internationaal) en dat die kennis dan via de juiste kanalen bij de verschillende actoren terecht komt (cursus, studiedagen, thesissen, bedrijfsopleidingen, wetenschappelijke publicaties, conferenties, web site..).

e. POC cases: om de waarde van theoretische constructies aan te tonen moeten ze visueel gemaakt worden in zeer concrete applicaties. Zulke cases vormen aanvankelijk zogenaamde ‘proofs of concept’ en groeien dan (na 18 maanden) door naar concreet afgewerkte applicaties bij de bedrijven van de gebruikersgroep:

• De koppeling van warmte- en dieptebeelden (ToF) met de eindige elementenmethodes binnen een CAD/CAE-omgeving. 
• Het koppelen van kleur- en diepte-informatie in robot-gestuurde object-manipulatie-vraagstukken. Random posities, overwogen padplanning. 
• Het koppelen van 3D en RGB bij het opvolgen van sportlui in een fitness center. 
• Het koppelen van warmte, kleur en diepte-informatie ten behoeve van security, maar robuust tegenover allerlei weersomstandigheden (zon, regen, mist…) en over grotere 
meetafstanden (bvb: 80 m.). 
• Het koppelen van warmte en diepte informatie bij de opvolging van ouderlingen in een vooraf opgemeten omgeving. 
• Het koppelen van warmte en diepte-informatie ten behoeve van ‘smart navigation’.

f. Networking: om verbonden te blijven op een hoog industrieel niveau moet men zijn network voortdurend aanvullen en de contacten actief onderhouden. Projecten als ‘TETRA’ vormen daar op Vlaams niveau een prima gelegenheid toe. Op die locale netwerkenen vormen de contacten met Wallonië, Nederland en Duitsland dan een mooie aanvulling. Onder andere via de jaarlijkse beurs ‘Vision & Robotics’, hebben we op die wijze mooie netwerken opgebouwd met de ruime omgeving van Vlaanderen. Ook de deelname aan congressen op Europees niveau maken deel uit van het actief onderhouden van ons netwerk. 

g. Wetenschappelijke publicaties: om de vorderingen die men in onderzoek maakt wetenschappelijk te valideren, is het belangrijk dat de synthese van de experimenten, methodes en rekentechnieken opgenomen worden in de collectie van publicaties die het vakdomein overspant. Papers vormen enerzijds een sluitstuk van een reeks onderzoeksactiviteiten en anderzijds vormen ze dikwijls het vertrekpunt voor andere onderzoekers om aangetoonde onderzoekspaden te volgen of er verbeteringen op te bedenken.

Extra informatie

Voor extra informatie kan u steeds terecht bij:

Luc Mertens: luc.mertens@uantwerpen.be
Gunther Steenackers: gunther.steenackers@uantwerpen.be

Contact

Op3Mech
Luc Mertens
Groenenborger Gebouw Z
G.Z.328
Groenenborgerlaan 171
2020 Antwerpen
Belgiƫ
Tel. +32(0)3 265 1927
Fax +32(0)3 265 1927
luc.mertens@uantwerpen.be