Bits&Chips

Virtual-realitysystemen lossen beloften eindelijk in

Auteur: Sjaak Verwaaijen en Peter Boots
31 mei 2013 

Virtual-realitytechnieken worden steeds goedkoper en kunnen daarom worden ingezet bij de ontwikkeling van een product of systeem. Dit levert kostenbesparingen op, omdat we fouten in het ontwikkelproces eerder kunnen opmerken. Het Virtual Reality Laboratorium van Fontys Hogeschool ICT in Eindhoven verkent samen met verschillende bedrijven het VR-landschap.

Virtual reality was jarenlang een belofte, maar de techniek was er tot voor kort ofwel nog niet klaar voor, ofwel was zij extreem duur. Dankzij een constante ontwikkeling van die techniek zien we echter steeds meer berichten over geslaagde VR-toepassingen - niet zozeer in het dagelijks leven, maar vooral op medisch en technisch gebied.

Zo kunnen mensen met pleinvrees met VR worden behandeld zonder dat ze echt naar buiten hoeven, en kunnen chirurgen op operaties oefenen zonder patiënt of dummy. Of denk aan de ontwikkeling van een nieuw type vrachtwagen, waarin chauffeurs kunnen rondrijden en waaraan monteurs kunnen sleutelen voordat het voertuig er überhaupt staat. Ontwikkelaars, researchers, trainers, therapeuten, architecten en vele andere beroepsgroepen kunnen op die manier al in een vroeg stadium betrouwbare feedback krijgen.

Het valt niet mee om dat inzicht voor het voetlicht te brengen. Je kunt een VR-ervaring niet echt in woorden beschrijven en ook niet tonen op een beeldscherm of een smartphone. Je moet het zelf ervaren om te weten wat we bedoelen. Voor bedrijven en andere instellingen is de drempel om VR te gaan toepassen dan ook vaak te hoog. Ze hebben misschien wel goede ideeën, maar te weinig kennis in huis en te weinig vertrouwen in een goede afloop om erin te durven investeren.

Fontys Hogeschool ICT heeft daarom enige jaren geleden besloten een goed uitgerust state-of-the-art VR-lab op te zetten, zodat bedrijven kunnen zien wat het inhoudt en studenten toepassingen kunnen bedenken en maken voor die bedrijven. In ons Virtual Reality Laboratorium werken studenten, docenten en bedrijven samen aan deze technieken, meestal in het kader van onze minor VR, maar soms ook als stage- of afstudeeropdracht. In dit artikel beperken we ons tot de beschrijving van het meest in het oog springende onderdeel van het VR Lab, de Virtual Reality Cave, maar in het kader ’Desktop-VR‘ beschrijven we deze techniek ook kort.

Python

De VR Cave is een kubusvormige ruimte van ongeveer drie bij drie meter, bestaande uit drie lichtdoorlatende wanden en een reflectieve vloer. De achterwand en het plafond zijn open. Op elke wand projecteren twee Digital Light Processing-beamers vanaf de achterkant, voor de vloer hangen er twee beamers aan het plafond. De beelden hebben een resolutie van 1280 bij 1024 pixels en elke videoprojector levert net verschillende beelden aan: een voor het linkeroog en een voor het rechter. De gebruiker dient een passieve bril te dragen.

Elk paar DLP-beamers is verbonden met een 2,4 GHz Core 2 Quad-pc met een stevige videokaart met twee DVI-uitgangen. Deze vier clients vormen samen met een server een cluster, gekoppeld door middel van een gigabitswitch. Het kwartet wordt gesynchroniseerd door de server.

Als de beamers uit staan, sta je in een nietszeggende witte kamer. Zodra ze aan gaan, wordt je direct ondergedompeld in een andere wereld, die je overal om je heen ziet (we noemen dit immersion). Als je rondloopt, lijkt het alsof wanden en vloer transparant zijn, zodat je de virtuele wereld erdoorheen ziet. Het beeld past zich realtime aan je positie aan, waardoor je altijd een correct perspectief ziet.

Het systeem meet je positie en kijkrichting middels een trackingsensor op de bril. Deze informatie gaat naar de server en van daaruit naar de clients, die haar gebruiken voor de stereoscopische rendering. Het trackingsysteem is gebaseerd op een magnetisch veld dat we in de Cave opwekken. Er zijn drie sensoren, bijvoorbeeld om het hoofd en twee handen te volgen.

Interactie met de virtuele wereld gebeurt in eerste instantie doordat je vrij in de Cave kunt rondlopen. Je kunt om virtuele voorwerpen heen lopen en ze zo van alle kanten bekijken. De ruimte in de Cave is echter beperkt, dus we willen deze ook in zijn geheel als een soort platform door de virtuele wereld kunnen verplaatsen (we noemen dat navigatie). Voor een goede, interactieve immersion-ervaring is het verder van belang dat het mogelijk is om virtuele voorwerpen vast te pakken (manipulatie) of op virtuele knoppen te drukken (selectie).

Voor navigatie, selectie en manipulatie gebruiken we vaak een Wiimote met de zogenaamde Nunchuck-extensie. Veel gebruikers hebben echter moeite met de vele knoppen. We hebben daarom onderzoek gedaan naar meer intuïtieve manieren van interactie en hebben onder meer goede resultaten geboekt met speciale handschoenen die aan de stand van je vingers kunnen zien of je iets vastpakt of ergens naar wijst.

Applicaties voor de Cave kunnen we op diverse manieren ontwikkelen. Het gaat heel snel en betrekkelijk gemakkelijk in Python met Worldviz Vizard, een omgeving voor VR-ontwikkeling, maar ook C++ met OpenGL/VR-Juggler, C# met XNA en Unity 3D kunnen we gebruiken. Voor een globale toelichting hoe we de Cave kunnen programmeren met Vizard zie het kader ’Cavelib‘.

Feedback

Een van de bedrijven waarmee we samenwerken in het kader van de minor VR is Philips Innovation Services. Het doel was om twee ziekenhuisomgevingen te creëren waarin de gebruiker vrij kan rondlopen en interactie kan hebben met de omgeving: de eerste is een onderzoekskamer met een MRI-machine en bijhorende controlekamer, de tweede is een operatiekamer met een röntgenapparaat boven een operatietafel en ook met een controlekamer. De belangrijkste onderzoeksvraag was: hoe kunnen we op een zo natuurlijk mogelijke wijze de settings observeren en interacteren met de objecten.

Philips voorzag de studenten van de 3D-modellen die nodig waren om de beide settings te visualiseren: kamer, scanner, stoelen, bureau, ramen en deuren. In de Cave zie je deze modellen op ware grootte, en vanwege de bewegingsruimte en de interactie ontstaat het sterke gevoel dat je echt in deze kamers aanwezig bent. Hierdoor krijgen toekomstige gebruikers van de ruimtes - chirurgen, bijvoorbeeld - een levensechte indruk hoe het eruit zal zien en hoe het zal zijn om erin te werken. Is alles makkelijk bereikbaar, staat of hangt er niets in de weg, kunnen aanwezigen elkaar goed zien? Dat soort vragen kunnen we geheel virtueel uittesten.

Met behulp van deze virtuele wereld zou Philips Innovation Services zijn visie op de volgende generatie producten kunnen tonen aan zijn klanten en de ontwikkeling van producten in een vroeg stadium monitoren. Zonder VR worden deze concepten weergegeven met behulp van dure testmodellen van schuim of abstracte 2D-bouwtekeningen. Het idee is dat het gebruik van VR de ervaring voor klanten sterk zal verbeteren.

De minorstudenten hebben op Scrum-achtige wijze, in korte sprints, prototypes gemaakt met Vizard en die steeds aan Philips getoond om feedback te krijgen. Het onderzoek heeft nieuwe, intuïtieve manieren van navigatie en selectie opgeleverd die geen gebruik maken van de Wiimote. Zo kun je navigeren door de virtuele wereld door simpelweg naar de wand van de Cave te lopen, virtuele knoppen indrukken met een van de sensoren in de hand en voorwerpen vastpakken door een grijpbeweging te maken met een hand. Dit project heeft geresulteerd in een langdurige, enthousiaste samenwerking en de resultaten zijn voor Philips dusdanig bemoedigend dat het verder gaat met dit onderzoek.

Soortgelijke projecten doen we of hebben we gedaan met Daf, Vanderlande en andere bedrijven.

Sjaak Verwaaijen is docent op Fontys Hogeschool ICT en oprichter van het VR Lab . Peter Boots is als docent betrokken bij de minor VR. Fontys Hogeschool ICT organiseert in januari 2014 een VR-symposium.

Redactie Paul van Gerven

Abonneer direct op onze nieuwsbrief

abonneren

Introduction to sysML

22 mei

Eindhoven

Introduction to sysML

22 mei

Eindhoven

Power integrity for product designers

24 mei - 25 mei

Eindhoven