Mixed reality in het operatiekwartier

IT in de zorgsector

Dr. Tim Tollens is diensthoofd chirurgie in het Imeldaziekenhuis. Hij is zelf specialist in abdominale heelkunde en meer bepaald complexe littekenbreukchirurgie. “De ontwikkeling van IT is in onze sector weliswaar zichtbaar, maar verloopt naar mijn aanvoelen te traag”, merkt hij op. “Corona zorgt op dat vlak wellicht voor een versnelling. De patiënt is intussen veel meer vertrouwd met videoconsultaties en advies vanop afstand.” De dokter is trouwens zelf bijzonder geïnteresseerd in het gebruik van IT in zijn vak en altijd op zoek naar nieuwe toepassingen. Dat leidde tot een Vlaamse primeur.

Livestream met smartglass

“Via het medische technologiebedrijf Becton Dickinson kwam ik in contact met de HoloLens, de mixed reality-headset van Microsoft”, vertelt hij. “In die context maakte ik ook kennis met Mr. WattsNieuw venster, een Belgisch bedrijf dat toepassingen voor de HoloLens ontwikkelt.” Dokter Tollens had al ervaring met het filmen van chirurgische ingrepen voor opleiding en onderzoek.

Met de HoloLens kwam er een camera bij, waarbij de anderen de ingreep als het ware door de ogen van de chirurg kunnen volgen. Met de smartglass op voerde dokter Tollens een complexe littekenbreukoperatie uit. Vanop 280 locaties in 49 landen volgden artsen de livestream.

Via de HoloLens heeft de chirurg aan de operatietafel toegang tot allerhande informatie en medische beelden.

Dr. Tim Tollens

Projectie op de patiënt

“De echte toegevoegde waarde zit in de toepassing die Mr. Watts ontwikkelde”, vervolgt dokter Tollens. “Die creëert een virtuele ruimte waar je via de HoloLens toegang toe krijgt. Zo kan je als chirurg het medisch dossier van de patiënt openen in die virtuele ruimte.” De bediening van de app gebeurt via stem, gebaren of oogbewegingen. “Ik hoef daarvoor de operatietafel niet te verlaten en mijn handschoenen niet uit te doen om iets te checken op de pc.” Via de HoloLens is alle info meteen op een veilige manier beschikbaar aan de operatietafel.

3D-visualisatie

Het grootste voordeel schuilt echter in het gebruik van mixed reality (MR). De toepassing toont via de HoloLens medische beelden – bijvoorbeeld van een CT-scan – en projecteert die op de patiënt. Zo kan de chirurg in het MR-beeld zien waar de exacte locatie van het probleem zich bij de patiënt bevindt. Het laat de chirurg toe heel gericht de locatie van de ingreep te bepalen, zonder daarbij al invasief te hoeven zijn. “Die techniek – 3D-visualisatie en -superpositie – is wat mij betreft echt de toekomst”, zegt dokter Tollens.

Voordeel in het operatiekwartier

Uit de ingreep die de dokter uitvoerde, ondersteund door de HoloLens en de toepassing van Mr. Watts, bleken meteen nog enkele belangrijke praktische voordelen. “In de operatiezaal is er geen nood meer aan dure videoschermen met allerlei complexe bekabeling”, klinkt het.

“De beelden die de chirurg nodig heeft, verschijnen op zijn smartglass. Dat maakt het niet alleen handiger om te werken voor het hele team, maar bespaart ook een pak kosten bij de inrichting van een operatiekwartier.”

Gemaakt voor 5G

Dokter Tollens kijkt enthousiast terug op zijn eerste ervaring met de headset en MR-applicatie, al blijft er ruimte voor verbetering. “3D-constructies renderen en op een correct geijkte manier poneren, blijft een uitdaging. Maar goed, het is een kwestie van tijd om dat verder te verfijnen.” Bij het gebruik van de HoloLens bewegen grote datavolumes zich tussen de smartglass en de applicatie die in de cloud draait. “Het is het soort toepassing waar 5G voor bedoeld is.” Elke keer de arts zijn hoofd beweegt, stelt de toepassing het beeld in real time bij, zonder vertraging.

Het is niet de enige toepassing waarbij 5G straks het verschil zal maken. “Ik kijk onder meer met veel interesse naar Microsoft Mesh, wat holografische samenwerking vanop afstand mogelijk zal maken”, zegt dokter Tollens. “In het ziekenhuis willen we onder meer inzetten op een holografisch trainings- en consultatieplatform.” Alles wijst erop dat het gebruik van holografische toepassingen – zoals VR en MR – een snelle groei zal kennen, ook in de medische sector, met dank aan 5G.