Réalité mixte au bloc opératoire

L’IT dans les soins de santé

Le Dr. Tim Tollens dirige le service de chirurgie de l’hôpital Imelda. Il est lui-même spécialisé en chirurgie abdominale et en chirurgie de l’éventration, une discipline complexe. “Le développement de l’IT dans notre secteur est peut-être visible, mais il est trop lent à mon sens”, constate le chirurgien. “La crise sanitaire a probablement accéléré les choses. Le patient s’est habitué aux consultations vidéo et aux conseils à distance.” L’intérêt du médecin pour l’utilisation de l’informatique dans sa discipline et sa recherche perpétuelle de nouvelles applications a donné lieu à une première en Flandre.

Retransmission en direct grâce aux lunettes intelligentes

“J’ai découvert HoloLens, le casque de réalité mixte de Microsoft, par l’intermédiaire de l’entreprise de technologie médicale Becton Dickinson”, explique-t-il. “C’est également dans ce contexte que j’ai connu Mr. WattsNouvelle fenêtre, une entreprise belge qui développe des applications pour le casque HoloLens.” Le docteur Tollens avait déjà filmé ses interventions chirurgicales dans le cadre de la formation et la recherche.

Le casque HoloLens est muni d’une caméra, ce qui permet à d’autres personnes de suivre en quelque sorte l’intervention à travers les yeux du chirurgien. Le docteur Tollens a pratiqué une chirurgie complexe de l’éventration en portant les lunettes intelligentes. Des médecins l’ont suivi en direct au départ de 280 sites dans 49 pays.

À travers le casque HoloLens, le chirurgien a accès à toutes sortes d’informations et d’images médicales en direct depuis la table d’opération.

Dr. Tim Tollens

Projection sur le patient

“La véritable valeur ajoutée réside dans l’application développée par Mr. Watts”, poursuit le docteur Tollens. “Celle-ci crée un environnement virtuel auquel vous accédez grâce au casque HoloLens. Le chirurgien peut par exemple ouvrir le dossier médical du patient dans cet espace virtuel.” L’application est commandée par la voix, les gestes ou les mouvements oculaires. “Je n’ai donc plus besoin de quitter la table d’opération ni de retirer mes gants pour vérifier une donnée sur l’ordinateur.” Grâce à HoloLens, toutes les informations sont disponibles directement et en toute sécurité depuis la table d’opération.

Visualisation en 3D

Le principal avantage réside dans l’utilisation de la réalité mixte (mixed reality - MR). Via le casque HoloLens, l’application montre des images médicales – par exemple d’un CT-scan – et les projette sur le patient. Le chirurgien voit dans cette image en réalité mixte où se situe précisément le problème du patient. Et cela lui permet de cibler très précisément l’emplacement de l’intervention, sans être trop invasif. “Selon moi, cette technique – la visualisation et la superposition en 3D – représente vraiment l’avenir”, déclare le docteur Tollens.

Avantage au bloc opératoire

L’intervention chirurgicale pratiquée par le médecin à l’aide du casque HoloLens et de l’application de Mr. Watts a révélé plusieurs avantages pratiques importants. “Les écrans vidéo onéreux et tout le câblage complexe qui les accompagne ne sont plus nécessaires en salle d’opération”, semble-t-il.

“Les images dont le chirurgien a besoin apparaissent sur ses lunettes intelligentes. Une solution non seulement beaucoup plus pratique pour collaborer avec toute l’équipe, mais qui permet aussi de réaliser des économies substantielles lors de l’aménagement d’un bloc opératoire.”

Faite pour la 5G

Le docteur Tollens évoque avec enthousiasme sa première expérience avec le casque et l’application de réalité mixte, même si des améliorations restent possibles. “Afficher des constructions en 3D de manière correctement calibrée reste un défi. Mais cela s’affinera avec le temps.” Lorsque nous utilisons HoloLens, de grands volumes de données se déplacent entre les lunettes intelligentes et l’application hébergée dans le cloud. “C’est exactement pour ce type d’application que la 5G est prévue.” Chaque fois que le médecin bouge la tête, l’application ajuste l’image en temps réel, sans aucune latence.

Ce n’est pas la seule application dans laquelle la 5G fera bientôt la différence. “Je m’intéresse notamment beaucoup à Microsoft Mesh, qui permettra une collaboration holographique à distance”, explique le docteur Tollens. “À l’hôpital, nous projetons d’investir dans une plateforme de formation et de consultation holographique.” Tout porte à croire que l’utilisation des applications holographiques comme la VR et la MR se développera rapidement, y compris dans le secteur médical, grâce à la 5G.