Was?

Das Projektvorhaben MediHopps realisiert erstmalig eine Full Body Holoportation für XR-Brillen, die ohne die Notwendigkeit hochpreisiger externer Hardware ein präzises Tracking des gesamten Körpers in XR ermöglicht. Das Tragen der multisensorischen Brille ermöglicht eine präzise Erfassung von Körperhaltungen & -bewegungen und die Übertragung dieser auf digitale Avatare. Eine XR-Plattform unterstützt die kollaborative Ausführung von Rehasporteinheiten, durch die qualitative Betreuung eines Trainers. In Kombination mit einem KI gestützten Rehasport-Assistenzsystem werden Rehaübungen im Hinblick auf korrekte Ausübung klassifiziert. Die Beurteilung wird als Echtzeit-Feedback an Nutzer und Trainer zurückgegeben. Ziel der Entwicklung ist die Erstellung eines sensorreduzierten modularen XR-Gruppen-Kollaborationsraum für die medizinisch präzise Telerehabilitation. Das Projektvorhaben fokussiert sich aufgrund ihrer Effektivität zunächst auf dynamische Rehasport-Übungen in den Anwendungsfeldern „Mobilisierung“ und „Kräftigung“. Die Lösung ist jedoch für alle gerätelosen Übungen einsetzbar, bspw. auch in Dehn- oder Gleichgewichtsübungen.

Wie?

Die Ausführung von Rehasporteinheiten mit entsprechender XR-Sensorik (integrierte Kameras, IMU-Sensoren) erhebt Trainingsdaten zur Umsetzung des Projekts und bereitet diese auf. Bestehende XR-Brillen verfügen über mehrere integrierte, geschickt platzierte Kameras, die die gesamte Körpervorderseite des Tragenden im Sichtfeld erfassen. Somit sind sie sehr gut für die Realisierung eines Full Body Holoportationsystems geeignet. Diese Daten, bestehend aus Bewegungen und Körperposen, werden für das Training einer künstlichen Intelligenz verwendet.
Die Auswertung visueller Informationen (Blickwinkel, sichtbare Körperteile), IMU-Informationen (Beschleunigungs-, Geschwindigkeits- und Winkelinformationen) sowie einer Zeitreihenanalyse (Veränderung über definierte Zeitachsen) ermöglicht die Ableitung einer Körperhaltung und -bewegung. MediHopps entwickelt auf Basis neuster Ansätze des 3D-Human Body Modells ein wesentliches Innovationsmodul des Holoportation Systems zur anatomisch korrekten und präzisen Übertragung der Körperhaltungen und -bewegungen auf 3D-Avatare. Diese Innovationsmodul ermöglicht einen kollaborativen, virtuellen und kontrollierten Rehasport in XR-Trainingsräumen. Als Mehrwertdienst bietet ein Rapid Content Creation Modul die niedrigschwellige Erstellung neuer virtueller Rehaübungen durch den Trainer im System.