22/04b: Work in Progress
3D tracking for the visualization of anatomic models with augmented reality and 3D printing
(gl) Seguimento e aliñamento 3D para a visualización de modelos anatómicos mediante realidade aumentada e impresión 3D
(es) Seguimiento y alineación 3D para la visualización de modelos anatómicos mediante realidad aumentada e impresión 3D
Student
Brais Barboza Ordóñez
- Final year project,
BSc in Computer Science, UDC
(TFG Grao en Enxeñería Informática, UDC)
Supervision
José Antonio Iglesias Guitián (CITIC-UDC)
Francisco Javier Taibo Pena (UDC)
Emilio José Padrón González (UDC)
Tipo de traballo
Desenvolvemento en investigación
Breve descrición
A aplicación de técnicas de realidade estendida (XR, compendio de realidade virtual, aumentada e mixta) no campo da imaxe e instrumentación médica supón un complemento de grande utilidade para moitas das tarefas do persoal médico: diagnose, explicacións a doentes, ciruxía guiada por imaxe, etc.
Neste proxecto propoñemos o uso de pezas creadas cunha impresora 3D para o seu uso nunha contorna de realidade aumentada (AR), abordando a problemática da detección e seguimento («tracking» en inglés) da peza física para o seu aliñamento cun modelo 3D virtual de cara á integración de imaxe sintética sobreimpresa na imaxe real capturada pola(s) cámara(s).
Para o correcto seguimento e aliñamento 3D da peza física coa súa imaxe identificada no fluxo de vídeo é preciso determinar os parámetros da cámara que captura a imaxe e a súa posición respecto do obxecto.
Para a impresión poderase extraer un modelo 3D a partir dunha imaxe tomográfica (TC). Para facilitar o traballo de detección e seguimento e aliñamento 3D é posible que sexa preciso engadir marcas de referencia sobre a peza impresa en 3D que se usen como guía («target»).
No proxecto cubrirase o fluxo de traballo completo, dende a análise da imaxe tomográfica para extraer ou deseñar as guías («targets») que se utilizarán para facer o seguimento do obxecto, ata a súa manipulación física nunha contorna de realidade aumentada na que se proxectará un modelo virtual sobre a peza impresa vista en imaxes reais.
Obxectivos concretos
-
Analizar e deseñar marcas ou guías a partir de imaxes capturadas mediante tomografias comutarizadas (TC) para a súa impresión 3D, de xeito que faciliten posteriormente o rexistro e seguimento en 3D dos datos contidos na TC.
-
Facer detección, seguimento e aliñamento 3D da peza impresa ou guía no fluxo de vídeo capturado por un sistema de realidade aumentada, como pode ser un HMD (Head Mounted Display) que incorpore cámaras de video ou un Smartphone.
-
Integrar elementos sintéticos na imaxe real na visualización 3D.
-
O obxectivo último é dispor dunha peza software que resolva o problema do «tracking» 3D e que poida ser facilmente integrada nun sistema de Realidade Estendida completo.
Método de traballo
Para cada prototipo desenvolvido seguirase unha metodoloxía de desenvolvemento áxil, con «sprints» que dean lugar a versións que vaian incluíndo cada vez máis dos requisitos e funcionalidades esperados na ferramenta final.
Fases principais do traballo
- Partindo de datos de exemplo de TC’s, deseñar pezas ou extraer modelos de superficies 3D no formato axeitado para a súa impresión 3D.
- Facer unha escolma das distintas alternativas para a detección, seguimento e aliñamento 3D.
- Implementar un primeiro prototipo do sistema de detección, seguimento e aliñamento 3D buscado empregando unha solución pechada xa existente, o Vuforia Engine para Unity.
- Desenvolver un sistema propio baseado nunha aproximación de fonte libre e aberta.
Materiais e medios necesarios
Un ordenador persoal e acceso a un sistema HMD. Para isto último traballaremos cun sistema HTC Vive Pro, e quizais tamén cun smartphone.
Para facilitar a posterior integración do traballo desenvolvido con otros proxectos, a contorna de desenvolvemento será idealmente C++, con código portable, que debería funcionar en Windows e GNU/Linux, aínda que para a demostración co hardware XR/AR empregaremos probablemente Windows.
