Introduction

Objectifs scientifiques

Les pratiques neurochirurgicales sont progressivement guidées par les technologies de tomographie avec de plus en plus de détails anatomiques, comme l’imagerie par résonance magnétique (IRM). Ces technologies d’imagerie tomographique permettent l’analyse et la planification préchirurgicales, ainsi que la navigation chirurgicale. Cependant, un nombre croissant de paramètres et de données sont à la disposition du chirurgien afin de planifier sa chirurgie, d’élargir le processus et d’exiger une perception complexe. La perception du chirurgien repose en grande partie sur les processus d’imagerie, qui doivent être soutenus par le développement de nouvelles interfaces conçues pour faciliter la navigation dans les données et la consolidation de nombreuses entrées, par exemple des antécédents médicaux des patients aux architectures structurelles du cerveau. Pour faire progresser ces représentations numériques, nous développons des modèles fonctionnels et des prototypes qui introduisent de nouveaux paradigmes à la fois dans la visualisation et l’analyse d’images dans un cadre interdisciplinaire, composé de conception graphique, de conception de logiciels, d’anthropologie cognitive, de génie logiciel et de neurochirurgie. Ces explorations interdisciplinaires mènent à de nouvelles perspectives sur la tâche neurochirurgicale et à de nouveaux types de connaissances qui sont transférées par ces outils.

Le contexte de ce projet, et en particulier les nécessités et les restrictions des environnements cliniques neurochirurgicaux, ont été analysés dans un projet précédent du Cluster interdisciplinaire d’Excellence Image, Knowledge, Gestaltung, à l’Université Humboldt de Berlin.

Le projet de recherche Brain Roads regroupe des concepts interdisciplinaires et vise à développer de nouvelles approches en design, sciences humaines, sciences des matériaux et médecine. En tant que groupe de recherche, il s’appuie sur des rencontres fructueuses entre sciences, sciences humaines, art et design autour d’une nouvelle approche de la matière et des matériaux, objets et techniques, basée sur la notion de matérialité et d’activité du numérique et du cerveau. Afin de fournir des visualisations imaginables des caractéristiques anatomiques, aidant ainsi les utilisateurs à mieux interpréter les détails diagnostiques pertinents dans un contexte neuroanatomique, de nouvelles approches pour reformater les multiples surfaces des données d’image sont à explorer.

Pour permettre l’analyse et la mise en œuvre de grands ensembles de données en temps réel, il est nécessaire de développer un filtrage innovant des données. Le Programme de Visualisation de Données, développé par le département de Design Graphique et Numérique de l’ESAD de Reims avec les ingénieurs informaticiens du département JIN (jeux vidéo et interactions numériques) de Télécom SudParis (TSP), aborde une série de défis graphiques et numériques liés à la transformation numérique contemporaine. En effet, la réalité sous-jacente des technologies numériques est de moins en moins perçue et comprise par ses utilisateurs, en raison de la complexité croissante de la technologie. Ce programme de recherche rend visibles et sensibles les algorithmes BigData et les algorithmes de calcul d’arrière-plan qui traitent et agissent sur nos environnements socio-techniques. L’équipe conjointe de concepteurs et d’ingénieurs propose des concepts visuels efficaces et ouverts et des prototypes d’interfaces basés sur des interfaces de pointe, telles que la réalité virtuelle, la réalité augmentée, la réalité mixte ou les interfaces multimodales pour permettre de nouvelles interactions.

Ensemble, l’équipe de recherche internationale nouvellement constituée développera et comparera plusieurs logiciels alternatifs d’analyse d’images et concevra de nouvelles interfaces logicielles pour l’analyse et la manipulation d’images neurochirurgicales avancées, sous la forme de prototypes expérimentaux réalisés par des étudiants français en maîtrise en conception et ingénierie. De plus, les technologies d’affichage et de visualisation seront étudiées dans le but de fusionner spatialement les formes virtuelles et physiques de l’action humaine dans la planification neurochirurgicale. Ainsi, ces modèles intégreront des données avancées de suivi des fibres (délimitation probabiliste de la substance blanche humaine, basée sur l’IRM de diffusion) ainsi que des données connectomes (réseau cérébral structural-fonctionnel). De nouveaux modes d’interaction, basés sur une analyse interdisciplinaire des concepts historiques et contemporains de visualisation de données d’imagerie et de divers gestes techniques, conduiront à un changement de paradigme dans l’analyse d’images préchirurgicales et donc à une meilleure planification préchirurgicale. De plus, l’exploration des techniques de cartographie individuelle des neurochirurgiens, leur utilisation de modèles mentaux et de repères visuels, nous permettra de mieux comprendre l’observation des images et la façon dont les connaissances complexes sont transférées.

Objectifs du projet

1. Changement de paradigme dans la visualisation et l’analyse des images médicales
De nombreux formulaires, y compris des modèles et des prototypes, des artefacts de conception et des scénarios seront pris en compte pour développer de nouveaux outils d’analyse d’images médicales. Différentes entrées de données provenant de divers outils et modalités d’imagerie seront combinées. Les concepteurs, les ingénieurs en logiciel et les chercheurs développeront leurs travaux autour de la notion de Gestaltung et des processus de don de formulaires, en étroite collaboration avec les travaux des scientifiques et chercheurs à HU, Charité, ESAD, TSP et ENSSIB. Modèles fonctionnels et prototypes qui repensent à la fois la visualisation et l’analyse d’images médicales dans un cadre interdisciplinaire, comprenant la conception graphique, le génie logiciel et la neurochirurgie.

2. Combinaison d’images multimodales
Il existe actuellement de nombreux programmes différents pour différentes applications, tels que la tractographie des fibres (dérivée des données d’IRM de diffusion), l’analyse du connectome (différentes modalités d’IRM), la segmentation des tissus, etc. L’un de nos principaux objectifs est de rassembler ces multiples outils, de repenser et de reconstruire la visualisation des images médicales afin de rendre la planification préopératoire plus efficace. À partir de projets antérieurs explorant la visualisation et l’analyse d’images, nous étudierons les technologies d’affichage, d’interaction et de visualisation dans le but de fusionner spatialement des formes virtuelles et physiques d’action humaine et de neuroanatomie.

3. Personnalisation de modèles complexes en fonction de la facilité d’utilisation générale
Visant également à faciliter la compréhension d’un environnement médical par un public non spécialisé, les prototypes seront le résultat d’un mélange de méthodes centrées sur l’utilisateur et d’enquêtes psychologiques et anthropologiques. L’objectif ici est de développer de nouveaux modèles numériques renforçant la compréhension visuelle du câblage cérébral pour les publics non experts.

4. Outil open source
Les développements et prototypes en génie logiciel seront publiés publiquement et fournis sous forme de logiciel libre.

Workshop in Berlin. 24-26.Oct.19

Cet atelier de trois jours, qui réunit des équipes de concepteurs, d’ingénieurs et de chercheurs, a deux objectifs principaux :

• comprendre le processus de formation des images actuelles du modèle de cerveau.
• définir les problèmes de conception visuelle et les esquisser par des moyens visuels.

workshop information and program

Résumé de la première analyse & questions visuelles

Le workshop de lancement a réuni tous les participants du projet il y a une semaine à Berlin. Nous avons analysé ensemble le processus de formativité des images actuelles qui sont destinées à informer l’équipe de neurochirurgie sur la localisation de tumeurs à proximité de réseaux fonctionnels d’importance critique pour les patients. Il ressort de cette première phase plusieurs questions visuelles :

• Actuellement, le modèle semble très affirmatif et précis alors que la réalité est beaucoup plus complexe à interpréter. Comment représenter les degrés d’incertitudes du modèle ? Comment accroître légitimement la confiance des médecins dans l’imagerie ?
• Comment délivrer toutes les informations critiques durant les 10 à 15 minutes les plus importantes de l’intervention chirurgicale ?
• Actuellement, chaque échelle pratique des conventions différentes. Comment construire un langage visuel intuitif, informatif et cohérent à chaque échelle de représentation, du voxel sub-millimétrique à la cartographie macroscopique ?
• La couleur est actuellement utilisée pour situer dans l’espace les directions des réseaux fonctionnels. La praticabilité et l’habitabilité du système – et sa mise en œuvre actuelle – sont en question. Comment l’améliorer ?
• Est-il possible de proposer des changements radicaux d’esthétique pour ces images, en convoquant d’autres références culturelles, tout en respectant les conventions en usage actuellement ? Quelle acceptabilité pour de nouvelles images ?
• Peut-on proposer des formes plus abstraites pour représenter le cerveau et ses fonctions ?

Propositions graphiques

• 

• 

• 

• 

• 

• 

• 

• 

• 

• 

• 

• 

La question de la couleur

• 

• 

• 

• 

First prototype

Technical process to produce tractographic images

• 

• 

Access to the open source code

Our entire work was focused on improving the software library Mrtrix, and more precisely mrview, a tool used to visualize IRM data. As we did a fork of the original project on GitHub, it is possible to review, download, and use the code we wrote by previous link. This is in the continuity of Mrtrix and Mrview, both of which are open source projects.

Github branch links:

• brainroads-master
  Fiber bundles colors and positionning tool (merged)
  git-hub link

• brainroads-uncertainty
  Uncertainty zone (applied to each objects)
  git-hub link

Install notes:

Within the readme, you have to follow the “quick install” part. Then you only have to follow these instructions :

Before launching mrview
export MRTRIX_IMAGE=xxxxx/out2.bmp
This is the link to the image, it can be anywhere but after a clean clone, it should be in your mrtrix3 directory root.
And it could be added to .bashrc/.zshrc to keep the variable when restarting the terminal.

How to use the software
The position helper is always available, provided visual data is being displayed on screen.
The new color set is available when visualizing tractography data (Display panel in the upper right hand corner). This applies to all .tck files.

To access an available branch
Execute the command “git checkout NAME” in the repository, then the command “./build” (as the readme explains). You need git command to do this.