Introduction

Scientific Goals

Neurosurgical practices are progressively guided by tomographic scanning technologies with increasing anatomical details, such as magnetic resonance imaging (MRI). These tomographic image technologies enable presurgical analysis and planning, as well as surgical navigation. However, a growing number of parameters and data are available to the surgeon in order to plan his surgery, broadening the process and demanding complex perception. The surgeon’s perception relies largely on imaging processes, which need to be supported by developing new designed interfaces to aid navigating through data and consolidating numerous inputs, e.g. to a range from patients’ medical histories to structural brain architectures. To advance such digital representations, we develop functional models and prototypes that introduce new paradigms both in image viewing and analysis in an interdisciplinary setting, consisting of graphic design, software design, cognitive anthropology, software engineering and neurosurgery. These interdisciplinary explorations lead to new perspectives on the neurosurgical task, and to new types of knowledge that are transferred through those tools.

The context of this project, and especially the necessities and restrictions of neurosurgical clinical environments, have been analyzed in a preceding interdisciplinary Cluster of Excellence project at Humboldt University Berlin.

The research project Brain Roads concatenates interdisciplinary concepts and aims to develop new approaches on design, humanities, material science and medicine. As a research group, it is building on fruitful encounters between sciences, humanities, art and design around a new approach of matter and materials, objects and techniques, based on the notion of materiality and activity of the digital and the brain. To provide conceivable visualizations of anatomical features, thus helping users to better interpret relevant diagnostic details within a neuroanatomical context, novel approaches for reformatting the manifold surfaces of image data are to be explored.

To enable the analysis and implementation of large datasets in real time, it is necessary to develop innovative data filtering. The Data Visualization Program, developed by the department of Graphic and Digital Design at ESAD de Reims with computer engineers of JIN (video games and digital interactions) department at Télécom SudParis (TSP), addresses a series of graphic and digital design challenges in relation to contemporary digital transformation. Indeed, the underlying reality of digital technologies is decreasingly perceived and understood by its users, due to the increasing complexity of technology. This research program makes visible and sensitive BigData and background computational algorithms that process and act on our socio-technical environments. The joint team of designers and engineers proposes effective, open visual concepts and interface prototypes based on state-of-the -art interfaces, such as Virtual Reality, Augmented Reality, Mixed Reality or Multi-modal interfaces to allow new interactions to be experienced.

Together, the newly constituted international research team will develop and compare several alternative image analysis software and design new software interfaces for advanced neurosurgical image analysis and manipulation, in the form of experimental prototypes produced by French MA students in Design and Engineering. Furthermore, display and visualization technologies will be investigated with the aim of spatially merging virtual and physical forms of human action in neurosurgical planning. Thus, these models will incorporate advanced fiber tracking data (probabilistic delineation of the human white matter, based on diffusion MRI) as well as connectome data (structural-functional brain network). New modes of interaction, based on an interdisciplinary analysis of historical and contemporary concepts of imaging data visualizations and various technical gestures will lead to a paradigm shift in presurgical image analysis and therefore refine presurgical planning. Furthermore, the exploration of neurosurgeons’ individual mapping techniques of, their use of mental models and visual landmarks, will add to our understanding of image viewing and how complex knowledge is being transferred.

Project Aims

1.Paradigm shift in medical image viewing and analysis
Numerous forms, including models and prototypes,design artefacts and scenarios will be taken into account to develop new tools for medical image analysis. Different data inputs derived from various imaging modalities and tools will be combined. Designers, Software Engineers and researchers will develop their work around the notion of Gestaltung and the form-giving processes, in close collaboration with the work of scientists and researchers at HU, Charité, ESAD, TSP and ENSSIB. Functional models and prototypes that rethink both medical image viewing and analysis in an interdisciplinary setting, consisting of graphic design, software engineering and neurosurgery.

2.Multi-modal image combination
Currently there are many different programs for different applications, such as fiber tractography (derived from diffusion MRI data), connectome analysis (different MRI modalities), tissue segmentation etc. One of our main aims is to bring these multiple tools together and rethink as well as reconstruct medical image viewing in order to make preoperative planning more efficient. Based on past projects exploring image viewing and analysis, we will investigate display, interaction and visualization technologies with the aim to spatially merge virtual and physical forms of human action and neuroanatomy.

3. Customizing complex models to general usability
Also aiming at facilitating the understanding of a medical environment by a non specialist audience, the prototypes will result from a mix of user-centered methods, psychological and anthropological enquiries. The purpose here is to develop new digital models strengthening the visual understandability of brain wiring for non experts.

4.Open source tool
Developments and prototypes in software engineering will be published publicly and provided as open source.

Objectifs scientifiques

Les pratiques neurochirurgicales sont progressivement guidées par les technologies de tomographie avec de plus en plus de détails anatomiques, comme l’imagerie par résonance magnétique (IRM). Ces technologies d’imagerie tomographique permettent l’analyse et la planification préchirurgicales, ainsi que la navigation chirurgicale. Cependant, un nombre croissant de paramètres et de données sont à la disposition du chirurgien afin de planifier sa chirurgie, d’élargir le processus et d’exiger une perception complexe. La perception du chirurgien repose en grande partie sur les processus d’imagerie, qui doivent être soutenus par le développement de nouvelles interfaces conçues pour faciliter la navigation dans les données et la consolidation de nombreuses entrées, par exemple des antécédents médicaux des patients aux architectures structurelles du cerveau. Pour faire progresser ces représentations numériques, nous développons des modèles fonctionnels et des prototypes qui introduisent de nouveaux paradigmes à la fois dans la visualisation et l’analyse d’images dans un cadre interdisciplinaire, composé de conception graphique, de conception de logiciels, d’anthropologie cognitive, de génie logiciel et de neurochirurgie. Ces explorations interdisciplinaires mènent à de nouvelles perspectives sur la tâche neurochirurgicale et à de nouveaux types de connaissances qui sont transférées par ces outils.

Le contexte de ce projet, et en particulier les nécessités et les restrictions des environnements cliniques neurochirurgicaux, ont été analysés dans un projet précédent du Cluster interdisciplinaire d’Excellence Image, Knowledge, Gestaltung, à l’Université Humboldt de Berlin.

Le projet de recherche Brain Roads regroupe des concepts interdisciplinaires et vise à développer de nouvelles approches en design, sciences humaines, sciences des matériaux et médecine. En tant que groupe de recherche, il s’appuie sur des rencontres fructueuses entre sciences, sciences humaines, art et design autour d’une nouvelle approche de la matière et des matériaux, objets et techniques, basée sur la notion de matérialité et d’activité du numérique et du cerveau. Afin de fournir des visualisations imaginables des caractéristiques anatomiques, aidant ainsi les utilisateurs à mieux interpréter les détails diagnostiques pertinents dans un contexte neuroanatomique, de nouvelles approches pour reformater les multiples surfaces des données d’image sont à explorer.

Pour permettre l’analyse et la mise en œuvre de grands ensembles de données en temps réel, il est nécessaire de développer un filtrage innovant des données. Le Programme de Visualisation de Données, développé par le département de Design Graphique et Numérique de l’ESAD de Reims avec les ingénieurs informaticiens du département JIN (jeux vidéo et interactions numériques) de Télécom SudParis (TSP), aborde une série de défis graphiques et numériques liés à la transformation numérique contemporaine. En effet, la réalité sous-jacente des technologies numériques est de moins en moins perçue et comprise par ses utilisateurs, en raison de la complexité croissante de la technologie. Ce programme de recherche rend visibles et sensibles les algorithmes BigData et les algorithmes de calcul d’arrière-plan qui traitent et agissent sur nos environnements socio-techniques. L’équipe conjointe de concepteurs et d’ingénieurs propose des concepts visuels efficaces et ouverts et des prototypes d’interfaces basés sur des interfaces de pointe, telles que la réalité virtuelle, la réalité augmentée, la réalité mixte ou les interfaces multimodales pour permettre de nouvelles interactions.

Ensemble, l’équipe de recherche internationale nouvellement constituée développera et comparera plusieurs logiciels alternatifs d’analyse d’images et concevra de nouvelles interfaces logicielles pour l’analyse et la manipulation d’images neurochirurgicales avancées, sous la forme de prototypes expérimentaux réalisés par des étudiants français en maîtrise en conception et ingénierie. De plus, les technologies d’affichage et de visualisation seront étudiées dans le but de fusionner spatialement les formes virtuelles et physiques de l’action humaine dans la planification neurochirurgicale. Ainsi, ces modèles intégreront des données avancées de suivi des fibres (délimitation probabiliste de la substance blanche humaine, basée sur l’IRM de diffusion) ainsi que des données connectomes (réseau cérébral structural-fonctionnel). De nouveaux modes d’interaction, basés sur une analyse interdisciplinaire des concepts historiques et contemporains de visualisation de données d’imagerie et de divers gestes techniques, conduiront à un changement de paradigme dans l’analyse d’images préchirurgicales et donc à une meilleure planification préchirurgicale. De plus, l’exploration des techniques de cartographie individuelle des neurochirurgiens, leur utilisation de modèles mentaux et de repères visuels, nous permettra de mieux comprendre l’observation des images et la façon dont les connaissances complexes sont transférées.

Objectifs du projet

1. Changement de paradigme dans la visualisation et l’analyse des images médicales
De nombreux formulaires, y compris des modèles et des prototypes, des artefacts de conception et des scénarios seront pris en compte pour développer de nouveaux outils d’analyse d’images médicales. Différentes entrées de données provenant de divers outils et modalités d’imagerie seront combinées. Les concepteurs, les ingénieurs en logiciel et les chercheurs développeront leurs travaux autour de la notion de Gestaltung et des processus de don de formulaires, en étroite collaboration avec les travaux des scientifiques et chercheurs à HU, Charité, ESAD, TSP et ENSSIB. Modèles fonctionnels et prototypes qui repensent à la fois la visualisation et l’analyse d’images médicales dans un cadre interdisciplinaire, comprenant la conception graphique, le génie logiciel et la neurochirurgie.

2. Combinaison d’images multimodales
Il existe actuellement de nombreux programmes différents pour différentes applications, tels que la tractographie des fibres (dérivée des données d’IRM de diffusion), l’analyse du connectome (différentes modalités d’IRM), la segmentation des tissus, etc. L’un de nos principaux objectifs est de rassembler ces multiples outils, de repenser et de reconstruire la visualisation des images médicales afin de rendre la planification préopératoire plus efficace. À partir de projets antérieurs explorant la visualisation et l’analyse d’images, nous étudierons les technologies d’affichage, d’interaction et de visualisation dans le but de fusionner spatialement des formes virtuelles et physiques d’action humaine et de neuroanatomie.

3. Personnalisation de modèles complexes en fonction de la facilité d’utilisation générale
Visant également à faciliter la compréhension d’un environnement médical par un public non spécialisé, les prototypes seront le résultat d’un mélange de méthodes centrées sur l’utilisateur et d’enquêtes psychologiques et anthropologiques. L’objectif ici est de développer de nouveaux modèles numériques renforçant la compréhension visuelle du câblage cérébral pour les publics non experts.

4. Outil open source
Les développements et prototypes en génie logiciel seront publiés publiquement et fournis sous forme de logiciel libre.

Workshop in Berlin. 24-26.Oct.19

The 3-day workshop, which brings together teams of designers, engineers and researchers, has two main objectives:

• understand the formative process of current images of the brain model.
• define visual design issues and sketch them out by visual means.

Cet atelier de trois jours, qui réunit des équipes de concepteurs, d’ingénieurs et de chercheurs, a deux objectifs principaux :

• comprendre le processus de formation des images actuelles du modèle de cerveau.
• définir les problèmes de conception visuelle et les esquisser par des moyens visuels.

workshop information and program

Summary of the first analysis & visual questions

The kick-off workshop brought together all project participants a week ago in Berlin. Together we analysed the process of formative current images which are intended to inform the neurosurgical team about the location of tumours in the vicinity of functional networks of critical importance to patients. Several visual questions emerged from this first phase:

• At present, the model seems very affirmative and precise whereas reality is much more complex to interpret. How to represent the degrees of uncertainty of the model? How can we legitimately increase doctors’ confidence in imaging?
• How to deliver all critical information during the most important 10 to 15 minutes of the surgical procedure?
• Currently, each scale has different conventions. How to build an intuitive, informative and coherent visual language for each scale of representation, from sub-millimetric voxel to macroscopic mapping?
• Colour is currently used to locate in space the directions of functional networks. The practicability and habitability of the system – and its current implementation – are in question. How can it be improved?
• Is it possible to propose radical changes in the aesthetics of these images, by summoning other cultural references, while respecting the conventions currently in use? What acceptability for new images?
• Is it possible to propose more abstract forms to represent the brain and its functions?

Résumé de la première analyse & questions visuelles

Le workshop de lancement a réuni tous les participants du projet il y a une semaine à Berlin. Nous avons analysé ensemble le processus de formativité des images actuelles qui sont destinées à informer l’équipe de neurochirurgie sur la localisation de tumeurs à proximité de réseaux fonctionnels d’importance critique pour les patients. Il ressort de cette première phase plusieurs questions visuelles :

• Actuellement, le modèle semble très affirmatif et précis alors que la réalité est beaucoup plus complexe à interpréter. Comment représenter les degrés d’incertitudes du modèle ? Comment accroître légitimement la confiance des médecins dans l’imagerie ?
• Comment délivrer toutes les informations critiques durant les 10 à 15 minutes les plus importantes de l’intervention chirurgicale ?
• Actuellement, chaque échelle pratique des conventions différentes. Comment construire un langage visuel intuitif, informatif et cohérent à chaque échelle de représentation, du voxel sub-millimétrique à la cartographie macroscopique ?
• La couleur est actuellement utilisée pour situer dans l’espace les directions des réseaux fonctionnels. La praticabilité et l’habitabilité du système – et sa mise en œuvre actuelle – sont en question. Comment l’améliorer ?
• Est-il possible de proposer des changements radicaux d’esthétique pour ces images, en convoquant d’autres références culturelles, tout en respectant les conventions en usage actuellement ? Quelle acceptabilité pour de nouvelles images ?
• Peut-on proposer des formes plus abstraites pour représenter le cerveau et ses fonctions ?

Graphic Proposals / Propositions graphiques

• 

• 

• 

• 

• 

• 

• 

• 

• 

• 

• 

• 

The Question of Color / La question de la couleur

• 

• 

• 

• 

First prototype

Technical process to produce tractographic images

• 

• 

Access to the open source code

Our entire work was focused on improving the software library Mrtrix, and more precisely mrview, a tool used to visualize IRM data. As we did a fork of the original project on GitHub, it is possible to review, download, and use the code we wrote by previous link. This is in the continuity of Mrtrix and Mrview, both of which are open source projects.

Github branch links:

• brainroads-master
  Fiber bundles colors and positionning tool (merged)
  git-hub link

• brainroads-uncertainty
  Uncertainty zone (applied to each objects)
  git-hub link

Install notes:

Within the readme, you have to follow the “quick install” part. Then you only have to follow these instructions :

Before launching mrview
export MRTRIX_IMAGE=xxxxx/out2.bmp
This is the link to the image, it can be anywhere but after a clean clone, it should be in your mrtrix3 directory root.
And it could be added to .bashrc/.zshrc to keep the variable when restarting the terminal.

How to use the software
The position helper is always available, provided visual data is being displayed on screen.
The new color set is available when visualizing tractography data (Display panel in the upper right hand corner). This applies to all .tck files.

To access an available branch
Execute the command “git checkout NAME” in the repository, then the command “./build” (as the readme explains). You need git command to do this.

Partnership of four institutions
ESAD de Reims
Télécom SudParis - Institut polytechnique de Paris
Cluster of Excellence Matters of Activity, Humboldt-Universität zu Berlin - Image Space Material. Project: Adaptive Digital Twin
Charité-Universitätsmedizin Berlin (Hôpital Universitaire) - Image Guidance Lab. Department of Neurosurgery with Pediatric Neurosurgery

Principal investigators

Olaf Avenati - ESAD de Reims
Thomas Picht - Charité & Cluster MOA, HU Berlin
Michel Simatic - Télécom SudParis / IMT, IP Paris

Participants

---

FRANCE

ESAD de reims
Master1 students of graphic and digital design dept. :
Hugo Alvarez, Alice Auger, Jeanne Bortolussi, Alice Cazenave, Maëlys Didion, Léa Gastaldi, Manon Houdard, Louise Malcles, Auriane Marx

Télécom SudParis - Institut polytechnique de Paris
Master2 students of JIN dept. :
Vincent Boisdon, Alexandre Conte, Pierre Mantel

ESAD de Reims:
Olaf Avenati, Graphic & Digital Designer, Lecturer
Fabrice Bourlez, Psychoanalyst, philosopher, Lecturer
Emeline Eudes, Researcher in aesthetics, Head of research

Télécom SudParis - Institut polytechnique de Paris:
Michel Simatic, Engineer, Senior lecturer
Catalin Fetita, Professor
Marius Preda, Engineer, Associate professor

---

GERMANY

Charité Universitäts-medizin Berlin:
Thomas Picht, PD Dr. Med. Neurosurgeon
Lucius Fekonja, Project Leader “Cutting”

Cluster Matters of Activity. image, space, material:
Patricia Ribault, Junior Professor
Maxime Le Calvé, Post-doctoral researcher

Felix Sattler, Curator at Tieranatomisches Theater