Brain Roads, Programme Datavisualisation #4, 2019


Brain Roads is an interdisciplinary French-German project for visualization and interactive exploration of the brain digital model. It brings together graphic & digital designers, engineers and researchers in neurosurgery and social sciences. Its ambition is to develop visual representations and interactive tools for exploring the white matter of the human brain.

Brain Roads est un projet franco-allemand interdisciplinaire de visualisation et d'exploration interactive du cerveau. Il réunit des designers graphiques & numériques, des ingénieurs et des chercheurs en neurochirurgie et en sciences sociales. Son ambition est de développer des représentations visuelles et des outils interactifs d'exploration de la matière blanche du cerveau humain, dans le cadre de la recherche en neurochirurgie.

Diagrammatic representations of the human brain. / Representations diagrammatiques du cerveau humain. Reference Sanskrit PB 391. source

Rendering a group connectome based on 20 topics. The anatomical fibres that constitute the architecture of the white matter of the human brain are visualized in the form of color codes by the direction of travel (xyz-directions that correspond respectively to the colors rgb). / Rendu d’un connectome de groupe basé sur 20 sujets. Les fibres anatomiques qui constituent l’architecture de la matière blanche du cerveau humain sont visualisées sous forme de codes de couleurs par la direction de traversée (xyz-directions qui correspondent respectivement aux couleurs rgb). La visualisation des fibres a été réalisée à l’aide du logiciel TrackVis. source

Vues dorsale et latérale de la connectivité du cerveau humain. source

Scientific Goals

Neurosurgical practices are progressively guided by tomographic scanning technologies with increasing anatomical details, such as magnetic resonance imaging (MRI). These tomographic image technologies enable presurgical analysis and planning, as well as surgical navigation. However, a growing number of parameters and data are available to the surgeon in order to plan his surgery, broadening the process and demanding complex perception. The surgeon’s perception relies largely on imaging processes, which need to be supported by developing new designed interfaces to aid navigating through data and consolidating numerous inputs, e.g. to a range from patients’ medical histories to structural brain architectures. To advance such digital representations, we develop functional models and prototypes that introduce new paradigms both in image viewing and analysis in an interdisciplinary setting, consisting of graphic design, software design, cognitive anthropology, software engineering and neurosurgery. These interdisciplinary explorations lead to new perspectives on the neurosurgical task, and to new types of knowledge that are transferred through those tools.

The context of this project, and especially the necessities and restrictions of neurosurgical clinical environments, have been analyzed in a preceding interdisciplinary Cluster of Excellence project at Humboldt University Berlin.

The research project Brain Roads concatenates interdisciplinary concepts and aims to develop new approaches on design, humanities, material science and medicine. As a research group, it is building on fruitful encounters between sciences, humanities, art and design around a new approach of matter and materials, objects and techniques, based on the notion of materiality and activity of the digital and the brain. To provide conceivable visualizations of anatomical features, thus helping users to better interpret relevant diagnostic details within a neuroanatomical context, novel approaches for reformatting the manifold surfaces of image data are to be explored.

To enable the analysis and implementation of large datasets in real time, it is necessary to develop innovative data filtering. The Data Visualization Program, developed by the department of Graphic and Digital Design at ESAD de Reims with computer engineers of JIN (video games and digital interactions) department at Télécom SudParis (TSP), addresses a series of graphic and digital design challenges in relation to contemporary digital transformation. Indeed, the underlying reality of digital technologies is decreasingly perceived and understood by its users, due to the increasing complexity of technology. This research program makes visible and sensitive BigData and background computational algorithms that process and act on our socio-technical environments. The joint team of designers and engineers proposes effective, open visual concepts and interface prototypes based on state-of-the -art interfaces, such as Virtual Reality, Augmented Reality, Mixed Reality or Multi-modal interfaces to allow new interactions to be experienced.

Together, the newly constituted international research team will develop and compare several alternative image analysis software and design new software interfaces for advanced neurosurgical image analysis and manipulation, in the form of experimental prototypes produced by French MA students in Design and Engineering. Furthermore, display and visualization technologies will be investigated with the aim of spatially merging virtual and physical forms of human action in neurosurgical planning. Thus, these models will incorporate advanced fiber tracking data (probabilistic delineation of the human white matter, based on diffusion MRI) as well as connectome data (structural-functional brain network). New modes of interaction, based on an interdisciplinary analysis of historical and contemporary concepts of imaging data visualizations and various technical gestures will lead to a paradigm shift in presurgical image analysis and therefore refine presurgical planning. Furthermore, the exploration of neurosurgeons’ individual mapping techniques of, their use of mental models and visual landmarks, will add to our understanding of image viewing and how complex knowledge is being transferred.

Project Aims

1.Paradigm shift in medical image viewing and analysis
Numerous forms, including models and prototypes,design artefacts and scenarios will be taken into account to develop new tools for medical image analysis. Different data inputs derived from various imaging modalities and tools will be combined. Designers, Software Engineers and researchers will develop their work around the notion of Gestaltung and the form-giving processes, in close collaboration with the work of scientists and researchers at HU, Charité, ESAD, TSP and ENSSIB. Functional models and prototypes that rethink both medical image viewing and analysis in an interdisciplinary setting, consisting of graphic design, software engineering and neurosurgery.

2.Multi-modal image combination
Currently there are many different programs for different applications, such as fiber tractography (derived from diffusion MRI data), connectome analysis (different MRI modalities), tissue segmentation etc. One of our main aims is to bring these multiple tools together and rethink as well as reconstruct medical image viewing in order to make preoperative planning more efficient. Based on past projects exploring image viewing and analysis, we will investigate display, interaction and visualization technologies with the aim to spatially merge virtual and physical forms of human action and neuroanatomy.

3. Customizing complex models to general usability
Also aiming at facilitating the understanding of a medical environment by a non specialist audience, the prototypes will result from a mix of user-centered methods, psychological and anthropological enquiries. The purpose here is to develop new digital models strengthening the visual understandability of brain wiring for non experts.

4.Open source tool
Developments and prototypes in software engineering will be published publicly and provided as open source.

Objectifs scientifiques

Les pratiques neurochirurgicales sont progressivement guidées par les technologies de tomographie avec de plus en plus de détails anatomiques, comme l'imagerie par résonance magnétique (IRM). Ces technologies d'imagerie tomographique permettent l'analyse et la planification préchirurgicales, ainsi que la navigation chirurgicale. Cependant, un nombre croissant de paramètres et de données sont à la disposition du chirurgien afin de planifier sa chirurgie, d'élargir le processus et d'exiger une perception complexe. La perception du chirurgien repose en grande partie sur les processus d'imagerie, qui doivent être soutenus par le développement de nouvelles interfaces conçues pour faciliter la navigation dans les données et la consolidation de nombreuses entrées, par exemple des antécédents médicaux des patients aux architectures structurelles du cerveau. Pour faire progresser ces représentations numériques, nous développons des modèles fonctionnels et des prototypes qui introduisent de nouveaux paradigmes à la fois dans la visualisation et l'analyse d'images dans un cadre interdisciplinaire, composé de conception graphique, de conception de logiciels, d'anthropologie cognitive, de génie logiciel et de neurochirurgie. Ces explorations interdisciplinaires mènent à de nouvelles perspectives sur la tâche neurochirurgicale et à de nouveaux types de connaissances qui sont transférées par ces outils.

Le contexte de ce projet, et en particulier les nécessités et les restrictions des environnements cliniques neurochirurgicaux, ont été analysés dans un projet précédent du Cluster interdisciplinaire d'Excellence Image, Knowledge, Gestaltung, à l'Université Humboldt de Berlin.

Le projet de recherche Brain Roads regroupe des concepts interdisciplinaires et vise à développer de nouvelles approches en design, sciences humaines, sciences des matériaux et médecine. En tant que groupe de recherche, il s'appuie sur des rencontres fructueuses entre sciences, sciences humaines, art et design autour d'une nouvelle approche de la matière et des matériaux, objets et techniques, basée sur la notion de matérialité et d'activité du numérique et du cerveau. Afin de fournir des visualisations imaginables des caractéristiques anatomiques, aidant ainsi les utilisateurs à mieux interpréter les détails diagnostiques pertinents dans un contexte neuroanatomique, de nouvelles approches pour reformater les multiples surfaces des données d'image sont à explorer.

Pour permettre l'analyse et la mise en œuvre de grands ensembles de données en temps réel, il est nécessaire de développer un filtrage innovant des données. Le Programme de Visualisation de Données, développé par le département de Design Graphique et Numérique de l'ESAD de Reims avec les ingénieurs informaticiens du département JIN (jeux vidéo et interactions numériques) de Télécom SudParis (TSP), aborde une série de défis graphiques et numériques liés à la transformation numérique contemporaine. En effet, la réalité sous-jacente des technologies numériques est de moins en moins perçue et comprise par ses utilisateurs, en raison de la complexité croissante de la technologie. Ce programme de recherche rend visibles et sensibles les algorithmes BigData et les algorithmes de calcul d'arrière-plan qui traitent et agissent sur nos environnements socio-techniques. L'équipe conjointe de concepteurs et d'ingénieurs propose des concepts visuels efficaces et ouverts et des prototypes d'interfaces basés sur des interfaces de pointe, telles que la réalité virtuelle, la réalité augmentée, la réalité mixte ou les interfaces multimodales pour permettre de nouvelles interactions.

Ensemble, l'équipe de recherche internationale nouvellement constituée développera et comparera plusieurs logiciels alternatifs d'analyse d'images et concevra de nouvelles interfaces logicielles pour l'analyse et la manipulation d'images neurochirurgicales avancées, sous la forme de prototypes expérimentaux réalisés par des étudiants français en maîtrise en conception et ingénierie. De plus, les technologies d'affichage et de visualisation seront étudiées dans le but de fusionner spatialement les formes virtuelles et physiques de l'action humaine dans la planification neurochirurgicale. Ainsi, ces modèles intégreront des données avancées de suivi des fibres (délimitation probabiliste de la substance blanche humaine, basée sur l'IRM de diffusion) ainsi que des données connectomes (réseau cérébral structural-fonctionnel). De nouveaux modes d'interaction, basés sur une analyse interdisciplinaire des concepts historiques et contemporains de visualisation de données d'imagerie et de divers gestes techniques, conduiront à un changement de paradigme dans l'analyse d'images préchirurgicales et donc à une meilleure planification préchirurgicale. De plus, l'exploration des techniques de cartographie individuelle des neurochirurgiens, leur utilisation de modèles mentaux et de repères visuels, nous permettra de mieux comprendre l'observation des images et la façon dont les connaissances complexes sont transférées.

Objectifs du projet

1. Changement de paradigme dans la visualisation et l'analyse des images médicales
De nombreux formulaires, y compris des modèles et des prototypes, des artefacts de conception et des scénarios seront pris en compte pour développer de nouveaux outils d'analyse d'images médicales. Différentes entrées de données provenant de divers outils et modalités d'imagerie seront combinées. Les concepteurs, les ingénieurs en logiciel et les chercheurs développeront leurs travaux autour de la notion de Gestaltung et des processus de don de formulaires, en étroite collaboration avec les travaux des scientifiques et chercheurs à HU, Charité, ESAD, TSP et ENSSIB. Modèles fonctionnels et prototypes qui repensent à la fois la visualisation et l'analyse d'images médicales dans un cadre interdisciplinaire, comprenant la conception graphique, le génie logiciel et la neurochirurgie.

2. Combinaison d'images multimodales
Il existe actuellement de nombreux programmes différents pour différentes applications, tels que la tractographie des fibres (dérivée des données d'IRM de diffusion), l'analyse du connectome (différentes modalités d'IRM), la segmentation des tissus, etc. L'un de nos principaux objectifs est de rassembler ces multiples outils, de repenser et de reconstruire la visualisation des images médicales afin de rendre la planification préopératoire plus efficace. À partir de projets antérieurs explorant la visualisation et l'analyse d'images, nous étudierons les technologies d'affichage, d'interaction et de visualisation dans le but de fusionner spatialement des formes virtuelles et physiques d'action humaine et de neuroanatomie.

3. Personnalisation de modèles complexes en fonction de la facilité d'utilisation générale
Visant également à faciliter la compréhension d'un environnement médical par un public non spécialisé, les prototypes seront le résultat d'un mélange de méthodes centrées sur l’utilisateur et d’enquêtes psychologiques et anthropologiques. L’objectif ici est de développer de nouveaux modèles numériques renforçant la compréhension visuelle du câblage cérébral pour les publics non experts.

4. Outil open source
Les développements et prototypes en génie logiciel seront publiés publiquement et fournis sous forme de logiciel libre.

Workshop in Berlin. 24-26.Oct.19

The 3-day workshop, which brings together teams of designers, engineers and researchers, has two main objectives:

  • understand the formative process of current images of the brain model.
  • define visual design issues and sketch them out by visual means.

workshop information and program

Partnership of four institutions
ESAD de Reims
Télécom SudParis - Institut polytechnique de Paris
Cluster of Excellence Matters of Activity, Humboldt-Universität zu Berlin - Image Space Material. Project: Adaptive Digital Twin
Charité-Universitätsmedizin Berlin (Hôpital Universitaire) - Image Guidance Lab. Department of Neurosurgery with Pediatric Neurosurgery

René Descartes, « Traité de l’homme », 1664. The long fiber from the foot to the head cavity is activated by the perception of heat and releases a fluid that contracts the muscles / La longue fibre qui va du pied à la cavité de la tête est actionnée par la perception de la chaleur et libère un fluide qui contracte les muscles. source

Principal investigators

Olaf Avenati - ESAD de Reims
Thomas Picht - Charité & Cluster MOA, HU Berlin
Michel Simatic - Télécom SudParis / IMT, IP Paris

Participants


FRANCE

ESAD de reims
Master1 students of graphic and digital design dept.

Télécom SudParis - Institut polytechnique de Paris
Master2 students of JIN dept.

ESAD de Reims:
Olaf Avenati, Graphic & Digital Designer, Lecturer
Fabrice Bourlez, Psychoanalyst, philosopher, Lecturer
Emeline Eudes, Researcher in aesthetics, Head of research

Télécom SudParis - Institut polytechnique de Paris:
Michel Simatic, Engineer, Senior lecturer
Catalin Fetita, Professor
Marius Preda, Engineer, Associate professor


GERMANY

Charité Universitäts-medizin Berlin:
Thomas Picht, PD Dr. Med. Neurosurgeon
Lucius Fekonja, Project Leader “Cutting”

Cluster Matters of Activity. image, space, material:
Patricia Ribault, Junior Professor
Maxime Le Calvé, Post-doctoral researcher

Felix Sattler, Curator at Tieranatomisches Theater


With:

Kunsthochschule Berlin-Weißensee
Felix Rasehorn, Designer

Zuse Institute Berlin
Stefan Zachow, Head of Research Groups

École nationale supérieure des sciences de l'information et des bibliothèques (ENSSIB)
Eric Guichard, Senior lecturer in digital humanities

» Other projects of the Datavisualization Program at ESAD de Reims [in french]