PATTERN SPACE EXPLORATION

A new method to build robust models

Guillaume Chérel

Chérel, G., Cottineau, C., & Reuillon, R. (2015). Beyond Corroboration: Strengthening Model Validation by Looking for Unexpected Patterns. PLOS ONE, 10(9), e0138212. https://doi.org/10.1371/journal.pone.0138212

La modélisation informatique étend nos capacités à formuler des interprétations de la nature. Elle nous permet de formuler sous forme algorithmique la dynamique par laquelle on voudrait expliquer la formation d’un phénomène, et la simulation nous permet de voir si cette dynamique donne bien lieu au phénomène attendu. Par exemple dans le domaine du mouvement collectif, Craig Reynolds a montré que le déplacement des oiseaux en vol ou de bancs de poissons pouvait être reproduit par trois règles que suivent les individus: éviter les collisions avec ses voisins, imiter la vitesse et direction de ses voisins, essayer de rester proche de ses voisins.

Mais dire qu’un ensemble de règles permet de reproduire un phénomène ne signifie pas qu’elles soient effectivement les règles qui sont à l’œuvre dans la nature. Le même phénomène pourrait être la conséquence d’autres dynamiques. Un modèle n’est qu’une interprétation, une explication possible parmis d’autres. Obtenir la certitude qu’il est le bon est sans doute hors de portée, et il peut exister plusieurs interprétations valides d’un même phénomène. Mais nous pouvons tenter de le mettre à l’épreuve pour tester sa validité.

Dans un article récemment publié dans PLoS ONE, nous avons proposé que cette mise à l’épreuve pouvait être faite en recherchant les différents comportements possibles d’un modèle, et en particulier les comportements inattendus. Ceux-ci, s’ils diffèrent de ce qui est observé dans la nature, révèlent des faiblesses du modèle et donnent au modélisateur une occasion de le réviser. En réitérant ce processus, on peut construire des modèles en lesquels on peut avoir de plus en plus confiance. Les comportements inattendus peuvent aussi constituer des prédictions intéressantes du modèle qui peuvent être testées expérimentalement.

Nous avons proposé une méthode évolutive basée sur la recherche de nouveauté pour rechercher les différents comportements d’un modèle en simulation. Nous avons testé sa capacité à découvrir des comportements différents avec un modèle de déplacement collectif, et l’avons comparée à des méthodes communes d’échantillonnage dans l’espace de paramètres. La figure suivante montre les comportements découverts par la méthode proposée (PSE pour Pattern Space Exploration), par un échantillonnage LHS et par un échantillonnage en grille régulière.

Patterns discovered by different exploration methods for the flocking model.

Chaque point représente un comportement du modèle découvert. Les comportements sont décrits en 2 dimensions: la vélocité moyenne des particules qui se déplacent et leur diffusion relative (vers 1, elles se déplacent les unes par rapport aux autres, à 0 elles restent fixes les unes par rapport aux autres et vers -1 elles se rapprochent les unes des autres).

La figure suivante donne le nombre de comportements différents découverts pour les différentes méthodes.

Number of patterns discovered by different exploration methods for the flocking model.

Les résultats montrent que notre méthode a découvert beaucoup plus de comportements que les autres méthodes, et suggère qu’un échantillonnage dans l’espace des paramètres est inadapté pour ce type de recherche lorsque l’on a affaire à des modèles de systèmes complexes. Il faut préférer des méthodes adaptatives, qui orientent la recherche en fonction des comportements découverts au fil de l’exploration.

Cette méthode a aussi été utilisée pour découvrir les différentes possibilités de croissance de population et de hierarchisation entre villes dans un modèle de système de ville, et a montré que le modèle pouvait expliquer toutes les combinaisons de croissance/décroissance et hiérarchisation/égalisation.

L’étude publiée dans PLoS ONE est disponible ici et la méthode, PSE, est utilisable dans OpenMOLE.