Dans le film Minority Report, la police parvient à empêcher des crimes bien avant que ceux-ci n’aient lieu. Elle fait appel à des visions obtenues par des procédés divinatoires pour entrevoir des événements futurs. Dans la réalité, nos autorités utilisent les algorithmes, les logiciels de pronostic et la surveillance vidéo pour déterminer ce qui pourrait se passer demain. Avec la prévision policière, la police cherche à identifier les régions où la probabilité des cambriolages est particulièrement élevée. Elle tente aussi de prédire la supposée dangerosité des personnes.
Les individus sont surveillés et font l’objet de mesures préventives, alors qu’ils n’ont rien à se reprocher. N’importe quel propos ou like sur les réseaux sociaux peut être interprété comme l’indice que ces personnes risquent, d’un jour à l’autre, de devenir dangereuses pour la collectivité.
La prévision policière n’en constitue pas moins une atteinte aux droits humains. Les individus sont surveillés et font l’objet de mesures préventives, alors qu’ils n’ont rien à se reprocher. N’importe quel propos ou like sur les réseaux sociaux peut être interprété comme l’indice que ces personnes risquent, d’un jour à l’autre, de devenir dangereuses pour la collectivité. Dans la plupart des cas, elles ignorent que l’État les tient à l’oeil, et elles n’ont aucun moyen juridique de se défendre.
La prévision policière est également dangereuse en raison des technologies utilisées. La population n’a la plupart du temps aucun moyen de savoir à quels outils et logiciels recourt la police, dans quelles situations et à quelle fréquence. Les algorithmes appliqués sont opaques, parfois discriminatoires, et ils ne sont soumis à aucun contrôle scientifique. Rien d’étonnant à ce que l’ONG canadienne CitizenLab y voie une menace pour toute une série de droits fondamentaux : interdiction de la discrimination, sécurité juridique, protection de la sphère privée ou liberté d’expression.
La Suisse, pionnière
La prévision policière n’est pas une dystopie relevant de la science-fiction. C’est une réalité, notamment dans notre pays, qui fait figure de pionnier en la matière. Ce qui est techniquement possible est mis en oeuvre, sans débat démocratique, sans évaluation scientifique. Les profils des individus désignés comme « potentiellement dangereux » sont enregistrés dans des bases de données et conservés pendant des années. La police tient le registre de ces personnes à leur insu en utilisant des outils de pronostic tels que « Ra-Prof », « DyRiAS », « Octagon » ou « ODARA », censés évaluer la dangerosité avec des questionnaires et des échelles de mesure. Le logiciel « Precobs » doit guider les patrouilles là où des cambriolages risquent de se produire. En Suisse, presque tous les cantons misent sur l’un ou l’autre de ces logiciels.
L’usage des algorithmes est dépourvu de base légale claire
Cette évolution est particulièrement inquiétante dans le contexte de la loi sur les mesures policières de lutte contre le terrorisme (MPT) récemment acceptée en votation populaire. Des milliers de personnes sont déjà fichées dans les bases de données d’individus « potentiellement dangereux ». Avec les outils de pronostic et les nouvelles mesures préventives, d’autres pourraient bientôt connaître le même sort alors qu’elles n’ont commis aucun délit. L’usage des algorithmes est en outre dépourvu de base légale claire, comme l’a montré une enquête du média en ligne Republik. À Bâle-Ville, ces bases légales sont tout juste en cours d’élaboration, alors que « Ra-Prof » a été mis en oeuvre dans plus de 50 cas depuis 2016. Le logiciel a été développé par l’Institut suisse pour les questions de violence (Schweizerisches Institut für Gewaltfragen, SIFG) pour calculer les tendances à la radicalisation sur la base de 40 questions. Les cantons de Schaffhouse, Saint-Gall et Argovie utilisent « Octagon », alors que la révision correspondante des lois policières n’est pas encore entrée en vigueur. Ce questionnaire établi par le Service psychiatrique et psychologique du canton de Zurich doit déterminer la probabilité qu’une personne commette un acte violent. « Octagon » est en service dans au moins onze autres cantons suisses.
Tout cela ne dérange pas les autorités. Interrogées, elles renvoient à des alinéas de portée générale de la loi sur la police autorisant celle-ci à prendre des mesures préventives contre les infractions. Il est plus que douteux que l’utilisation systématique de logiciels de pronostic en fasse partie. Pour la professeure de droit bâloise Nadja Braun Binder, ces dispositions générales ne devraient être invoquées que dans des cas exceptionnels.
Obéissance aveugle ?
L’acquisition et l’utilisation de « Ra-Prof », « Octagon » ou « DyRiAS » ne font pas l’objet d’un débat public. La transparence et la clarté des algorithmes ne sont pas non plus explicitement prises en compte lors de la procédure d’acquisition, comme il ressort d’une étude menée à l’Université de Saint-Gall. Le fonctionnement de nombreux outils est couvert par le secret des affaires.
Une transparence absolue serait pourtant le minimum exigible. De même, la pertinence des algorithmes n’est guère remise en question, et quand c’est le cas, les résultats sont peu encourageants. La télévision suisse alémanique a montré que « DyRiAS » surestimait lourdement la dangerosité des individus : dans deux cas sur trois, ses appréciations sont fausses. « DyRiAS » doit déterminer sur une échelle de 1 à 5 le degré d’urgence d’une intervention dans différents domaines comme l’emploi, l’école, le couple. Il est en usage dans au moins six cantons.
Depuis des années, la reconnaissance faciale est sous le feu des critiques pour ses biais racistes et sexistes, avec pour résultat des erreurs qui conduisent à des violations massives des droits fondamentaux.
La police souligne que ces outils ne tranchent pas – ils n’ont qu’un rôle auxiliaire. Au final, les décisions appartiennent aux seul·e·s fonctionnaires. Mais les choses ne sont pas si simples, à en croire Monika Simmler de l’Université de Saint-Gall. Les algorithmes confèrent une « pseudo-légitimation » : lorsque les résultats du logiciel viennent confirmer une intuition, ils fournissent une justification à celle-ci. Mais lorsque l’algorithme parvient à une conclusion différente, les utilisateurs vont être plutôt amenés à remettre en question ce résultat. Le risque est celui d’une vision en tunnel : le travail finit par ne plus se fonder que sur ce que l’on demande au logiciel et sur ce qu’il permet d’enregistrer, en négligeant d’autres données et indices. Quant au contexte, il échappe souvent aux algorithmes.
Confrontée à ces problèmes, la police suisse reste de marbre. Selon elle, il existe une mécompréhension de son rôle et de son travail. Les médias se seraient simplement emparés d’un sujet à la mode. Un reportage du Tages Anzeiger donne un aperçu du quotidien de la police cantonale argovienne. Elle piste les criminel·le·s avec le logiciel de reconnaissance faciale de la société israélienne AnyVision. Or, depuis des années, la reconnaissance faciale est sous le feu des critiques pour ses biais racistes et sexistes, avec pour résultat des erreurs qui conduisent à des violations massives des droits fondamentaux. Les géants de la tech comme Amazon, IBM et Microsoft ont eux-mêmes interdit l’usage des outils qu’ils ont développés à des fins policières. Et pourtant, lors du moindre vol à la tire, les polices des cantons d’Argovie, Schaffhouse, Saint-Gall et Vaud passent automatiquement en revue leurs archives photos pour identifier des personnes suspectes. La police argovienne avoue ouvertement qu’il est impossible de connaître précisément le taux d’erreur du logiciel.
Les algorithmes sont utilisés sans discernement. Sous prétexte de lire dans le futur, ils amènent à sacrifier des droits fondamentaux qui devraient nous protéger contre l’arbitraire.