Surveillance et prise de décision algorithmique

Par le passé, la surveillance visait délibérément des personnes ou des groupes identifiables pour une raison particulière. Par exemple, les autorités surveillaient les appels téléphoniques ou suivaient les déplacements d’une personne dans le cadre d’une enquête criminelle. Si ces outils pouvaient être (et ils l’étaient souvent) appliqués de manière inéquitable, leur impact était limité. Cependant, aujourd’hui, de plus en plus de personnes font l’objet d’une surveillance, et nous sommes surveillés de plus d’une façon par un plus grand nombre de sources. Selon le Commissariat à la protection de la vie privée du Canada, « De nos jours, il serait trop naïf de croire que seuls les "méchants" ont à s’inquiéter pour leurs renseignements ou que "si on n’a rien à cacher, on n’a rien à craindre"[2] ».

Les moyens de surveillance ne sont pas les seuls à s’être multipliés et complexifiés au cours des dernières années. Les systèmes algorithmiques de prise de décision, surtout ceux qui font appel à l’apprentissage machine ou à l’« intelligence artificielle », permettent désormais à ceux qui recueillent des données d’agir plus facilement et plus rapidement.

Qu’est-ce qu’un algorithme?

Les algorithmes, que nous pouvons définir de manière générale comme des formules permettant de résoudre un problème ou d’accomplir une tâche^[3],[4], sont omniprésents sur Internet. Nous pouvons considérer les algorithmes comme des recettes ou des équations que les codeurs utilisent pour recueillir des renseignements et produire des outils qui nous aident à accomplir (ou, dans certains cas, à empêcher) toutes sortes de tâches, notamment la recherche d’informations, l’envoi de courriels, la navigation dans les médias sociaux, la consultation de systèmes de positionnement GPS, la diffusion de musique et d’émissions de télévision, les rencontres amoureuses, la reconnaissance des commandes vocales, la traduction de langues, la reconnaissance de visages, le tri de photos, la conduite d’une voiture, l’achat d’une maison, la présentation de demandes d’inscription à l’université et la soumission de candidatures pour un emploi.

De plus en plus, ces algorithmes ne sont pas que de simples formules transparentes pour leurs créateurs, mais sont créés grâce à l’apprentissage machine, ou « intelligence artificielle ». Par conséquent, plus encore qu’un organisme gouvernemental ou une agence de renseignement, les algorithmes fonctionnent dans une boîte noire dont nous connaissons les « intrants et [les] extrants sans rien connaître de son fonctionnement interne. […] comme les algorithmes se forment à l’aide de données et produisent leurs propres itérations au fil du temps, leur implémentation est opaque, même pour leurs concepteurs[5]. » Par conséquent, « cette boucle de collecte de données et de profilage est une norme dans l’environnement numérique et crée un profilage personnalisé surpuissant[6] »

« Je ne pense pas que ce soit juste, parce que nous ne leur avons pas donné la permission [aux plateformes] de prendre nos données, mais ce sont généralement elles [les plateformes] qui en bénéficient[7]. » (Rayleigh, 13 ans)

Les jeunes Canadiens ont des avis partagés sur l’utilisation de leurs données personnelles pour orienter la prise de décision algorithmique : si certains la considèrent comme « effrayante » ou « invasive », les exemples qu’ils connaissent le plus souvent, comme la publicité ciblée ou les recommandations sur des sites de diffusion de vidéos ou les réseaux sociaux, sont perçus comme étant peu risqués et, dans certains cas, comme présentant un avantage net. La plupart d’entre eux sont toutefois préoccupés par certains types de collecte de données algorithmiques, en particulier les données déduites ou « indirectes » recueillies grâce à l’apprentissage machine. Presque tous les participants à l’étude de HabiloMédias ont raconté au moins une anecdote sur une rencontre troublante avec des algorithmes ou l’intelligence artificielle. Les exemples incluent les suivants :

• la géolocalisation non désirée leur a envoyé des publicités pour des restaurants et des services locaux;
• l’achat de chaussures en ligne ou la recherche de robes de bal a entraîné une vague de publicités pour ces mêmes articles;
• des histoires ou des événements, comme le Brexit et le scandale concernant Cambridge Analytica, servent d’exemples d’influence algorithmique potentielle sur les résultats politiques[8].

Les jeunes sont également devenus plus sceptiques à l’égard de certains types de surveillance au fil du temps : une importante diminution du nombre de jeunes qui pensent que leur contenu en ligne devrait être accessible à la police (8 % en 2021 contre 28 % en 2013), aux entreprises propriétaires du site ou de l’application (6 % en 2021 contre 17 % en 2013) ou au gouvernement (4 % en 2021 contre 20 % en 2013)[9] a été observée.

Dans son rapport de 2020, le Commissariat à la protection de la vie privée du Canada souligne que « les données inférées et agrégées nous concernant ont pris davantage de valeur et posent de plus grands risques que presque n’importe quel type de renseignement personnel partagé. L’agrégation et les inférences sont particulièrement consolidées par l’IA[10]. » Cependant, près de la moitié des Canadiens ne pensent pas avoir donné leur libre consentement à l’utilisation de leurs renseignements personnels pour des recommandations de contenu algorithmiques[11].

Si certains jeunes apprécient la façon dont les algorithmes peuvent s’appuyer sur leur profil de données pour leur proposer des publicités et des contenus plus pertinents, cette décision comporte aussi des risques. Le moteur de recherche de TikTok, dont la page « Pour toi » triée par algorithme est à l’origine de plus de 90 % de toutes les vues sur la plateforme[12], « apprend vite qu’un jeune utilisateur s’intéresse à un contenu qui perpétue des stéréotypes ethniques négatifs ou préjudiciables ou des stéréotypes de genre[13] ».

« Je pense que beaucoup de gens savent que leurs données sont utilisées pour optimiser l’algorithme. L’algorithme, c’est ce qui me fait le plus peur, je pense, parce qu’il a le pouvoir d’encourager l’extrémisme. Ce qui m’inquiète aussi, c’est le fait que non seulement les entreprises de réseaux sociaux utilisent les données que je choisis activement de partager, mais qu’elles analysent aussi chaque petit geste que je fais de façon passive. » (Sofia, 17 ans)[14]

L’utilisation d’algorithmes contribue également au détournement de fonction, qui consiste à recueillir des données dans un but précis, puis à les utiliser à d’autres fins sans préavis ou consentement. De plus en plus, les différentes sources d’information recueillies peuvent être combinées, permettant d’obtenir une image globale du comportement et des intérêts de l’utilisateur[15].

Toutefois, les jeunes s’inquiètent surtout de la possibilité d’être catégorisés incorrectement, soit parce que l’algorithme fait une erreur ou qu’ils ne correspondent pas au profil sur le plan individuel. Comme l’a dit une participante à l’étude de HabiloMédias :

« Je ne pense pas que ce soit exact tout le temps. Moi, je joue au hockey, et ce n’est pas nécessairement un sport féminin, c’est plus un truc de gars, alors ils pourraient penser que j’en suis un et me montrer des pubs destinées aux garçons qui ne me concerneront pas du tout parce que je suis une fille[16]. »

Les préjudices potentiels des profils corrects et incorrects ne font que croître puisque ces profils « commencent à être utilisés dans des "domaines où les enjeux sont élevés" pour décider par exemple si une personne sera libérée sous caution, si elle se verra offrir un emploi ou si elle obtiendra du crédit[17] ».

« Pour les enfants qui grandissent aujourd’hui et les générations qui les suivront, l’impact du profilage sera encore plus important simplement parce qu’il y a plus de données disponibles à leur sujet[18]. »

Ce sont les jeunes marginalisés qui sont le plus touchés par ces impacts. Comme l’explique Virginia Eubanks, auteure de l’ouvrage Automating Inequality, « les personnes qui vivent dans des environnements où les droits de la personne sont peu respectés, comme les communautés de personnes pauvres, de travailleurs, de migrants ou de personnes de couleur ou encore les minorités religieuses ou sexuelles, sont obligées de donner des renseignements personnels pour avoir accès aux services. Elles font l’objet d’une surveillance numérique dans les logements sociaux, dans le système de justice pénale et dans leurs milieux de travail à bas salaires. La surveillance numérique est quasi constante[19]. »

Les jeunes font également souvent l’objet d’une surveillance à l’école. Dans un sondage sur la surveillance à l’école mené auprès de plus d’un millier d’élèves du secondaire, près des trois quarts d’entre eux ont dit qu’il était « plus difficile pour eux de faire leurs travaux scolaires parce que l’école bloque l’accès à des contenus et à des informations utiles », tandis que près des trois quarts des parents interrogés dans le cadre de la même étude s’inquiétaient de la sécurité des données des élèves recueillies par les établissements scolaires[20]. Une autre étude a révélé qu’un tiers des élèves estiment que la surveillance à l’école leur donne l’impression d’être observés et qu’ils sont par conséquent moins libres de s’exprimer[21] (l’« effet dissuasif » défini par Citron et Solove).

« Vous savez, ça me rappelle toujours que je dois être conscient de ce que je fais et que quelqu’un me surveille. Ce n’est pas vraiment sympa. Oui, je sais que c’est pour me protéger, mais ce n’est pas vraiment sympa[22]. »

Comme le montre la citation ci-dessus, la surveillance est souvent justifiée sur le plan de la sécurité et du risque, « au mépris de la vie privée des personnes et des groupes pour protéger les droits d’autres personnes et groupes[23] ». Comme nous le verrons dans la section suivante, les parents surveillent souvent les activités en ligne de leurs enfants en raison des risques qu’Internet est censé présenter, comme l’exploitation sexuelle en ligne, les contenus pornographiques et les autres contenus inappropriés, ou la cyberintimidation. Les histoires de menaces et de dangers abondent dans les médias et la culture populaire, et la surveillance est perçue comme un moyen de nous protéger, nous et nos enfants, de ces risques.

La surveillance suppose également un certain manque de confiance. Lorsque quelqu’un (comme un citoyen ou un enfant) est surveillé par quelqu’un d’autre (comme le gouvernement ou un parent) afin de contrôler son comportement, cette surveillance admet implicitement à la personne surveillée qu’elle n’est pas digne de confiance, et que les autres ne sont pas dignes de confiance non plus[24].

---

[1] Lyon, D. (2001). Surveillance Society: Monitoring Everyday Life. Buckingham : Open University Press. [traduction]

[2] (2015). « Les priorités stratégiques liées à la vie privée : Description de la priorité ». Commissariat à la protection de la vie privée du Canada. Consulté à l’adresse https://www.priv.gc.ca/fr/a-propos-du-commissariat/priorites-strategiques-liees-a-la-vie-privee-du-commissariat/anciennes-priorites/les-priorites-strategiques-liees-a-la-vie-privee/.

[3] Voir : Rainie, L., et Anderson. J. (2017). « Code-Dependent: Pros and Cons of the Algorithm Âge ». Pew Research Center, Internet and Technology. Consulté à l’adresse https://www.pewresearch.org/internet/2017/02/08/code-dependent-pros-and-cons-of-the-algorithm-age/.

[4] Projet Décode les algorithmes (2020). Guide éducatif : Apprenez-en plus sur les algorithmes. Kids Code Jeunesse et Commission canadienne pour l’UNESCO. Consulté à l’adresse https://algorithmliteracy.org/data/resources/fr/Project-decode-algorithmes-guide-educationnel.pdf.

[5] Brisson-Boivin, K., et McAleese, S. (2021). Averti aux algorithmes : Les jeunes Canadiens discutent l’intelligence artificielle et la confidentialité. Ottawa : HabiloMédias.

[6] Kidron, B., Evans, A., Afia, J., Adler, J.R., Bowden-Jones, H., Hackett, L., Scot, Y., et autres (2018). Disrupted childhood: The cost of persuasive design. [traduction]

[7] Brisson-Boivin, K., et McAleese, S. (2021). Averti aux algorithmes : Les jeunes Canadiens discutent l’intelligence artificielle et la confidentialité. Ottawa : HabiloMédias.

[8] Ibidem.

[9] HabiloMédias (2022). Jeunes Canadiens dans un monde branché, phase IV : La vie privée en ligne et le consentement. Ottawa : HabiloMédias.

[10] Cofone, I. (2020). Propositions stratégiques aux fins de la réforme de la LPRPDE élaborées en réponse au rapport sur l’intelligence artificielle. Rapport préparé pour le Commissariat à la protection de la vie privée du Canada : https://www.priv.gc.ca/fr/a-propos-du-commissariat/ce-que-nous-faisons/consultations/consultations-terminees/consultation-ai/pol-ai_202011/.

[11] Commissariat à la protection de la vie privée du Canada (2023). « "Recommandé pour vous" : La confidentialité des données et les algorithmes utilisés par les plateformes de diffusion en continu les plus populaires ». Consulté à l’adresse https://www.priv.gc.ca/fr/mesures-et-decisions-prises-par-le-commissariat/recherche/financement-pour-les-projets-de-recherche-et-d-application-des-connaissances/resultats-reels/rr-v4-index/v4-article3/.

[12] Nishijima, I. (2021). « TikTok’s Secret Money Maker is Actually Its Algorithms ». Medium. Consulté à l’adresse https://medium.com/headlineasia/tiktoks-biggest-money-maker-is-actually-an-algorithm-879c5518db53.

[13] Williams, D., et autres (2021). Surveilling young people online: An investigation into TikTok’s data processing practices. Consulté à l’adresse https://au.reset.tech/uploads/resettechaustralia_policymemo_tiktok_final_online.pdf. [traduction]

[14] Citée dans Amnistie Internationale (2023). « Je me sens vulnérable » : Pris·e·s au piège de la surveillance intrinsèque à TikTok. Consulté à l’adresse https://www.amnesty.org/en/wp-content/uploads/sites/8/2024/01/POL4073492023FRENCH.pdf.

[15] McKee, H.A. (2011). « Policy matters now and in the future: Net neutrality, corporate data mining, and government surveillance ». Computers and Composition, 28, 276-291; Lyon, 2008.

[16] Brisson-Boivin, K., et McAleese, S. (2021). Averti aux algorithmes : Les jeunes Canadiens discutent l’intelligence artificielle et la confidentialité. Ottawa : HabiloMédias.

[17] Children’s Commissioner for England. (2018). Who knows what about me? A Children’s Commissioner report into the collection and sharing of children’s data. [traduction]

[18] Ibidem. [traduction]

[19] Eubanks, V. (2020). Citée dans « Public Thinker: Virginia Eubanks on Digital Surveillance and People Power ». Public Books. Consulté à l’adresse https://www.publicbooks.org/public-thinker-virginia-eubanks-on-digital-surveillance-and-people-power/. [traduction]

[20] DeGeurin, M. (2023). « School Surveillance Tools Are Harming Kids and Making It More Difficult to Finish Homework Report Finds ». Gizmodo. Consulté à l’adresse https://gizmodo.com/school-surveillance-harm-kids-homework-report-1850854919. [traduction]

[21] American Civil Liberties Union (2023). Digital Dystopia: The Danger in Buying What the EdTech Surveillance Industry is Selling. Consulté à l’adresse https://www.aclu.org/publications/digital-dystopia-the-danger-in-buying-what-the-edtech-surveillance-industry-is-selling.

[22] Ibidem. [traduction]

[23] K.N.C (2019). « Surveillance is a fact of life, so make privacy a human right ». The Economist. Consulté à l’adresse https://www.economist.com/open-future/2019/12/13/surveillance-is-a-fact-of-life-so-make-privacy-a-human-right.

[24] Ibidem.