## Code inclusif et éthique > Les algorithmes sont souvent le reflet de ceux qui les conçoivent https://blog.adatechschool.fr/les-biais-algorithmiques-ou-comment-le-code-est-injuste-et-discriminant/ ### Biais algorithmiques ![How I'm fighting bias in algorithms | Joy Buolamwini](https://www.youtube.com/watch?v=UG_X_7g63rY) ### Les exemples sont malheureusement nombreux - Algorithmes racistes ? Facebook confond par erreur des hommes noirs avec des singes et s'excuse (France Inter, 6/9/2021) - Pourquoi un algorithme de twitter est accusé de racisme ? (BFM, 21/09/2020) - États-Unis : Un algorithme raciste a privé des patients noirs d’une greffe de rein dont ils avaient besoin (20 Minutes, 27/10/20) ### D'où provient le phénomène ? La (moindre) diversité dans la tech. En 2018, **seuls 15% du personnel de recherche en IA chez Facebook et 10% chez Google sont des femmes.** La surreprésentation des hommes blancs parmi les data scientists et la sous représentation des minorités peut conduire les data scientists à ne pas assez prendre en compte les biais et les discriminations potentiels. C'est ce que D'Ignazio et Klein (MIT) appellent le **« risque de privilège »** (privilege hazard). <div style="page-break-after: always;"></div> ### Tout un tas de biais renforcent le phénomène - **biais de conformité** (délaisser notre raisonnement intime pour rallier l'avis de la majorité) - **biais de confirmation** (privilégier les informations confirmant ses hypothèses et/ou accorder moins de poids aux hypothèses jouant en défaveur de ses conceptions) - **biais d’optimisme** (croire que l’on est moins exposé que les autres aux événements négatifs) - **biais de disponibilité** (se contenter de nos expériences et d’informations immédiates pour raisonner) ![[image-94.png]] Source: Institut Montaigne — [Algorithmes : contrôle des biais S.V.P.](https://www.institutmontaigne.org/publications/algorithmes-controle-des-biais-svp) > [!tips]- [[Glossaire - Numérique responsable#Biais cognitifs|Biais cognitifs]] > > ![[The_Cognitive_Bias_codex.svg]] > Par Jm3 — Travail personnel, CC BY-SA 4.0, https://commons.wikimedia.org/w/index.php?curid=58115523 <div style="page-break-after: always;"></div> ### Qu'est-ce que je peux faire ? **Consommateur** - Je me méfie et je cherche la transparence **Acteur** - Je cherche la diversité dans mon équipe / jeu de données - Je m'engage dans ou soutien des associations comme [Yeeso](https://yeeso.fr/), [Duchess France](https://www.duchess-france.fr/), - Je m’assure que mon design produit inclus dès le début des principes éthiques et des lignes rouges - Je joue la transparence ![[canard-sticker.gif|300]] ### A retenir - Les algorithmes ont la capacité de démultiplier les biais de ceux qui les conçoivent. - Il faut en être conscient, et s’appliquer à avoir une méthodologie la plus exemplaire possible afin d’éviter ces biais. ![[ecrire-sticker.gif|300]] <div style="page-break-after: always;"></div> ## Économie de l'attention ![[Pasted image 20260426175018.webp]] > [!question]- D'après le CEO de Netflix, qui est leur principal concurrent ? > Réponse : LE SOMMEIL > ![[Pasted image 20260426175049.webp]] <div style="page-break-after: always;"></div> ### Fonctionnement - mécanismes [captologiques](https://fr.wikipedia.org/wiki/Captologie) - Dopamine - FOMO ![[Pasted image 20260426175103.webp|450]] - https://www.arte.tv/fr/videos/RC-017841/dopamine/ ### Quelques progrès ? ![[image-106.webp|500]] > Instagram et YouTube jugés responsables de la dépression d’une adolescente en Californie : une amende de 6 millions de dollars et un verdict « historique » > => [https://www.lemonde.fr/pixels/article/2026/03/25/instagram-et-youtube-juges-responsables-de-la-depression-d-une-adolescente-condamnes-a-verser-au-moins-3-millions-de-dollars-a-la-plaignante_6674264_4408996.html](https://www.lemonde.fr/pixels/article/2026/03/25/instagram-et-youtube-juges-responsables-de-la-depression-d-une-adolescente-condamnes-a-verser-au-moins-3-millions-de-dollars-a-la-plaignante_6674264_4408996.html) <div style="page-break-after: always;"></div> ### A quoi ça sert ? ![[Pasted image 20260426175124.webp]] ### Qu'est-ce que je peux faire ? **Consommateur** - Je désactive au maximum les notifications - Je prévois des périodes sans smartphone - Je désactive les couleurs - Je garde mon smartphone loiiiiiin de ma chambre **Acteur** - Je m’assure de ne pas implémenter de « dark patterns » dans mon app ![[canard-sticker.gif|300]] <div style="page-break-after: always;"></div> ### A retenir • Les services ont financièrement tout intérêt à vous faire venir le plus souvent/longtemps possible chez eux. • Pour renouveler leur abonnement • Pour vous faire voir le plus de publicités possible • Pour faire cela, ils n’hésitent pas à utiliser des « dark patterns » qui jouent sur notre inconscient pour que l’on n’ait plus envie mais besoin de revenir / d’acheter. Aller plus loin → [Designers Ethiques](https://designersethiques.org/fr) ![[ecrire-sticker.gif|300]] <div style="page-break-after: always;"></div> ### Dark patterns (design trompeur) ![[Pasted image 20260427212031.webp]] Source : [https://uxknowledgebase.com/dark-patterns-3b41ed7a690e](https://uxknowledgebase.com/dark-patterns-3b41ed7a690e) https://www.youtube.com/@dgccrf_off/shorts #### Parenthèse - Forcing de l'IA ![[Pasted image 20260427212117.webp|600]] Source : [https://limitesnumeriques.fr/travaux-productions/ai-forcing](https://limitesnumeriques.fr/travaux-productions/ai-forcing) <div style="page-break-after: always;"></div> ### Atelier - Guide des designs trompeurs Petit jeu créé par la CNIL pour repérer les designs trompeurs ![[Pasted image 20260426180050.webp|450]] https://apparences-trompeuses.beta.cnil.fr/html/accueil.html Le jeu reprend leur typologie des designs trompeurs liés à la protection des données au sein des réseaux sociaux ### Guide - concevoir sans dark patterns ![[image-107.webp|400]] https://designersethiques.org/fr/thematiques/design-persuasif/concevoir-sans-dark-patterns <div style="page-break-after: always;"></div> ### Légal - Réglements sur les services numériques (DSA) ![[dsa-image-deco.webp|240x158]] DSA Art 25 > Les fournisseurs de plateformes en ligne ne conçoivent, n’organisent ni n’exploitent leurs interfaces en ligne de façon à tromper ou à manipuler les destinataires de leur service ou de toute autre façon propre à altérer ou à entraver substantiellement la capacité des destinataires de leur service à prendre des décisions libres et éclairées. ![[dsa-art-25-darks-patterns.webp]] Source : https://www.arcom.fr/sites/default/files/2023-08/Journal%20officiel%20de%20Union%20europeenne%20du%2027%20octobre%202022.pdf p 58 - 59 ### A quoi ça sert ? - A vendre - A maintenir captifs ### Qu'est-ce que je peux faire ? **Consommateur** - Limiter les usages **Acteur** - Se renseigner et sensibiliser sur les designs trompeurs - [Concevoir pour les éviter](https://designersethiques.org/fr/thematiques/design-persuasif/concevoir-sans-dark-patterns) ![[canard-sticker.gif|300]] ### A retenir Les designs trompeurs s'appuient sur la science cognitive pour induire des comportements chez les utilisateurs. Elle est souvent utilisée pour générer des revenirs ou maintenir les utilisateurs captifs <div style="page-break-after: always;"></div> ## Boucles de feedback Les systèmes s'alimentent mutuellement et s'amplifient. > “dirty data in, dirty data out” ### Algorithmic ecology ![[IMG_2590.webp|461x260]] https://freerads.org/2020/03/02/the-algorithmic-ecology-an-abolitionist-tool-for-organizing-against-algorithms/ Un exemple d'action collective : L'écologie algorithmique > Dans un monde de plus en plus surveillé et surveillé, les algorithmes sont devenus des sites critiques de pouvoir, de lutte et de résistance. En racontant l'histoire de notre lutte contre `Predpol`, une technologie de police prédictive, nous introduisons un modèle abolitionniste pour l'analyse des algorithmes : **l'écologie algorithmique**. > > L'écologie algorithmique est à la fois un cadre et un outil d'organisation qui peut être appliqué de manière critique à n'importe quel algorithme. Ce modèle décentre l'algorithme lui-même, examine les différents acteurs qui façonnent l'algorithme et illustre les intérêts que l'algorithme sert, dans le but ultime de démanteler les acteurs en créant des dommages algorithmiques. L'écologie algorithmique est également un rappel : nous devons examiner de manière critique ce qui se cache sous la police "scientifique" et axée sur les données, et nous devons **aller au-delà des critiques axées sur la technologie des algorithmes** et des "données sales". ### RoboDettes https://blogs.mediapart.fr/lucieinland/blog/150421/comment-la-caf-traite-mon-dossier-avec-un-robot-dettes <div style="page-break-after: always;"></div> ## Morale ### moralmachine.net Qu'est-ce que la voiture autonome devrait faire ? ![[IMG_2591.webp|419x208]] https://www.moralmachine.net/hl/fr https://m.youtube.com/watch?v=Sh8POK7p74k Qu'est-ce que le juge robot devrait faire ? <div style="page-break-after: always;"></div> ## Des technologies neutres ? ![[image-108.webp|400]] [Police et IA : la surveillance de masse s’organise en secret — Blast](https://www.youtube.com/watch?v=iPeiURSEwec) ![[IMG_2600.webp|420]] Source : That Mitchell and Webb Look — BBC 2006 https://www.developpez.com/actu/382523/Palantir-DOGE-Thiel-quand-la-Silicon-Valley-cesse-de-pretendre-etre-neutre-et-assume-ouvertement-son-projet-de-colonisation-des-Etats-democratiques-Les-implications-pour-les-ingenieurs-et-les-decideurs/ https://www.radiofrance.fr/franceculture/podcasts/un-monde-connecte/ok-google-lache-ses-principes-ethiques-et-s-en-va-t-en-guerre-avec-l-ia-8642879 <div style="page-break-after: always;"></div> ## Concepts clés Vous avez une responsabilité sur les systèmes que vous produisez. Il est nécessaire d’être attentif aux potentiels dommages que pourraient causer le système à la société : - En marginalisant des populations - En créant de la dépendance au système - En créant des boucles de rétroaction ## A suivre [[4 - Protection]]