Si les robots et l'automatisation peuvent être très utiles dans toutes sortes de situation, notamment en entreprises, il importe que ces intelligences artificielles aient été convenablement « nourries ». Gare sinon au risque de discrimination… C'est ce qui s'est passé chez Amazon : en 2014, une équipe mettait au point un robot pour trier les curriculum vitae pour occuper des postes de développeurs logiciel ou à compétences techniques. Selon une des sources qui a révélé l'affaire auprès de Reuters, cette équipe voulait que l'intelligence artificielle ingurgite une centaine de CV pour ne retenir que les cinq meilleurs à embaucher.
Malheureusement, le modèle sur lequel ce robot s'appuyait pour analyser les CV était majoritairement composé de profils masculins — les hommes étant toujours majoritaires pour ce type de postes. L'intelligence artificielle en a déduit que ces emplois étaient donc destinés aux hommes, et elle notait défavorablement les candidatures féminines. Y compris dans des CV anonymes : le système pouvait détecter des indications comme « présidente du club d'échecs », ce qui dénotait bien sûr un CV féminin.
En 2015, Amazon s'est aperçu du biais de cette intelligence artificielle. L'entreprise a assuré que ce robot n'a jamais servi, si ce n'est dans le cadre d'essais. L'expérimentation a été annulée l'an dernier, pas seulement en raison de la discrimination du genre dont elle souffrait. Parfois, le regard humain est plus pertinent que celui des systèmes d'automatisation…
Malheureusement, le modèle sur lequel ce robot s'appuyait pour analyser les CV était majoritairement composé de profils masculins — les hommes étant toujours majoritaires pour ce type de postes. L'intelligence artificielle en a déduit que ces emplois étaient donc destinés aux hommes, et elle notait défavorablement les candidatures féminines. Y compris dans des CV anonymes : le système pouvait détecter des indications comme « présidente du club d'échecs », ce qui dénotait bien sûr un CV féminin.
En 2015, Amazon s'est aperçu du biais de cette intelligence artificielle. L'entreprise a assuré que ce robot n'a jamais servi, si ce n'est dans le cadre d'essais. L'expérimentation a été annulée l'an dernier, pas seulement en raison de la discrimination du genre dont elle souffrait. Parfois, le regard humain est plus pertinent que celui des systèmes d'automatisation…
