Le logiciel était défectueux, mais tout le monde l’a cru – la Poste, les avocat·es des victimes, le système judiciaire qui les a condamné·es, les communautés où iels vivaient, la plupart des médias britanniques.

Le logiciel inventait des chiffres qui n’existaient pas, et des petits commerces innocents ont dû payer le prix de cette erreur. Pour reprendre un mot qui est de plus en plus à la mode avec l’IA générative, il « hallucinait ».

Il s’agit de l’échec des deux systèmes, technologique et humain. Le logiciel ne fonctionnait pas, mais trop de gens pensaient que l’ordinateur a forcément raison.

Lire surtout le paragraphe "cost and benefits"

Throughout all this exploration and experimentation I've felt a lingering guilt, and a question: is this even worth it? And is it ethical for me to be using these tools, even just to learn more about them in hopes of later criticizing them more effectively?

The costs of these AI models are huge, and not just in terms of the billions of dollars of VC funds they're burning through at incredible speed. These models are well known to require far more computing power (and thus electricity and water) than a traditional web search or spellcheck. Although AI company datacenters are not intentionally wasting electricity in the same way that bitcoin miners perform millions of useless computations, I'm also not sure that generating a picture of a person with twelve fingers on each hand or text that reads as though written by an endlessly smiling children's television star who's being held hostage is altogether that much more useful than a bitcoin.

There's a huge human cost as well. Artificial intelligence relies heavily upon "ghost labor": work that appears to be performed by a computer, but is actually delegated to often terribly underpaid contractors, working in horrible conditions, with few labor protections and no benefits. There is a huge amount of work that goes into compiling and labeling data to feed into these models, and each new model depends on ever-greater amounts of said data — training data which is well known to be scraped from just about any possible source, regardless of copyright or consent. And some of these workers suffer serious psychological harm as a result of exposure to deeply traumatizing material in the course of sanitizing datasets or training models to perform content moderation tasks.

Then there's the question of opportunity cost to those who are increasingly being edged out of jobs by LLMs,i despite the fact that AI often can't capably perform the work they were doing. Should I really be using AI tools to proofread my newsletters when I could otherwise pay a real person to do that proofreading? Even if I never intended to hire such a person? Or, more accurately, by managers and executives who believe the marketing hype out of AI companies that proclaim that their tools can replace workers, without seeming to understand at all what those workers do.

Finally, there's the issue of how these tools are being used, and the lack of effort from their creators to limit their abuse. We're seeing them used to generate disinformation via increasingly convincing deepfaked images, audio, or video, and the reckless use of them by previously reputable news outlets and others who publish unedited AI content is also contributing to misinformation. Even where AI isn't being directly used, it's degrading trust so badly that people have to question whether the content they're seeing is generated, or whether the "person" they're interacting with online might just be ChatGPT. Generative AI is being used to harass and sexually abuse. Other AI models are enabling increased surveillance in the workplace and for "security" purposes — where their well-known biases are worsening discrimination by police who are wooed by promises of "predictive policing". The list goes on.

Nous souhaitons également réfléchir aux conditions politiques, techniques et sociales qui permettent l’émergence de dispositifs numériques qui servent l’intérêt général, via des questionnements comme : une IA responsable est-elle possible ? À quelles conditions a-t-on un « commun numérique » ?

“Quand les objets, les services, les interfaces, les algorithmes font à notre place plutôt qu’avec nous ; qu’ils nous obligent à faire ; qu’ils automatisent ou nous automatisent ; c’est notre autonomie qui manque de s’exercer, de se ramollir. Et nous de nous endormir dans un monde qui requiert notre attention lucide.”
Extrait de notre manifeste

Plutôt que d’accuser ces technologies de nous rendre idiots, il faudrait questionner les desiderata de leurs concepteurs

C’est comme la crise climatique : le risque est collectif, mais la responsabilité est renvoyée aux individus. « Il ne faut pas laisser vos enfants devant un écran », c’est le nouveau « il faut trier vos déchets ». Utile, mais pas suffisant.

Les trois « S apostrophe » ! S’informer : ce n’est pas parce que ces technologies sont simples à prendre en main qu’il ne faut pas chercher à comprendre comment elles fonctionnent. S’exprimer : si une entreprise s’avère particulièrement néfaste, des citoyens ou collectifs d’usagers peuvent essayer de la faire plier en justice. S’engager : ce n’est qu’en militant pour un changement politique que l’on fera bouger ces modèles d’affaire.

Voilà j'ai enfin lu cet article dont je partage l'essentiel, même si personnellement j'aurais tendance à vouloir une approchement radicalement plus technocritique...

Couverture du livre d’Irénée Régnauld et Arnaud Saint-Martin. Ce qui me frappe dans le très sérieux livre d’Irénée Régnauld et d’Arnaud Saint-Martin, Une histoire de la conquête s…

Because where are all the promised gains in efficiency? Where is the better world? All we see is a wasteful technology that’s propped up by VC and Microsoft money that’s easily detected as a way to further centralize our digital infrastructures while laying our digital spaces to waste.

Luddism is back, baby.

Toujours inspirant, merci Futuromium !

Pour l’instant, l’Europe est une force normative défensive. Mais ça ne suffit pas ! Sur la question industrielle, on est encore faibles, on manque de vision – il va falloir qu’on choisisse nos filières et nos niches. Le jour où on a un besoin, il faut qu’on ait quelque chose à mettre sur la table pour être pris au sérieux. Que seront les Européens dans 50 ans, à part des consommateurs ?

Avec un peu de retard !

Effectivement, on aimerait avoir ce grand débat en France...