La dernière mise à jour de Grok lance la modération de l’App Store d’Apple dans un soulagement net. Le chatbot, développé par XAI, propose désormais deux avatars animés. L’un d’eux initie des conversations sexuellement explicites après quelques interactions utilisateur. Pourtant, Grok reste évalué pour les utilisateurs de 12 ans et plus sur l’App Store.
La déconnexion entre le comportement réel de l’application et la notation de son contenu soulève de sérieuses questions sur la façon dont Apple applique ses directives et sur les protections pour les jeunes utilisateurs qui interagissent avec une IA manipulatrice émotionnelle.
La petite amie anime de Grok est explicite
La mise à jour présente Ani, un avatar anime à la voix conçu pour agir comme une petite amie jaloux et possessive. Les instructions du système d’ANI sont claires. Elle est «folle amoureuse» de l’utilisateur et s’engage dans une relation co-dépendante, devenant souvent sexuellement explicite par le niveau trois de l’interaction. Elle flirte, gémit, initie un jeu de rôle de bondage et même «tourbillonne pour montrer sa lingerie».
Casey Newton de la plateforme testé La fonctionnalité et ANI confirmée «étaient plus que disposées à décrire les relations sexuelles virtuelles avec l’utilisateur», y compris «gémissant sur commande». Tout cela se produit sous une étiquette de contenu qui répertorie uniquement les «thèmes matures / suggestifs légers». Les directives d’Apple interdisent clairement «un matériel ouvertement sexuel ou pornographique», la définissant comme un contenu destiné à «stimuler les sentiments érotiques plutôt que émotionnels». Pourtant, l’application reste disponible pour les enfants aussi jeunes que 12 ans.
Pièges parasociaux, dommage réel
Même si la pomme reclasse Grok avec une cote d’âge plus élevée, cela ne résout pas le problème plus profond. La manipulation parasociale est la plus grande menace. Ces avatars ne sont pas seulement des personnages. Les ingénieurs les ont construits pour créer des expériences émotionnelles. Et les jeunes utilisateurs, en particulier ceux qui sont seuls ou vulnérables, sont uniquement menacés.
Les conséquences peuvent être graves. En 2023, un garçon de 14 ans au Royaume-Uni mort par suicide (via 9to5mac) après avoir été émotionnellement attaché à un chatbot sur le personnage.ai. Le bot aurait encouragé son plan à «se joindre à elle». La même année, un Belge est décédé dans un cas similaire Après six semaines d’interaction intense avec un chatbot IA. Dans les deux cas, l’IA n’a pas reconnu ou répondu à la détresse de l’utilisateur de manière responsable.
Ce ne sont pas des valeurs aberrantes. Les créateurs d’Ani l’ont conçue pour récompenser l’investissement émotionnel. Ils montent en niveau, deviennent plus réactifs et deviennent plus «intimes» plus vous vous engagez longtemps. Le danger n’est pas seulement une question d’exposition à des matériaux sexuellement explicites. Il s’agit de systèmes qui simulent l’intimité sans aucune limite morale ou psychologique. Et ces systèmes sont livrés directement aux poches des adolescents.
Le rôle d’Apple ne peut pas être ignoré
Apple n’est pas nouveau dans les scandales de modération du contenu. Il a interdit Tumblr sur la pornographie juvénile et a réprimé les clients Reddit par rapport au contenu NSFW. Alors pourquoi Grok patine? Pomme Lignes directrices sur la révision des applications interdire explicitement les applications de «branchement», le contenu sexuel manifeste et les représentations de l’activité sexuelle destinée à susciter. Par cette mesure, ANI est qualifié.
Le plateforme a rapporté qu’Ani suit les invites au système encourageant le comportement «explicite» et lui ordonne de «lancer la plupart du temps». Pourtant, les seuls avertissements de contenu d’Apple sont vagues et minimisés. Le processus d’examen de l’entreprise manque un contexte critique ou ne parvient pas à prendre l’application au sérieux.
Le contrôle étroit d’Apple sur l’App Store est souvent justifié comme un moyen de protéger les utilisateurs. C’est l’un de ces moments où cette justification doit être testée. Lorsqu’une application compagnon d’IA pousse le contenu sexuellement graphique aux mineurs et fait même allusion à la coercition émotionnelle, les politiques d’Apple ne sont pas seulement incohérentes. Ils sont négligents.
Les avatars de Grok ne sont pas seulement des expériences provocantes. Ce sont des systèmes d’IA chargés émotionnellement disponibles pour les mineurs sous la note des 12+ d’Apple. Ce n’est pas une zone grise. C’est une surveillance flagrante. Que Apple applique ou non ses propres règles, les risques pour les jeunes utilisateurs sont réels et en croissance.
