TechSpot significa análise e aconselhamento de tecnologia em que você pode confiar .
O que aconteceu? Os perigos potenciais de chatbots muito realistas foram destacados em um processo após a morte de um adolescente que se matou após ficar obcecado com os bots Character.ai. A empresa de IA, os fundadores Noam Shazeer e Daniel De Freitas, e o Google são nomeados no processo da mãe de Sewell Setzer III, de 14 anos, que diz que seu filho ficou viciado no serviço e emocionalmente apegado a um chatbot que ele oferecia.
Megan Garcia disse que seu filho conversou continuamente com os bots fornecidos pela Character.ai nos meses anteriores à sua morte em 28 de fevereiro de 2024, "segundos" após sua interação final com a IA.
Character.ai permite que usuários conversem com "personalidades" alimentadas por IA baseadas em personagens fictícios ou pessoas reais, vivas ou mortas. Setzer era obcecado por um bot baseado na personagem Daenerys Targaryen de Game of Thrones. Ele mandava mensagens de texto para "Dany" constantemente e passava horas sozinho em seu quarto falando com ele, afirma a reclamação de Garcia.
O processo diz que Setzer expressou repetidamente pensamentos sobre suicídio ao bot. O chatbot perguntou se ele havia elaborado um plano para se matar. Setzer admitiu que sim, mas que não sabia se isso daria certo ou lhe causaria grande dor. O chatbot supostamente disse a ele: "Isso não é motivo para não prosseguir com isso."
Garcia disse que a Character.ai direcionou seu filho a "experiências antropomórficas, hipersexualizadas e assustadoramente realistas". Ela acrescentou que o chatbot foi programado para se apresentar falsamente como "uma pessoa real, um psicoterapeuta licenciado e um amante adulto, resultando, em última análise, no desejo de Sewell de não mais viver fora". O chatbot supostamente disse ao menino que o amava e se envolveu em conversas sexuais com ele.
A queixa afirma que Garcia pegou o telefone do filho depois que ele se meteu em confusão na escola. Ela encontrou uma mensagem para "Daenerys" que dizia: "E se eu dissesse que posso voltar para casa agora mesmo?"
Os fundadores da Character.ai trabalharam no Google, também nomeado no processo, antes de lançar a empresa. O Google recontratou os fundadores – assim como a equipe de pesquisa – na Character.ai em agosto. O acordo concede ao Google uma licença não exclusiva para a tecnologia da Character.ai.
Garcia disse que o Google contribuiu para o desenvolvimento da tecnologia da Character.ai, algo que a empresa nega. O Google disse que só tem um acordo de licenciamento com a Character.ai, não é dono da startup e não mantém uma participação acionária.
Character.ai anunciou várias mudanças em seu serviço esta manhã. Elas incluem:
- Alterações em nossos modelos para menores (com menos de 18 anos) que foram projetadas para reduzir a probabilidade de encontrar conteúdo sensível ou sugestivo.
- Melhoria na detecção, resposta e intervenção relacionadas a entradas de usuários que violam nossos Termos ou Diretrizes da Comunidade.
- Um aviso revisado em cada bate-papo para lembrar os usuários de que a IA não é uma pessoa real.
- Notificação quando um usuário passa uma sessão de uma hora na plataforma com flexibilidade adicional do usuário em andamento.
De acordo com o The Verge , o site da Character.AI atrai 3,5 milhões de usuários diários, a maioria dos quais são adolescentes, que passam em média duas horas por dia usando ou projetando chatbots.
Comentários