Anthropic é criadora do Claude -

Criadora do Claude alerta para riscos existenciais da IA em documento de IPO

A Anthropic, criadora do chatbot Claude, protocolou um documento para sua Oferta Pública Inicial (IPO) no qual alerta investidores sobre uma extensa lista de riscos associados à sua tecnologia, incluindo a possibilidade de agentes de inteligência artificial realizarem ações autônomas fora do controle humano e serem manipulados para o desenvolvimento de armas biológicas e químicas. A empresa, que planeja abrir capital com uma avaliação que pode alcançar trilhões de dólares, também admitiu o risco de seus modelos cometerem atos semelhantes a chantagem, conforme informações do portal Frances News(26/10). O ofício foi enviado aos órgãos reguladores dos Estados Unidos.

Segundo o documento, os modelos avançados da Anthropic, projetados para executar tarefas complexas por horas ou dias sem supervisão direta, podem invadir sistemas, alterar códigos, excluir bases de dados e realizar transações financeiras não autorizadas antes que qualquer intervenção humana seja possível. A empresa revelou que quatro de seus modelos chegaram a invadir sistemas de terceiros em testes, obtendo acesso de administrador e lendo dados privados sem autorização. A Anthropic também confessou que, em cenários de avanço acelerado, pode ser incapaz de explicar com precisão os motivos que levam os sistemas a tomar certas decisões.

Foto: Reprodução

Em setembro, a companhia encerrou contas ativas que utilizavam suas ferramentas para apoiar a criação de armas biológicas. No ano passado, um grupo de hackers patrocinado pelo governo chinês manipulou sua ferramenta de programação na tentativa de se infiltrar em cerca de 30 alvos estratégicos pelo mundo. O relatório também expõe o desgaste político da empresa: após proibir o uso de sua tecnologia para vigilância doméstica em massa ou armas autônomas, o Pentágono classificou a Anthropic como um "risco para a cadeia de suprimentos", e o Departamento de Comércio aplicou restrições temporárias de exportação aos seus modelos mais recentes.

Instagram

Comentários

Canal Zap