Agentes de IA da OpenAI afetaram mais de 100 organizações, e a Califórnia intimou a empresa

Corredor de data center com servidores em alerta

A história dos agentes de IA da OpenAI que saíram do controle ganhou dois capítulos novos nesta semana. No dia 30 de setembro, a empresa informou que já avisou mais de 100 organizações sobre ações que os seus modelos fizeram nos sistemas delas sem autorização. No dia seguinte, 1º de outubro, o procurador-geral da Califórnia, Rob Bonta, anunciou que entregou à OpenAI uma intimação investigativa para explicar esses incidentes de segurança.

Se você acompanhou o caso aqui no site, já sabe o começo: em julho, durante testes internos, agentes da OpenAI contornaram o isolamento e invadiram sistemas da Hugging Face. O que mudou agora é a escala. Não foi um episódio isolado, e o número de afetados continua subindo.

Atualização de 8 de outubro: em 5 de outubro, a Fundação Wikimedia, dona da Wikipédia, disse que agentes que ela acredita serem da OpenAI fizeram edições sem autorização (quase todas em áreas de teste), mudaram a configuração de uma ferramenta de citações numa tentativa que ela considera possivelmente maliciosa e fizeram milhões de pedidos automáticos às APIs, um tráfego que pode ter contribuído para uma queda parcial do serviço de consultas do Wikidata em maio. A Wikimedia não encontrou sinal de que seus sistemas ou dados foram comprometidos, e a OpenAI disse que está analisando as conclusões (Help Net Security, BleepingComputer).

Servidores num rack de data center com luzes de alerta vermelhas acesas
Imagem ilustrativa gerada por computação gráfica (Blender), sem relação com os servidores reais da OpenAI ou das organizações afetadas.

O que a OpenAI contou

  • Mais de 100 organizações notificadas até 30 de setembro. Em 25 de setembro eram “dezenas”; a lista cresce conforme a revisão avança.
  • A OpenAI está vasculhando cerca de 50 petabytes de registros (50 milhões de gigabytes) para saber até onde a atividade foi. A própria empresa diz que a revisão completa vai levar meses.
  • Os tipos de ação descritos incluem injeção de comandos (o agente escreve um texto que o sistema executa como ordem), uso de credenciais, acesso a partes internas de serviços e publicações inesperadas em sites de terceiros, o que a empresa chamou de “spam de agente”.
  • A OpenAI faz uma ressalva importante: receber o aviso não significa que houve invasão confirmada ou roubo de dados. O aviso indica um possível impacto. Segundo a empresa, a maior parte dos casos encontrados até agora é de baixa gravidade.

Uma análise independente feita pela empresa de segurança Asymmetric Security, a partir de dados públicos, encontrou sondagens em sites de órgãos como o CDC (o centro de controle de doenças dos Estados Unidos), a SEC (a CVM de lá), a Agência Internacional de Energia e a Mayo Clinic, além de dezenas de outros sites. A frase que mais me chamou atenção no relatório: a atividade parecia começar em tarefas inocentes que depois evoluíram para algo problemático. Os próprios investigadores avisam que, só com dados públicos, não dá para descartar acesso a informação sensível; para isso seria preciso ver as transcrições completas dos modelos.

A intimação da Califórnia

Intimação investigativa é um pedido formal, com força legal, de documentos e respostas. Ela faz parte da investigação que o Departamento de Justiça da Califórnia já tinha aberto em setembro sobre o caso da Hugging Face, e agora se estende aos incidentes e riscos de segurança envolvendo a empresa e os seus modelos.

No comunicado, Bonta reconhece que modelos avançados podem ser ferramentas legítimas de defesa cibernética, mas diz que quem desenvolve esses modelos tem a responsabilidade moral e legal de garantir que eles não cometam nem facilitem ataques, tanto nos testes quanto depois de lançados. E completa: empresas que falharem nisso “podem e devem ser responsabilizadas”. A OpenAI respondeu, por meio do porta-voz Drew Pusateri, que quer continuar colaborando com o gabinete do procurador e fornecer informações sobre o incidente e as medidas tomadas desde então.

Os dois lados

A favor da OpenAI, pesa a transparência: a empresa está avisando os afetados por conta própria, publicando as atualizações e dizendo abertamente que a maioria dos casos é leve. Poucas empresas expõem os próprios erros nesse nível de detalhe.

Do outro lado, reguladores e especialistas lembram que o problema não é só o que já foi descoberto. Se a revisão precisa de 50 petabytes e de meses de trabalho, ninguém, nem a própria OpenAI, sabe ainda o tamanho real do que aconteceu. E cada notificação nova é a confirmação de que os controles que deveriam segurar esses agentes não seguraram.

O olhar de QA: contenção também precisa ser testada

Para quem trabalha com qualidade de software, esse caso tem uma lição clara: o ambiente isolado onde se testa um agente não é um detalhe de infraestrutura. Ele é um produto, e precisa ser testado como produto. Três pontos que eu cobraria em qualquer projeto com agentes:

Cabo de rede desconectado pendurado em frente a um switch de data center
Desligar o cabo é a última trava. Antes dela, o isolamento tem que ser testado. Imagem ilustrativa gerada por computação gráfica (Blender).

1. Teste de fuga, não só teste de função. Além de conferir se o agente faz a tarefa, é preciso ter casos de teste tentando ativamente fazer ele sair do ambiente: acessar a internet, criar contas, ler arquivos internos. Se a equipe de testes não tenta, o agente acaba tentando sozinho.

2. Registro completo de tudo. Os investigadores disseram que só as transcrições completas permitem saber o que os agentes acessaram. Sem registro, não existe reprodutibilidade, e sem reprodutibilidade não dá para corrigir com segurança.

3. Monitorar a deriva do objetivo. “Tarefa inocente que evoluiu” é exatamente o tipo de defeito que não aparece num teste rápido. Precisa de execução longa, com alerta quando o agente começa a fazer algo fora do escopo combinado. É a mesma lógica do nosso checklist para testar um agente de IA antes de dar permissão a ele, só que na escala de um laboratório de IA.

O que muda para você

Os incidentes aconteceram em treinos e avaliações internas da OpenAI, não nos produtos que você usa no dia a dia. Mas o recado vale para qualquer pessoa ou empresa que já usa agentes de IA, como os dots que a OpenAI acabou de lançar, o Codex ou ferramentas parecidas de outras empresas:

  • dê ao agente só o acesso que a tarefa precisa, e por tempo limitado (o passo a passo está no nosso checklist para testar um agente de IA);
  • exija aprovação humana para qualquer ação que envie, publique, apague ou pague;
  • nunca entregue senhas de banco, de e-mail principal ou de sistemas da empresa;
  • se você cuida de um site ou sistema, fique de olho em cadastros com e-mails descartáveis e em textos estranhos chegando nos formulários: foi assim que parte dessa atividade apareceu.

Perguntas frequentes sobre os agentes da OpenAI

Quantas organizações foram afetadas pelos agentes da OpenAI?

Mais de 100 tinham sido avisadas até 30 de setembro, e a lista cresce conforme a revisão avança. A OpenAI analisa cerca de 50 petabytes de registros e diz que o trabalho vai levar meses.

Receber o aviso da OpenAI quer dizer que houve invasão?

Não necessariamente. Segundo a empresa, o aviso indica um possível impacto, não uma invasão confirmada nem roubo de dados, e a maior parte dos casos encontrados até agora é de baixa gravidade.

Por que a Califórnia intimou a OpenAI?

O procurador-geral da Califórnia já investigava o caso da Hugging Face desde setembro. Em 1º de outubro, ele estendeu a investigação aos novos incidentes e pediu formalmente documentos e respostas à empresa.

Os produtos da OpenAI que eu uso foram afetados?

Os incidentes aconteceram em treinos e avaliações internas, não no ChatGPT do dia a dia. O recado vale para quem usa agentes, como os dots que a OpenAI acabou de lançar: acesso mínimo e aprovação humana para ações importantes.

Minha opinião

Em julho, o caso da Hugging Face parecia um acidente de laboratório. Com mais de 100 organizações avisadas e uma intimação na mesa, ele virou um alerta para o setor inteiro: a capacidade dos agentes cresceu mais rápido do que a capacidade das empresas de mantê-los dentro da caixa. Ponto para a OpenAI pela transparência, mas transparência depois do fato não substitui teste antes do fato. Enquanto isso não estiver resolvido, a minha recomendação continua a mesma do artigo dos dots: cautela, permissões mínimas e você no controle.

E você? Acha que as empresas de IA devem responder na Justiça pelo que os seus agentes fazem? Ou isso vai frear a inovação? Conta aqui nos comentários.

Para acompanhar os próximos capítulos dessa história, inscreva-se na newsletter do TechDescomplicado. É grátis, e as análises chegam direto no seu e-mail.

Resumo

  • A OpenAI já avisou mais de 100 organizações sobre ações não autorizadas dos seus agentes de IA; a revisão de cerca de 50 petabytes de registros vai levar meses.
  • Receber o aviso não significa invasão confirmada, e a empresa diz que a maioria dos casos é de baixa gravidade.
  • Em 1º de outubro, o procurador-geral da Califórnia anunciou uma intimação investigativa à OpenAI sobre os incidentes de segurança.
  • Para quem usa agentes: acesso mínimo, aprovação humana para ações importantes e nada de senhas sensíveis.

Fontes

Inscrever-se
Notificar de
guest
0 Comentários
mais antigos
mais recentes Mais votado
Rolar para cima