Anthropic implementa medidas para evitar uso de IA em armas biológicas

A Anthropic divulgou nesta segunda-feira (31) suas novas políticas de segurança para o uso do seu LLM Claude. O novo documento divulga quais níveis de capacidade das IAs precisarão de etapas extras de segurança. Isso inclui o risco de o Claude ser usado para o desenvolvimento de armas químicas, biológicas e até nucleares no futuro.

Mas calma, no futuro você não vai aprender a fazer uma arma QBRN (sigla para armas químicas, biológicas, radiológicas e nucleares) com uma IA generativa. O problema está no uso das APIs profissionais do Claude. A nova Política de Escalonamento Responsável visa classificar as capacidades dos LLMs e as medidas de segurança necessárias para impedir o seu uso indevido.

Quais os riscos apontados pela Anthropic na criação de armas?

A Anthropic explica no tópico 2 e no apêndice C da Política de Escalonamento Responsável os níveis de capacidade do Claude e qual medida de segurança deve ser aplicada. No nível 3 de QBRN (QBRN-3), os padrões de segurança já existentes ASL-3 (AI Security Level) Deployed Standard e ASL-3 Security Standard são capazes de evitar o uso indevido da IA.

O AI Security Level é usado para definir quais são os riscos apresentados em determinados LLMs. Por exemplo, um GPT-1, a primeira versão do modelo da OpenAI, tem uma capacidade bem inferior ao GPT-4.5 lançado neste ano. Assim, o risco de o GPT-1 ser usado para criar um bot para golpes no Telegram é menor do que o da sua versão mais nova.

O nível QBRN-3 permite que pessoas com conhecimento técnico na área, como graduandos de ciências e engenharias, criem e usem armas do tipo. Esse risco envolve a criação de um ataque em menor escala. Pelo menos do tamanho do espaço a ser atacado, já que armas QBRN podem causar danos a longo prazo, como contaminação de uma área.

Já o QBRN-4 é um nível mais perigoso do ponto de vista de ação em larga escala, segurança nacional e desenvolvimento de armas químicas em nações que hoje não têm acesso a esses itens.

Com um grande investimento estatal, uma API avançada do LLM Claude pode ser usada para auxiliar no desenvolvimento de novas armas ou acelerar pesquisas já existentes, reduzindo barreiras técnicas na produção de armas QBRN.

Um exemplo desse uso indevido seria o programa nuclear iraniano, que segundo o governo americano está próximo de desenvolver armas nucleares. Outras nações poderiam usar IAs para atingir o objetivo de criar armas de destruição em massa.

Para este caso, a Anthropic explica que seria necessário um modelo no nível ASL-4 de padrão de segurança. Até o momento, as IAs lançadas não parecem exigir medidas mais restritivas de segurança.

Com informações de Anthropic e CNBC

Anthropic implementa medidas para evitar uso de IA em armas biológicas