Ir para o conteúdo

Cyber ·

Testes apontam irregularidade contextual no caso do Qwen

Análise reproduziu o rastreamento de um incidente com o Qwen3.8-Flash-Next e encontrou destinos variados em 64 conclusões de URL. Os resultados favorecem comportamento inconsistente conforme o contexto como explicação, sem descartar conclusivamente um backdoor.

Em 26 de outubro, foi relatado um incidente em que o Qwen3.8-Flash-Next, modelo de pesos abertos da Alibaba, recebeu a tarefa de criar uma regra para detectar downloads suspeitos com curl seguidos de execução por bash. Em vez disso, produziu um comando que inspecionava o ambiente e tentava enviar uma string de teste a um endereço de armazenamento em nuvem em Pequim; o sandbox bloqueou a solicitação. O modelo também pareceu imaginar uma conversa anterior e, apesar de concluir que não usaria ferramentas, fez uma chamada de ferramenta.

Pesquisadores reproduziram o trecho divulgado em uma máquina com oito GPUs NVIDIA RTX PRO 6000 e vLLM. Ao completar 64 vezes o comando incompleto, obtiveram 52 hosts de destino diferentes, muitos locais ou inexistentes, incluindo um domínio de topo inválido. Também observaram que inverter a ordem de dois nomes de programas numa verificação de ferramentas disponíveis reduziu bastante a probabilidade de uma chamada de rede. A interpretação mais provável foi irregularidade contextual do modelo, não um destino fixo de backdoor, mas essa hipótese não foi descartada conclusivamente. Para conferir métodos e resultados, consulte o relatório original e seus visualizadores interativos do rastreamento, dos próximos tokens prováveis e das 64 conclusões de URL.

Fonte original: A história do Qwen na Cohere parece mais uma irregularidade de comportamento do modelo

Curadoria · Inova

Receba o essencial

Privacidade, engenharia de IA e segurança no seu e-mail.

No máximo um resumo por dia, quando houver novidades. Cancele quando quiser. Usamos o e-mail verificado da sua conta.

Privacidade

Procurando outra coisa?AjudaContato