Por que a ordem dos tokens desafia modelos mascarados
Um trabalho premiado no ICML 2025 investiga o desempenho inferior de modelos mascarados em benchmarks de geração e aponta dificuldades ligadas ao treinamento com subconjuntos arbitrários de tokens revelados.
Um artigo premiado no ICML 2025 investigou por que modelos de difusão mascarada têm desempenho inferior em benchmarks de geração. Segundo o trabalho, treinar com subconjuntos arbitrários de tokens revelados cria muitos subproblemas computacionalmente intratáveis, e os modelos apresentam desempenho desigual entre eles.
Os resultados podem orientar estratégias de treinamento e inferência para modelos de linguagem mascarados, mas não demonstram por si só uma solução para o problema. Quem usar IA para estudar ou aplicar essas ideias deve evitar inserir dados pessoais ou informações confidenciais sem autorização e seguir as regras de proteção de dados da organização.