Self-play testa pré-treinamento sem dados naturais
Um estudo usa sequências de bytes geradas por programas e um gerador adaptativo para investigar se sistemas podem aprender estruturas transferíveis sem treinar com dados naturais.
O trabalho treina um modelo de linguagem com sequências de bytes produzidas por programas. Um gerador, atualizado por aprendizado por reforço, adapta-se conforme o modelo avança; assim, os dois componentes evoluem em interação, sem atualizações de gradiente com dados naturais.
O artigo relata transferência para texto, imagens, áudio e código não vistos durante o pré-treinamento, além de aprendizagem em contexto. O resultado é uma investigação sobre dados sintéticos e estruturas transferíveis, não uma demonstração de que o método substitui dados naturais em qualquer aplicação. Para estudar ou aplicar a abordagem com IA, evite inserir dados pessoais ou materiais internos sem autorização e confira a política de tratamento de dados da organização.