O Transformer Cookbook apresenta uma abordagem para codificar algoritmos como adição, busca e ramificação nos pesos de transformers, seguindo um artigo sobre RASP.
O Transformer Cookbook explora como comportamentos algorítmicos — incluindo adição, busca e ramificação — podem ser codificados nos pesos de transformers, seguindo um artigo sobre RASP.
A proposta oferece aos engenheiros uma maneira de pensar sobre a implementação de algoritmos em transformers. Ela é uma abordagem para estudar e projetar comportamento, não uma garantia de que qualquer modelo execute essas tarefas corretamente.
Para explorar o material, escolha primeiro um algoritmo pequeno, descreva suas entradas e saídas e identifique os passos que gostaria de representar. Depois, compare o comportamento esperado com os resultados observados e registre casos em que a saída falha.
Se usar IA para estudar ou aplicar a ideia, não envie dados pessoais, código proprietário ou segredos da organização sem autorização. Prefira exemplos sintéticos e siga as políticas internas de tratamento de dados.