Radar ·
Post sobre paper da Meta propõe modelos em nível de byte sem tokenizer
Um post afirma que o paper da Meta 'Breaking the Token Ceiling' treina modelos com bytes brutos, com vocabulário de 256 valores, e aplica destilação. Segundo o post, modelos byte de 1B igualariam ou superariam dois modelos de 1B citados. O link do trabalho original não foi fornecido.
Um post afirma que o paper da Meta 'Breaking the Token Ceiling' treina modelos que leem bytes brutos, com vocabulário de 256 valores, em vez de tokens de um tokenizer, e aplica destilação. Segundo o post, modelos byte de 1B igualariam ou superariam Llama 3.2-1B e Gemma-3-1B. A entrada do Radar é datada de 22 de outubro de 2026.
A modelagem em nível de byte pode eliminar o tokenizer e reduzir o vocabulário, mas as afirmações vieram de um post sem link para o trabalho original. Por isso, o achado deve ser tratado como alegação não verificada até que o paper seja lido. Para conferir, procure o título exato no canal de pesquisa da Meta ou em repositórios de preprints, leia a seção de avaliação e compare benchmarks, datas e configurações com o que o post descreve.
Fonte original: Paper da Meta propõe modelos em nível de byte sem tokenizer