Radar ·
Simetria de translação na linguagem pode explicar geometria em representações de LLMs
Um post descreve artigo da UC Berkeley e do Google DeepMind que atribui estruturas circulares e de linha do tempo em LLMs à simetria de translação no texto natural, sugerindo origem nos dados e não só na arquitetura.
Segundo o post, publicado em 19 de novembro de 2026, um artigo da UC Berkeley e do Google DeepMind atribui a geometria circular e a geometria de linha do tempo observadas nas representações internas de LLMs à simetria de translação presente no texto natural. Segundo o mesmo relato, o word2vec exibiria as mesmas estruturas. A tese sugere que parte da estrutura aprendida pode vir das estatísticas dos dados, e não apenas da arquitetura do modelo.
A relevância está em separar o que é causado pelos dados do que é causado pelo desenho do modelo, tema de interesse para pesquisadores e equipes que avaliam modelos. O post não traz números, metodologia detalhada nem limites do estudo, e este resumo não os acrescenta. Para verificar as afirmações, consulte o artigo original a partir da fonte indicada no seu Radar e confira autoria, data e resultados diretamente nele.
Fonte original: Simetria de translação na linguagem pode explicar geometria em LLMs