Estudo examina como matrizes de attention e MLPs armazenam conhecimento e aponta limites ligados a dados, compute finito e ruído em contextos longos.
O estudo compara o papel de matrizes de attention e MLPs no armazenamento de conhecimento, usando um modelo do tipo needle-in-a-haystack. A análise ressalta que amostras e compute finitos limitam o que se pode observar, enquanto o ruído em contextos longos também afeta os resultados.
A pesquisa ajuda a interpretar com cautela afirmações sobre onde e quanto conhecimento um modelo representa: os resultados dependem dos dados, dos recursos de computação e das condições do contexto. Se usar IA para estudar ou aplicar o trabalho, evite inserir dados pessoais ou documentos confidenciais; aplique as regras da organização e use material autorizado.