Gradiente descendente como atenção sobre exemplos de treino
Um artigo de 6 de fevereiro de 2023 interpreta camadas lineares treinadas por gradiente como memórias de exemplos e pesos iniciais, relacionando previsões a uma forma de atenção.
Publicado em 6 de fevereiro de 2023, o artigo descreve camadas lineares treinadas por gradiente como memórias key-value que contêm os exemplos de treino e os pesos iniciais. Nessa interpretação, as previsões usam atenção de produto escalar não normalizada sobre a experiência de treino.
A perspectiva conecta a dinâmica do treinamento à atenção e pode ajudar engenheiros a compreender o que os parâmetros aprendidos armazenam. Consulte o artigo pelo título original e confira nele a formulação, as hipóteses e os resultados antes de aplicar essa interpretação; o resumo disponível não informa detalhes adicionais sobre métodos ou experimentos.