WeightWatcher sinaliza anti-grokking em dois experimentos
Um estudo relata que sinais nas matrizes de pesos podem indicar um colapso tardio da generalização em dois treinamentos prolongados: um MLP no MNIST e um transformer para adição modular.
O trabalho investiga o anti-grokking: uma perda tardia de generalização que pode surgir após treinamento prolongado. Ele relata sinais detectáveis nas matrizes de pesos por meio do WeightWatcher.
Os experimentos descritos usam um MLP de três camadas em um subconjunto do MNIST e um transformer treinado para adição modular. O resultado apresentado se limita a esses dois cenários; não estabelece que o mesmo diagnóstico funcione em qualquer modelo ou tarefa.
Ao estudar o método, identifique primeiro o que foi medido, em quais modelos e sob quais condições de treinamento. Compare os sinais relatados com o desempenho em dados de avaliação, em vez de tratar uma leitura dos pesos, isoladamente, como prova de perda de generalização.
Se usar IA para resumir o artigo ou ajudar a aplicar a ideia, não inclua dados pessoais ou material interno desnecessário. Revise as conclusões e valide qualquer análise no seu próprio conjunto de avaliação: o estudo não demonstra que a Rota Nacional detecte anti-grokking nem resolva esse problema de engenharia.