Publicado em 1º de agosto de 2024, o resumo descreve uma arquitetura Mixture of Experts que usa product keys para recuperar experts de forma esparsa.
Em 1º de agosto de 2024, foi publicado um resumo sobre PEER, uma arquitetura Mixture of Experts que emprega roteamento por product keys e experts MLP de um único neurônio. Para cada entrada, o sistema recupera um pequeno conjunto de experts e combina suas saídas usando scores do router. O resumo afirma que a abordagem permite recuperar mais de um milhão de experts.
O resultado interessa a quem acompanha métodos para ampliar a capacidade de modelos com recuperação esparsa; o texto não fornece medições nem detalhes de avaliação. Consulte a publicação original para verificar escopo, método e evidências antes de tirar conclusões. Se usar IA para estudar ou aplicar o material, não envie dados pessoais ou documentos internos sem autorização e confira as respostas com a fonte.