ESFT seleciona experts relevantes em LLMs esparsos
Publicado em 5 de julho de 2024, o paper examina fine-tuning eficiente em parâmetros para modelos Mixture-of-Experts. O ESFT treina experts selecionados por sua relevância para as tarefas de customização.
Publicado em 5 de julho de 2024, o paper estuda fine-tuning eficiente em parâmetros para LLMs Mixture-of-Experts (MoE), uma área descrita como ainda pouco explorada. A proposta, chamada ESFT, treina experts selecionados por serem relevantes às tarefas de customização.
O trabalho pode interessar a engenheiros que desenvolvem ou avaliam modelos MoE e buscam abordagens de ajuste direcionadas. A descrição disponível não informa resultados quantitativos nem detalhes experimentais; para verificar métodos, evidências e limitações, consulte o paper original e confira essas informações no próprio texto.