Publicado em 20 de setembro de 2026, o resumo descreve Jamba, um modelo de linguagem base com arquitetura híbrida Transformer-Mamba e mixture-of-experts.
Publicado em 20 de setembro de 2026, o material apresenta Jamba como um modelo de linguagem base que intercala blocos Transformer e Mamba. Algumas camadas usam mixture-of-experts (MoE), mecanismo descrito como forma de ampliar a capacidade e gerenciar o uso de parâmetros ativos.
O artigo aborda a arquitetura híbrida e configurações que equilibram capacidade do modelo e uso de recursos. Para avaliar o alcance dessas afirmações, consulte o artigo original e confira nele a descrição das camadas e dos compromissos apresentados; o resumo disponível não detalha resultados quantitativos.