Radar ·
Autor relata serving em lote do Qwen3.8-27B em uma RTX 3090
Relato autorreportado descreve servir o Qwen3.8-27B em uma RTX 3090 limitada a 250W, com cerca de 1035 tok/s no total para 64 chats simultâneos e 127 tok/s para um único chat.
Segundo o texto, o autor serviu o Qwen3.8-27B em uma RTX 3090 limitada a 250W, atendendo 64 chats simultâneos com cerca de 1035 tok/s no total e 127 tok/s para um chat. O contexto chegaria a 150K e a configuração seria feita em dois comandos de Docker Compose. Os números são de throughput em lote para um modelo de 27B em GPU de consumo.
Os dados são autorreportados e o trecho não traz metodologia, versão de software ni condições de medição suficientes para reproduzir o resultado. Para verificar, consulte o relato original indicado pelo Radar, compare com outras medições e, se quiser aplicar a informação, faça um teste próprio com dados fictícios.
Fonte original: Autor relata serving do Qwen3.8-27B em lote em uma RTX 3090