Radar ·
Prévia do SGLang com serving em AWS Trainium, segundo um post
Um post relata uma prévia pública do SGLang para servir modelos abertos em chips AWS Trainium, apresentada no SGLang Summit pela RadixArk e pela AWS, junto com o anúncio do SGLang 1.0.
Segundo o post, o SGLang tem uma prévia pública para rodar modelos abertos em chips AWS Trainium. A novidade foi apresentada no SGLang Summit pela RadixArk e pela AWS, junto com o anúncio do SGLang 1.0. O texto é um relato de terceiros e não traz detalhes técnicos, benchmarks ou datas de disponibilidade além dessa menção.
O ponto de interesse para custo é a sugestão de alugar Trainium em vez de GPUs para servir modelos abertos com SGLang. Isso ainda precisa ser confirmado nas fontes oficiais do projeto e da AWS, com preço, desempenho e requisitos reais. Antes de decidir, compare essas informações com a documentação oficial do SGLang e da AWS.
Fonte original: Prévia do SGLang reportedly adiciona serving em AWS Trainium