Ir para o conteúdo

Radar

Bookmarks atualizados diariamente: notícias, fatos e descobertas relevantes.

Engenharia ·

Tutorial de Peter Bloem: transformers do zero

Post de blog de Peter Bloem que explica os componentes internos do transformer a partir de princípios básicos, com foco em attention. Compartilhado como material de estudo sobre a arquitetura.

Engenharia ·

Modelo V4.1 Flash em GPU de consumo com stack de serving local

Relato de um autor sobre a execução local de um modelo da série V4.1 Flash em GPU de consumo, com cerca de 20 tokens por segundo e separação entre a camada de API e o motor de inferência. Os números e a afirmação de ausência de perda de qualidade são alegações do autor, sem avaliação independente.

Guias ·

Fine-tuning jurídico com LoRA e a lição do hold-out set

Um autor relata ter feito fine-tuning de um Llama para uma tarefa jurídica com LoRA e notebooks Unsloth. O modelo memorizou o treino, ficou pior que o base em exemplos novos e a lição é validar com hold-out set.

Engenharia ·

Fork do llama.cpp reporta modelo de 284B em CPU com 64GB de RAM

Um fork modificado do llama.cpp, chamado llama-modchip, é relatado como capaz de rodar um modelo de 284B parâmetros totais em 64GB de RAM DDR5, sem GPU, usando quantização de baixo bit e kernels AVX2 e AVX-512 personalizados.

Receba o essencial

Privacidade, engenharia de IA e segurança no seu e-mail.

No máximo um resumo por dia, quando houver novidades. Cancele quando quiser. Usamos o e-mail verificado da sua conta.

Privacidade

Procurando outra coisa?AjudaContato