LittleBit, método da Samsung para comprimir LLMs de 13B abaixo de 1 GB
Segundo o relato, a Samsung abriu o código do LittleBit, método que usa fatoração latente para reduzir pesos de modelos de 13 bilhões de parâmetros para menos de 1 GB, com níveis abaixo de 1 bit e XOR no lugar da multiplicação.
O Radar registra que a Samsung abriu o código do LittleBit, um método de compressão de modelos de linguagem. Segundo o autor da fonte, a técnica usa fatoração latente para comprimir os pesos de LLMs de 13 bilhões de parâmetros para menos de 1 GB, operando com níveis de precisão abaixo de 1 bit e substituindo a multiplicação por operações XOR.
A fonte indica que o tema interessa a engenheiros que avaliam quantização abaixo de 1 bit para implantação local de modelos. Ela também deixa claro que os ganhos de velocidade são alegações do autor, sem medição independente descrita no texto. Por isso, a informação deve ser tratada como relato até que o código e os resultados sejam examinados diretamente.
Para consultar a fonte original, procure o anúncio de abertura do código do LittleBit no canal indicado pelo autor do relato e confira o repositório publicado, a licença e os benchmarks reportados, com modelo, hardware e métricas.