Modelos de linguagem abertos, comprimidos para caber em cerca de 1 GB.

Projeto independente que mede quanto dá para encolher um modelo de linguagem antes de a qualidade cair, e quanto custa cada corte. Sem laboratório, numa placa de vídeo doméstica de 8 GB.

69% menor que o original, no modelo de 1,5 bilhão de parâmetros

92% da nota de conhecimento geral do original, mantida

0,90 GiB no formato GGUF, o mesmo dos apps de celular, sem internet

Modelo-base aberto Qwen2.5-1.5B (Alibaba). Tamanhos em GiB, a unidade que o Windows mostra como GB, medidos no arquivo real. Nota no teste MMLU com 1.000 questões, na mesma régua para todos os modelos, medida antes da conversão para GGUF; a conversão foi conferida no llama.cpp.

~100modelos treinados do zero na primeira fase

5modelos abertos avaliados na fase atual

1 bitokens de texto preparados para treino

5.000questões no maior teste de conhecimento

1GPU de consumo, com 8 GB

O QUE MUDOU

A primeira fase do projeto testou uma arquitetura nova, que reaproveita os mesmos blocos de processamento várias vezes. Ela encolhia o modelo e mantinha quase toda a qualidade, mas um controle mais rigoroso mostrou que um modelo comum, do mesmo tamanho, empata ou ganha. A tese foi retratada.

Desde então a pergunta mudou: em vez de inventar um modelo menor, encolher modelos abertos que já existem até caberem em cerca de 1 GB, e medir com rigor o que sobra da qualidade em cada tamanho.

OS RESULTADOS

Quanto cada modelo encolheu

Tamanho do modelo original (barra clara, 16 bits por parâmetro) e da versão comprimida (barra âmbar, medida no arquivo gravado em disco), em GiB.

Quanto da qualidade sobrou

Nota no teste de conhecimento geral MMLU (1.000 questões), em porcentagem da nota do modelo original. Quanto mais o modelo é encolhido em relação ao original, mais nota ele perde. Num teste de 4 alternativas, chutar já dá 25%.

COMO FOI TESTADO

Previsão registrada antes do experimento. Os testes de treino e o teste decisivo tiveram o resultado esperado e o critério de sucesso escritos antes de rodar. Previsões que falharam ficam registradas como falha.
Tamanho em bytes reais. O tamanho de cada versão comprimida é medido no arquivo gravado em disco, inteiro, e não só a parte que convém.
A mesma régua para todos. Os modelos comprimidos e os originais passam pelo mesmo avaliador, nas mesmas questões.
Comparação questão por questão. Nas comparações decisivas, duas versões só são declaradas diferentes se a diferença for estatisticamente significativa. Amostras de 200 questões foram abandonadas porque chegavam a errar mais de 5 pontos.
Auditoria antes de rodar. Cada script é revisado antes da execução, e cada resultado é conferido de novo contra os arquivos antes de ser publicado.

LIMITES DO QUE ISSO MOSTRA

Os modelos-base são abertos e de terceiros (Qwen, da Alibaba). O trabalho do projeto é a compressão, o treino e a medição.
O ganho medido é no tamanho do arquivo. Rodar mais rápido ou com menos memória não é promessa deste trabalho.
O modelo de 3 bilhões em cerca de 1 GB ainda perde muito: mantém 74% da nota e erra contas e código. É pesquisa, não produto.
Cada treino foi feito uma vez, sem repetição.
Só modelos da família Qwen foram testados, e a qualidade é medida por testes padronizados, que não cobrem tudo o que um modelo faz.