Este é um projeto independente que mede quanto dá pra tirar antes da qualidade cair — e quanto custa cada corte. Sem laboratório, sem financiamento, numa placa de vídeo doméstica.
Medido em quatro escalas de modelo, com três sementes aleatórias em cada ponto e uma linha de base treinada na mesma receita.
Um transformer guarda blocos de processamento repetidos, camada após camada. Boa parte do que cada bloco aprende é estruturalmente parecida com o que o bloco vizinho aprende — e essa repetição ocupa espaço sem acrescentar informação nova.
A pesquisa mede quanta dessa repetição dá pra remover, componente por componente, e o preço exato de cada remoção. Cada número vem de modelos treinados do zero e comparados contra uma linha de base de mesmo tamanho, treinada na mesma máquina com a mesma receita.
A descoberta central é que os componentes de um transformer não são igualmente redundantes. Alguns toleram compartilhamento agressivo; outros perdem qualidade rápido. Tratar os dois do mesmo jeito é o que fazia as tentativas anteriores falharem.
O custo de cada corte foi quantificado por parâmetro removido. Isso transforma a compressão numa escolha — onde economizar — em vez de um ajuste cego aplicado ao modelo inteiro.
Antes de empilhar qualquer coisa, cada técnica de compressão foi treinada sozinha e medida contra a mesma linha de base. Isso revelou que a combinação não se comporta como a soma das partes: uma técnica que funciona isolada pode desaparecer quando combinada, e o único jeito de saber é medir as duas situações.
O erro mais comum em compressão é multiplicar os fatores de cada técnica e anunciar o produto. Este projeto cometeu esse erro, chegou internamente a um número inflado em duas ordens de grandeza, e o corrigiu quando as técnicas foram medidas juntas de verdade.
Os dois componentes principais de um transformer foram comprimidos separadamente e o custo foi normalizado pela quantidade de parâmetros que cada corte remove. A diferença entre eles é de quase nove vezes — e é isso que torna a compressão uma escolha em vez de um ajuste cego.
Quatro configurações medidas, três sementes cada. Comprimir mais custa mais, mas não de forma uniforme: entre os dois primeiros pontos a compressão sobe um terço e o custo praticamente não se move. O último ponto ultrapassa o critério e foi descartado.
A mesma configuração medida em três tamanhos de modelo. O custo cai e depois estaciona. A linha tracejada é o valor que havia sido registrado como previsão antes do terceiro experimento; ele não se confirmou, e a previsão está registrada como falha.
Estes três números não vêm de nenhum modelo treinado. São a proporção medida nas escalas pequenas aplicada a tamanhos que esta pesquisa não alcançou — o maior modelo verificado até aqui tem menos de duzentos milhões de parâmetros.
A proporção pode não se manter. Já aconteceu antes neste projeto: uma tendência aparentemente estável em duas escalas parou de valer na terceira, e a previsão registrada antes do experimento falhou. Por isso a projeção aparece separada dos resultados, e sem a cor usada para o que foi medido.
O número vinha de multiplicar dois fatores que não se multiplicam. Um teste com parâmetros pareados derrubou a alegação inteira.
Nenhum deles comprimia. A contabilidade incluía a tabela de vocabulário, que mascarava o corpo do modelo estar maior que a linha de base. Nove de nove escalas verificadas estavam infladas entre 0,3% e 41%.
Ele diminui e depois trava num piso positivo. A leitura anterior vinha de dois pontos de medição; o terceiro ponto, registrado como previsão antes do experimento, mostrou a saturação — e a previsão falhou.
Oitocentas e quarenta e quatro fórmulas testadas sobre quarenta e dois pontos. A melhor explicava 13% da variância. A análise de teto de ruído mostra por quê: nessa escala a aleatoriedade do treino domina o efeito arquitetural, e configurações idênticas produziam resultados de sinal oposto.
Cortar metade dos pesos de menor magnitude degradou a qualidade em mais de 50%. A hipótese de que o modelo estava subtreinado nunca foi confirmada, então a técnica está fora do conjunto.
Funciona isolada e some quando combinada com o resto. Foi medida em quatro escalas e não melhorou o resultado em nenhuma.
Combinar blocos treinados separadamente tirando a média dos pesos falhou completamente em modelos já treinados.
A regra usada nos experimentos antigos crescia dois componentes juntos e destruía a compressão por construção. Foi a causa raiz do erro nos sessenta e dois experimentos.
O teste de tarefa foi executado e deu resultado nulo: todos os modelos ficaram no acaso. Não é problema de amostra — é o modelo ser pequeno demais para a métrica funcionar.
Com parâmetros pareados, levar esse eixo ao limite piorou a qualidade de forma monotônica. O ganho aparente era parâmetro comprado, não compressão.
O projeto começou como uma tentativa de construir um assistente. O primeiro modelo tinha oitenta e um mil parâmetros e gerava texto incoerente.
Modelos maiores, treinados em memória limitada, chegaram a gerar texto coerente em três idiomas. A partir daí a pergunta deixou de ser como fazer funcionar e passou a ser quanto disso é necessário.
Nos primeiros experimentos com dados reais o modelo comprimido perdia por cerca de 10%, sem exceção. O diagnóstico apontou dois erros — um de treino e um de arquitetura — e corrigi-los inverteu o resultado.
Uma verificação de contabilidade meses depois mostrou que a comparação estava errada desde o começo. Todo o corpo de resultados foi refeito com parâmetros pareados, e a maior parte dele não sobreviveu.
O que sobrou é uma fração do que se acreditava ter, medido em quatro escalas com três sementes por ponto, e é a primeira coisa do projeto que sobreviveria a uma revisão independente.
A pesquisa continua. As próximas etapas são validar o resultado em uma escala maior do que a placa doméstica alcança, fechar a lacuna do teste de tarefa — que exige um modelo grande o bastante para sair do acaso — e rodar o modelo comprimido em um telefone comum.
O método completo, as configurações e os dados brutos não estão publicados. Contato aberto para colaboração, revisão independente ou acesso sob acordo.