O estudo

O que prometemos, e onde se verifica

Algumas promessas são verdadeiras por construção — não há servidor, portanto não há nada a medir — e outras são afirmações sobre o comportamento, que só se verificam medindo-as. Confundi-las é a maneira mais simples de julgar que se verificou tudo.

A tese

O que é decidível decide-se no código; as regras afastam os erros típicos do modelo; ao modelo resta apenas o que exige compreender uma língua. Com esta divisão, um modelo pequeno faz um trabalho que sozinho não saberia fazer.

Nenhuma medição deste estudo pede a um modelo que julgue outro modelo: um juiz custa tanto como o trabalho que julga, e desloca o problema em vez de o resolver. O que se conta, conta-se — uma contradição é esperada ou não por construção do caso, um número está nas notas ou não está, uma citação aguenta a comparação carácter a carácter ou está inventada.

O código sozinho nunca erra

Dezoito mil casos, três mil por idioma, sem nenhum modelo carregado: apenas a extração dos factos, o emparelhamento e as regras de supressão.

Sete mil trezentos e trinta e três alarmes, nenhum falso. E não por o sistema ser prudente até ao ponto de se calar: os alarmes são 41% dos casos. É preciso dizer com precisão o que isto significa: os casos não são observações independentes — o gerador tem poucas dezenas de combinações repetidas muitas vezes — pelo que a leitura correta é zero erros sobre tudo o que o gerador sabe produzir, em seis idiomas, e não uma estimativa da probabilidade de errar em notas reais.

O mesmo código, porém, fica-se pelos 0,815 de abrangência: quase um conflito em cada cinco escapa-lhe, e não é questão de acabamento. Os conflitos implícitos — «para a volta vamos de comboio» contra «comprei os bilhetes de avião» — não deixam nenhum facto mensurável. Aí é preciso compreender o que as frases querem dizer, e esse é o trabalho do modelo.

Quanto custa, em recursos reais

2,73 GB é menos do que ocupa um navegador com uma dúzia de separadores. Lá dentro cabe tudo o que este estudo mede — extração, regras, juízo, resumos, pesquisa — e nada sai do Mac. Há ainda um recurso que não se mede em gigas: neste corpus quase metade dos casos não produz sequer um par para enviar ao modelo.

As regras valem mais do que o tamanho do modelo

A ablação: os mesmos casos, o mesmo modelo, as mesmas notas, desligando apenas as supressões deterministas. A precisão passa de 0,986 para 0,818, e os falsos alarmes de 1 para 16. Poucas dezenas de linhas de marcadores linguísticos retiram quinze falsos alarmes em dezasseis — e custam menos do que nada, porque sem elas o modelo recebe entre 16% e 19% mais chamadas. Também experimentámos o contrário, ensinar as distinções difíceis por palavras dentro do prompt: em mil casos, 0,703 contra 0,705. Deslocar um limiar não ensina uma distinção.

A fronteira entre código e modelo estava mal traçada

É o resultado que o estudo não esperava encontrar, e surgiu ao classificar os erros em vez de os contar. A fronteira falhava em dois pontos opostos.

Em nenhum dos dois casos se toca no modelo, no prompt ou no tamanho: o que se desloca é a linha de quem decide o quê. E a diferença entre os dois modelos não é que o pequeno compreenda menos — é que confia menos, e a sua prudência comia o trabalho do código.

Um recálculo não é uma medição: a regra foi escrita e os novecentos casos refeitos de raiz. A previsão acertou em ambos os números — mas mostrou também que a primeira versão cobria um ramo em dois, porque três conflitos se perdiam não por uma negação do modelo, mas porque as suas citações não aguentavam a comparação com as notas.

Resumos e pesquisa

Cento e quarenta e quatro arquivos, doze por idioma e por modelo. Metade das perguntas não tem resposta no contexto, e é essa metade que conta: um modelo que responde mesmo assim, com um número que lá não está, produz algo que parece uma nota tua e não é.

Na pesquisa os dois modelos são indistinguíveis, e é o resultado que mais conta para um arquivo pessoal: cento e quarenta e quatro ocasiões de inventar, nenhuma aproveitada. Nos resumos o tamanho nota-se, e é aí que está o verdadeiro preço do perfil Essencial — numa página da wiki um número inventado pesa mais do que um que falte, porque a página é aquilo que voltas a ler em vez das notas.

Os três perfis

Um perfil não é um modelo: é uma atribuição de tarefas a dois modelos. Páginas e contradições ao modelo intenso, pesquisa ao rápido.

Quem escolhe o Essencial não compra contradições piores — compra páginas menos completas.

O que este estudo NÃO demonstra

• Não demonstra que funciona com as tuas notas. Os corpora são construídos: os casos são inventados, as contradições são colocadas. As notas reais são mais desleixadas, mais elípticas e mais ambíguas.
• Os casos não são observações independentes. Dezoito mil casos são poucas dezenas de combinações repetidas muitas vezes.
• O corpus é mais fácil do que a realidade num ponto decisivo: a frase que carrega o facto começa sempre pelo sujeito, que é a melhor condição possível para o extrator. A precisão de 1,0000 em que tudo assenta é medida onde a extração trabalha melhor.
• Os idiomas não são equivalentes. O italiano tem mil casos atrás de si; os outros cinco têm este estudo e um conjunto de referência de dezasseis casos escrito à mão.

Uma medição errada, e como foi descoberta

Os números da leitura foram refeitos de raiz. A primeira versão do banco chamava os prompts do motor anterior: o código compilava, os testes passavam, e os números pertenciam a outra cadeia. A suspeita veio de um resultado demasiado nítido para ser verdadeiro — o modelo pequeno escrevia na língua errada doze vezes em doze em inglês. Vale a pena dizê-lo porque é o tipo de erro que um estudo não deveria conter e que nenhum controlo automático teria intercetado. Os relatórios errados ficam no repositório ao lado dos bons: servem para mostrar a diferença, não para sustentar uma conclusão.

O que este estudo diz às referências de A ideia

• Bush — O valor está nas ligações, não nos documentos. No Memex os trilhos são traçados pelo utilizador; aqui são propostos pelo código, e a pergunta passa a ser até que ponto se pode confiar numa ligação que não traçaste. O número: zero conflitos falsos propostos em dezoito mil casos.
• Luhmann — A estrutura emerge das ligações, não se projeta. Mas Luhmann fazia as ligações à mão e sabia porquê; aqui o porquê tem de ser mostrado — e é por isso que cada contradição traz consigo as duas frases literais que a fundamentam.
• Ahrens — Reformular já é pensar, por isso a nota permanente tem de ser escrita pela pessoa. É exatamente por isso que a wiki não volta a entrar nas notas: se o texto do modelo lá regressasse, a app estaria a reformular no teu lugar.
• Park — A reflection consolida, ou o volume sufoca o sentido. Este estudo acrescenta um detalhe que aquele trabalho não aborda: consolidar é o momento em que se inventa. Uma reflection sem controlo sobre os números consolida também os erros, numa forma mais autorizada do que aquela em que nasceram.
• Karpathy — É a proposta mais próxima do que fazemos: uma wiki que o modelo mantém, onde «lê, destila, atualiza e assinala os conflitos». Nesse último ponto as nossas medições dizem o contrário, e é o resultado abaixo.

Pedir ao modelo que assinale os conflitos enquanto escreve a página foi a primeira coisa que experimentámos, e é a que funciona pior de todas: quatro conflitos encontrados em quarenta. Não por causa do tamanho do modelo — uma tarefa de verificação enfiada dentro de uma tarefa de escrita é mal feita por qualquer um. Retirando-a ao modelo e dando-a ao código: abrangência 1,000 e precisão 0,911.

Numa wiki mantida por um LLM, a deteção de conflitos não é tarefa do LLM.

E uma promessa que este estudo não toca

A ideia diz que «o sistema não te devolve o que sabes — faz-te escrever o que não sabias que pensavas». É a afirmação mais ambiciosa, e não há aqui nenhum número que a sustente. Pode medir-se se uma contradição é verdadeira, se um número lá estava, se uma citação aguenta. Não se pode medir se uma pergunta te fez pensar: isso só o sabe quem a lê, nas suas próprias notas, alguns meses depois. Um estudo como este pode, no máximo, afastar as razões pelas quais a promessa falharia de certeza.

Ler a ideia →