Ir para o conteúdo

Pesquisa e textos

Como pensamos a avaliação, em público.

O estudo sobre vazamento de respostas, um adaptador LoRA público no Hugging Face e os artigos de opinião e outros textos do fundador sobre avaliação de IA, educação e políticas públicas.

Estudo

When Execution Feedback Reveals the Expected Output: A Forensic Study of Answer Leakage in Agentic Code Repair

Zenodo, preprint do autor, sem revisão por pares. DOI 10.5281/zenodo.21286873 · 10 de julho de 2026

Agentes de código costumam receber o feedback de um executor de testes e, depois, levam o crédito pela melhora no reparo. O preprint audita três desenhos experimentais do próprio programa de pesquisa do autor e mostra que o feedback expunha com frequência a própria saída esperada. O feedback que expõe uma asserção visível do teste não pode ser separado da verificação; por isso, qualquer alegação de que a verificação ajuda exige feedback limitado a passou ou falhou, um único conjunto de candidatos para todos os seletores, inferência agrupada por tarefa e hashes imutáveis que ligam cada transcrição à sua linha de resultado. É assim que a NASCIA pensa a avaliação: toda avaliação precisa verificar o que o próprio feedback revela.

156 de 169

mensagens de feedback consumidas no braço primário do QuixBugs mostraram a saída esperada (92,3%)

Modelos abertos

Um adaptador LoRA na conta do fundador no Hugging Face, que ele descreve como feito para otimizar prompts em inglês britânico no Mistral 7B. Todas as demais informações vêm do próprio repositório.

  • Hugging Face

    british-optimizer-mistral-final

    Um adaptador LoRA para mistralai/Mistral-7B-v0.1, construído com PEFT, com as etiquetas lora, sft e trl, e criado em agosto de 2025 com os pesos do adaptador e os arquivos do tokenizador. A ficha informa o modelo base, a biblioteca e as etiquetas; uma ficha completa do modelo ainda não foi publicada.

    Ver no Hugging Face

Artigos de opinião e outros textos

Publicados na imprensa brasileira e internacional, no idioma de cada veículo. Os títulos mantêm a forma publicada; os links abrem a página do próprio veículo.

Traga o processo que vive quebrando.

Uma conversa costuma bastar para saber se cabe um agente ali, como avaliá-lo e o que seria preciso para mantê-lo funcionando.