Ir para o conteúdo

Pesquisa e textos

Como pensamos sobre avaliação, em público.

Um estudo, dois repositórios de modelos abertos e artigos do fundador sobre avaliação de IA, educação e políticas públicas, organizados por ano.

Estudo

When Execution Feedback Reveals the Expected Output: A Forensic Study of Answer Leakage in Agentic Code Repair

Zenodo, preprint do autor, sem revisão por pares. DOI 10.5281/zenodo.21286873 · 10 de julho de 2026

Agentes de código costumam receber feedback de testes, ao qual se atribui a melhora do reparo. O preprint audita três desenhos experimentais do próprio programa de pesquisa do autor e encontra a saída esperada no feedback: no braço primário do QuixBugs, 156 de 169 mensagens consumidas (92,3%) mostravam o campo fixo da resposta esperada. O feedback que expõe uma asserção do teste visível confunde o efeito da verificação com o da resposta vazada. Alegar um benefício da verificação exige feedback limitado a passou ou falhou, controle de seleção com o mesmo conjunto de candidatos, inferência agrupada por tarefa e hashes imutáveis entre transcrições e linhas de resultado. É como a NASCIA pensa a avaliação: ela precisa testar o que seu feedback revela.

Ler no Zenodo

Modelos abertos

Dois repositórios no Hugging Face, na conta do fundador, que ele descreve como adaptadores LoRA para otimização de prompts em inglês britânico no Mistral 7B. Além disso, apresentamos apenas o que os próprios repositórios informam.

  • Hugging Face

    british-optimizer-mistral-final

    Um adaptador LoRA para mistralai/Mistral-7B-v0.1, treinado com ajuste fino supervisionado (TRL e PEFT) e publicado em agosto de 2025 com pesos do adaptador e arquivos do tokenizador. A ficha informa o modelo base, a biblioteca e as etiquetas de treinamento; uma ficha completa ainda não foi publicada.

    Ver no Hugging Face
  • Hugging Face

    british-prompt-optimizer-mistral-lora

    Um repositório criado em agosto de 2025 na mesma conta. A ficha do modelo e os arquivos ainda não foram publicados, por isso não afirmamos nada além do nome.

    Ver no Hugging Face

Artigos de opinião

Publicados na imprensa brasileira e internacional, no idioma de cada veículo. Os títulos mantêm a forma publicada; os links abrem a página do próprio veículo.