Estudo
When Execution Feedback Reveals the Expected Output: A Forensic Study of Answer Leakage in Agentic Code Repair
Zenodo, preprint do autor, sem revisão por pares. DOI 10.5281/zenodo.21286873 · 10 de julho de 2026
Agentes de código costumam receber feedback de testes, ao qual se atribui a melhora do reparo. O preprint audita três desenhos experimentais do próprio programa de pesquisa do autor e encontra a saída esperada no feedback: no braço primário do QuixBugs, 156 de 169 mensagens consumidas (92,3%) mostravam o campo fixo da resposta esperada. O feedback que expõe uma asserção do teste visível confunde o efeito da verificação com o da resposta vazada. Alegar um benefício da verificação exige feedback limitado a passou ou falhou, controle de seleção com o mesmo conjunto de candidatos, inferência agrupada por tarefa e hashes imutáveis entre transcrições e linhas de resultado. É como a NASCIA pensa a avaliação: ela precisa testar o que seu feedback revela.
Ler no Zenodo