Ir al contenido

Investigación y textos

Cómo pensamos sobre evaluación, en público.

Un estudio, dos repositorios de modelos abiertos y artículos del fundador sobre evaluación de IA, educación y políticas públicas, organizados por año.

Estudio

When Execution Feedback Reveals the Expected Output: A Forensic Study of Answer Leakage in Agentic Code Repair

Zenodo, preprint del autor, sin revisión por pares. DOI 10.5281/zenodo.21286873 · 10 de julio de 2026

Los agentes de código suelen recibir feedback de pruebas, al que se atribuye la mejora de la reparación. El preprint audita tres diseños experimentales del propio programa de investigación del autor y encuentra la salida esperada en el feedback: en el brazo principal de QuixBugs, 156 de 169 mensajes consumidos (92,3%) mostraban el campo fijo de la respuesta esperada. El feedback que expone una aserción de la prueba visible confunde el efecto de la verificación con el de la respuesta filtrada. Afirmar un beneficio de verificación exige feedback limitado a aprobado o fallido, control de selección con el mismo conjunto de candidatos, inferencia agrupada por tarea y hashes inmutables entre transcripciones y filas de resultados. Así piensa NASCIA la evaluación: debe comprobar qué revela su feedback.

Leer en Zenodo

Modelos abiertos

Dos repositorios en Hugging Face, en la cuenta del fundador, que él describe como adaptadores LoRA para optimizar prompts en inglés británico sobre Mistral 7B. Además de eso, presentamos solo lo que informan los propios repositorios.

  • Hugging Face

    british-optimizer-mistral-final

    Un adaptador LoRA para mistralai/Mistral-7B-v0.1, entrenado con ajuste fino supervisado (TRL y PEFT) y publicado en agosto de 2025 con los pesos del adaptador y los archivos del tokenizador. La ficha indica el modelo base, la biblioteca y las etiquetas de entrenamiento; aún no se ha publicado una ficha completa.

    Ver en Hugging Face

  • Hugging Face

    british-prompt-optimizer-mistral-lora

    Un repositorio creado en agosto de 2025 en la misma cuenta. La ficha del modelo y los archivos aún no se han publicado, por lo que no afirmamos nada más allá de su nombre.

    Ver en Hugging Face

Artículos de opinión

Publicados en la prensa brasileña e internacional, en el idioma de cada medio. Los títulos se conservan como se publicaron; los enlaces abren la página del propio medio.

2026Publicado en 2026