Ir al contenido

Investigación y textos

Cómo pensamos la evaluación, en público.

El estudio sobre filtración de respuestas, un adaptador LoRA público en Hugging Face y las columnas de opinión y los artículos del fundador sobre evaluación de IA, educación y políticas públicas.

Estudio

When Execution Feedback Reveals the Expected Output: A Forensic Study of Answer Leakage in Agentic Code Repair

Zenodo, preprint del autor, sin revisión por pares. DOI 10.5281/zenodo.21286873 · 10 de julio de 2026

Los agentes de código suelen recibir feedback de un ejecutor de pruebas, y luego se atribuye a ese feedback la mejora de la reparación. El preprint audita tres diseños experimentales del propio programa de investigación del autor y encuentra que el feedback exponía con frecuencia la propia salida esperada. El feedback que expone una aserción visible de la prueba no puede separarse de la verificación, de modo que afirmar que la verificación ayuda exige feedback limitado a aprobado o fallido, un mismo conjunto de candidatos para todos los selectores, inferencia agrupada por tarea y hashes inmutables que vinculen cada transcripción con su fila de resultados. Así piensa NASCIA la evaluación: una evaluación tiene que comprobar lo que revela su propio feedback.

156 de 169

mensajes de feedback consumidos en el brazo primario de QuixBugs mostraron la salida esperada (92,3%)

Modelos abiertos

Un adaptador LoRA en la cuenta de Hugging Face del fundador, que él describe como creado para optimizar prompts en inglés británico sobre Mistral 7B. Todo lo demás que se dice aquí proviene del propio repositorio.

  • Hugging Face

    british-optimizer-mistral-final

    Un adaptador LoRA para mistralai/Mistral-7B-v0.1, construido con PEFT y etiquetado como lora, sft y trl, creado en agosto de 2025 con los pesos del adaptador y los archivos del tokenizador. La ficha indica el modelo base, la biblioteca y las etiquetas; aún no se ha publicado una ficha completa del modelo.

    Ver en Hugging Face

Columnas de opinión y artículos

Publicados en la prensa brasileña e internacional, en el idioma de cada medio. Los títulos se conservan como se publicaron; los enlaces abren la página del propio medio.

2026

Tráiganos el proceso que siempre falla.

Una conversación suele bastar para saber si un agente encaja, con qué criterio medirlo y qué haría falta para mantenerlo en funcionamiento.