Runtime de IA com inferência local: orquestração, memória, roteamento de ferramentas e avaliação

O problema

Um agente é fácil de demonstrar e difícil de manter funcionando. A diferença não está no modelo. Está em tudo ao redor dele: os dados que ele pode ver, a avaliação que avisa quando ele se degrada, o fallback quando ele falha e a pessoa que responde pelo resultado.

É nessa camada ao redor que as cargas de trabalho de IA falham em produção. O HELIX V6 é o trabalho interno de pesquisa e desenvolvimento da NASCIA sobre essa camada: um runtime para cargas de trabalho de IA com inferência local.

O que foi construído

Um runtime para cargas de trabalho de IA com inferência local, construído pelo fundador, sozinho. Cobre orquestração, memória, roteamento de ferramentas e avaliação.

A base de código tem 121 mil linhas de código em 633 arquivos-fonte, com mais de 3.800 testes automatizados (CV do fundador).

É pesquisa e desenvolvimento internos. Não há link público nem página de produto.

Como funciona

O diagrama é esquemático. Mostra as quatro áreas que o runtime cobre e um modelo local, e não afirma nenhum fluxo, protocolo ou detalhe de armazenamento além disso; as ferramentas aparecem fora do runtime por legibilidade, não porque a posição delas esteja publicada. A orquestração conduz a carga de trabalho. A memória guarda o estado entre os passos. O roteamento de ferramentas direciona cada chamada à ferramenta que deve tratá-la. A inferência pode rodar em um modelo local (CV do fundador). A avaliação é uma das quatro áreas que o runtime cobre. Separadamente, a base de código reúne mais de 3.800 testes automatizados (CV do fundador).

Evidências

Três números estão publicados, todos de uma única fonte: 121 mil linhas de código (CV do fundador), 633 arquivos-fonte (CV do fundador) e mais de 3.800 testes automatizados (CV do fundador).

Nenhum número de uso, desempenho ou benchmark está publicado, porque nenhum foi verificado.

Tecnologias

A inferência pode rodar em um modelo local (CV do fundador). O runtime cobre orquestração, memória, roteamento de ferramentas e avaliação (CV do fundador). Linguagens, frameworks e nomes de modelos não estão publicados.

O que demonstra

Definir: o escopo do runtime está declarado (orquestração, memória, roteamento de ferramentas e avaliação).

Instrumentar: mais de 3.800 testes automatizados acompanham 121 mil linhas de código em 633 arquivos-fonte (CV do fundador).

Integrar: inferência local e roteamento de ferramentas são as partes que colocam um modelo dentro de um fluxo de trabalho, que é o que a NASCIA entrega para clientes.

Transferir: um runtime com suíte de testes é um runtime que outro engenheiro consegue assumir. A mesma disciplina entra em todo sistema que construímos para clientes.