NVIDIA Dynamo Îmbunătățește Streaming-ul pentru Fluxuri de Lucru Agentice

Luisa Crawford 08 mai 2026 16:34

NVIDIA Dynamo introduce noi instrumente pentru fluxuri de lucru agentice mai rapide și mai precise, îmbunătățind streaming-ul de tokeni și gestionarea apelurilor de instrumente.

NVIDIA a prezentat actualizări semnificative ale platformei sale Dynamo, menite să optimizeze fluxurile de lucru agentice prin streaming îmbunătățit, parsare și gestionarea apelurilor de instrumente. Aceste actualizări se concentrează pe îmbunătățirea receptivității și acurateței pentru aplicațiile care se bazează pe interacțiuni multi-turn, cum ar fi asistenții de programare și alte instrumente bazate pe inteligență artificială.

Unul dintre punctele cheie este introducerea dispatchului de apeluri de instrumente în streaming. Această nouă funcție permite executarea apelurilor de instrumente imediat ce sunt decodificate, eliminând necesitatea de a aștepta finalizarea întregului tur de răspuns. Această ajustare nu doar accelerează timpul până la primul token (TTFT) pentru utilizatori, ci elimină și ineficiențele din fluxurile de lucru ale agenților, unde raționamentul și răspunsurile instrumentelor sunt intercalate.

Câștiguri de Performanță prin Stabilitatea Prompturilor

O îmbunătățire esențială se concentrează pe stabilitatea prompturilor și reutilizarea cache-ului KV. Prin eliminarea preambulurilor specifice sesiunii, cum ar fi antetele de facturare Anthropic, Dynamo asigură prefixuri consistente ale tokenilor între sesiuni. Această schimbare a redus TTFT de aproape cinci ori în testele NVIDIA, de la 912ms la 169ms, pe un sistem care utilizează un prompt de 52K tokeni.

Pentru dezvoltatori, menținerea prefixurilor stabile este crucială atunci când se gestionează prompturi mari și complexe în cadrul mai multor sesiuni de utilizatori. Aceste optimizări sunt deosebit de valoroase pentru modelele agentice precum Claude Code și Codex, care necesită interacțiuni precise și repetabile pentru a funcționa eficient.

Parsare Îmbunătățită pentru Interacțiuni Complexe

Dynamo și-a revizuit complet parserii de raționament și apeluri de instrumente, extragându-i în module reutilizabile. Acest lucru permite dezvoltatorilor să obțină o mai bună aliniere între rezultatele parsate și cerințele harness-ului. Actualizările abordează o problemă de lungă durată în care raționamentul anterior era fie eliminat, fie deformat în cadrul interacțiunilor multi-turn. În fluxurile de lucru agentice în care raționamentul explică secvențele de apeluri de instrumente, păstrarea raționamentului structurat este critică.

De exemplu, NVIDIA a demonstrat cum modelul său Nemotron-3-Super-120B poate acum procesa mai eficient raționamentul intercalat și apelurile de instrumente, asigurând că fiecare segment de raționament rămâne corect atașat acțiunii corespunzătoare a instrumentului. Aceasta previne problemele în care raționamentul era anterior grupat incorect, ducând la pierderea contextului.

Comportamentul de Streaming și Dispatchul Instrumentelor

O altă îmbunătățire majoră este capacitatea de a transmite în streaming răspunsuri tokenizate în timp ce se dispecerizează apelurile de instrumente printr-un canal secundar. Anterior, apelurile de instrumente erau bufferizate până la sfârșitul unui răspuns, întârziind execuția. Cu noile capabilități de streaming inline și dispatch, apelurile de instrumente devin acționabile imediat ce sunt parsate, îmbunătățind semnificativ receptivitatea pentru aplicațiile în timp real.

NVIDIA a ilustrat acest lucru cu o comparație cronologică arătând cum Dynamo parsează și transmite în streaming apelurile de instrumente la mijlocul unui răspuns, permițând execuția imediată. Această reproiectare minimizează complexitatea pe partea de harness și asigură integrarea perfectă cu sistemele personalizate.

Conformitate API Îmbunătățită

Actualizările îmbunătățesc, de asemenea, compatibilitatea Dynamo cu Anthropic Messages API, o interfață critică pentru instrumente precum Claude Code și OpenClaw. Remedierile includ numărarea corectă a tokenilor la începutul stream-urilor și capacitatea de a servi endpoint-uri de metadate ale modelului, ambele aducând Dynamo mai aproape de paritatea cu backend-ul nativ.

Pentru utilizatorii Codex, compatibilitatea cu Responses API al OpenAI a fost, de asemenea, îmbunătățită. NVIDIA a rezolvat problemele de păstrare a câmpurilor care apăreau în timpul procesării interne a cererilor, asigurând că funcțiile specifice Codex, cum ar fi rezumatele de raționament și truncherea apelurilor de instrumente, sunt suportate fără a degrada performanța.

Ce Urmează

Privind înainte, NVIDIA pune la dispoziție părți din stiva de servire a Dynamo ca componente modulare, inclusiv crate-uri de protocol, parser și tokenizer. Această modularitate permite dezvoltatorilor să construiască harness-uri personalizate sau să le extindă pe cele existente fără a duplica funcționalitatea de bază a Dynamo.

Aceste actualizări poziționează Dynamo ca o soluție de top pentru sarcinile de lucru agentice, permițând interacțiuni multi-turn mai eficiente și mai precise în cadrul unei game largi de aplicații. Pentru dezvoltatori și întreprinderi care se bazează pe instrumente bazate pe inteligență artificială, aceste îmbunătățiri oferă o infrastructură mai fiabilă și de înaltă performanță pentru sarcini precum programarea, analiza datelor și nu numai.

• nvidia
• instrumente ai
• fluxuri de lucru agentice
• streaming de tokeni