NVIDIA Dynamo ยกระดับการสตรีมสำหรับ Agentic Workflows

Luisa Crawford 08 พ.ค. 2026 23:34

NVIDIA Dynamo เปิดตัวเครื่องมือใหม่เพื่อให้ agentic workflows รวดเร็วและแม่นยำยิ่งขึ้น ปรับปรุงการสตรีมโทเค็นและการจัดการ tool-call

NVIDIA ได้เปิดเผยการอัปเดตครั้งสำคัญสำหรับแพลตฟอร์ม Dynamo โดยมุ่งเน้นการปรับให้ agentic workflows มีประสิทธิภาพยิ่งขึ้นด้วยการสตรีม การแยกวิเคราะห์ และการจัดการ tool-call ที่ได้รับการปรับปรุง การอัปเดตเหล่านี้มุ่งเน้นการปรับปรุงการตอบสนองและความแม่นยำสำหรับแอปพลิเคชันที่พึ่งพาการโต้ตอบหลายรอบ เช่น ผู้ช่วยเขียนโค้ดและเครื่องมือที่ขับเคลื่อนด้วย AI อื่นๆ

หนึ่งในจุดเด่นสำคัญคือการเปิดตัว streaming tool-call dispatch ฟีเจอร์ใหม่นี้ช่วยให้ tool calls สามารถทำงานได้ทันทีที่ถูกถอดรหัส โดยไม่ต้องรอให้รอบการตอบสนองเต็มรูปแบบเสร็จสิ้น การปรับเปลี่ยนนี้ไม่เพียงแต่เพิ่มความเร็ว time-to-first-token (TTFT) สำหรับผู้ใช้งาน แต่ยังขจัดความไม่มีประสิทธิภาพใน agent workflows ที่การให้เหตุผลและการตอบสนองของเครื่องมือสลับกันอยู่

การเพิ่มประสิทธิภาพผ่านความเสถียรของ Prompt

การปรับปรุงหลักมุ่งเน้นไปที่ความเสถียรของ prompt และการนำ KV-cache มาใช้ซ้ำ ด้วยการตัดคำนำที่เฉพาะเจาะจงกับเซสชันออก เช่น Anthropic billing headers Dynamo จึงรับประกันคำนำหน้าโทเค็นที่สอดคล้องกันในทุกเซสชัน การเปลี่ยนแปลงนี้ช่วยลด TTFT ลงเกือบห้าเท่าในการทดสอบของ NVIDIA จาก 912ms เหลือ 169ms บนระบบที่ใช้ prompt ขนาด 52K โทเค็น

สำหรับนักพัฒนา การรักษาคำนำหน้าที่เสถียรถือเป็นสิ่งสำคัญเมื่อต้องจัดการกับ prompt ขนาดใหญ่และซับซ้อนในหลายเซสชันของผู้ใช้ การปรับให้เหมาะสมเหล่านี้มีคุณค่าอย่างยิ่งสำหรับโมเดล agentic เช่น Claude Code และ Codex ซึ่งต้องการการโต้ตอบที่แม่นยำและทำซ้ำได้เพื่อทำงานได้อย่างมีประสิทธิภาพ

การแยกวิเคราะห์ที่ได้รับการปรับปรุงสำหรับการโต้ตอบที่ซับซ้อน

Dynamo ยังได้ปรับปรุง reasoning parser และ tool-call parser ใหม่ทั้งหมด โดยแยกออกมาเป็นโมดูลที่นำมาใช้ซ้ำได้ ซึ่งช่วยให้นักพัฒนาสามารถจัดแนวระหว่างผลลัพธ์ที่แยกวิเคราะห์แล้วกับข้อกำหนดของ harness ได้ดียิ่งขึ้น การอัปเดตนี้แก้ไขปัญหาที่มีมายาวนานซึ่งการให้เหตุผลก่อนหน้านี้ถูกละทิ้งหรือมีรูปแบบผิดพลาดในระหว่างการโต้ตอบหลายรอบ ใน agentic workflows ที่การให้เหตุผลอธิบายลำดับ tool-call การรักษาการให้เหตุผลที่มีโครงสร้างถือเป็นสิ่งสำคัญ

ตัวอย่างเช่น NVIDIA สาธิตให้เห็นว่าโมเดล Nemotron-3-Super-120B สามารถประมวลผลการให้เหตุผลและ tool calls ที่สลับกันได้อย่างมีประสิทธิภาพมากขึ้น โดยรับประกันว่าแต่ละส่วนของการให้เหตุผลยังคงติดอยู่กับ tool action ที่สอดคล้องกันอย่างถูกต้อง ซึ่งป้องกันปัญหาที่การให้เหตุผลเคยถูกจัดกลุ่มผิดพลาด ส่งผลให้สูญเสียบริบท

พฤติกรรมการสตรีมและ Tool Dispatch

การปรับปรุงครั้งสำคัญอีกประการหนึ่งคือความสามารถในการสตรีมการตอบสนองที่แปลงเป็นโทเค็นพร้อมกับการส่ง tool calls ผ่านช่องสัญญาณข้าง ก่อนหน้านี้ tool calls จะถูกบัฟเฟอร์จนถึงสิ้นสุดการตอบสนอง ทำให้การดำเนินการล่าช้า ด้วยความสามารถในการสตรีมแบบ inline และ dispatch ใหม่ tool calls จะสามารถดำเนินการได้ทันทีที่ถูกแยกวิเคราะห์ ช่วยปรับปรุงการตอบสนองสำหรับแอปพลิเคชันแบบเรียลไทม์ได้อย่างมีนัยสำคัญ

NVIDIA ได้อธิบายเรื่องนี้ด้วยการเปรียบเทียบไทม์ไลน์ที่แสดงให้เห็นว่า Dynamo แยกวิเคราะห์และสตรีม tool calls ในระหว่างการตอบสนองได้อย่างไร ทำให้สามารถดำเนินการได้ทันที การออกแบบใหม่นี้ช่วยลดความซับซ้อนด้านฝั่ง harness และรับประกันการบูรณาการที่ราบรื่นกับระบบที่กำหนดเอง

การปรับปรุงความสอดคล้องกับ API

การอัปเดตยังช่วยเพิ่มความเข้ากันได้ของ Dynamo กับ Anthropic Messages API ซึ่งเป็นอินเทอร์เฟซสำคัญสำหรับเครื่องมืออย่าง Claude Code และ OpenClaw การแก้ไขประกอบด้วยการนับโทเค็นที่ถูกต้องตั้งแต่ต้นของสตรีมและความสามารถในการให้บริการ model metadata endpoints ซึ่งทั้งสองอย่างทำให้ Dynamo ใกล้เคียงกับ native backend parity มากยิ่งขึ้น

สำหรับผู้ใช้ Codex ความเข้ากันได้กับ Responses API ของ OpenAI ก็ได้รับการปรับปรุงเช่นกัน NVIDIA ได้แก้ไขปัญหาการรักษาฟิลด์ที่เกิดขึ้นระหว่างการประมวลผลคำขอภายใน รับประกันว่าฟีเจอร์เฉพาะของ Codex เช่น reasoning summaries และ tool-call truncation ได้รับการรองรับโดยไม่ลดทอนประสิทธิภาพ

สิ่งที่จะเกิดขึ้นต่อไป

มองไปข้างหน้า NVIDIA กำลังทำให้ส่วนต่างๆ ของ serving stack ของ Dynamo พร้อมใช้งานในรูปแบบองค์ประกอบโมดูลาร์ รวมถึง protocol, parser และ tokenizer crates ความเป็นโมดูลาร์นี้ช่วยให้นักพัฒนาสามารถสร้าง harness ที่กำหนดเองหรือขยาย harness ที่มีอยู่โดยไม่ต้องทำซ้ำฟังก์ชันหลักของ Dynamo

การอัปเดตเหล่านี้ทำให้ Dynamo เป็นโซลูชันชั้นนำสำหรับ agentic workloads ที่ช่วยให้การโต้ตอบหลายรอบมีประสิทธิภาพและแม่นยำมากขึ้นในหลากหลายแอปพลิเคชัน สำหรับนักพัฒนาและองค์กรที่พึ่งพาเครื่องมือที่ขับเคลื่อนด้วย AI การปรับปรุงเหล่านี้มอบโครงสร้างพื้นฐานที่เชื่อถือได้และมีประสิทธิภาพสูงสำหรับงานต่างๆ เช่น การเขียนโค้ด การวิเคราะห์ข้อมูล และอื่นๆ อีกมากมาย

• nvidia
• ai tools
• agentic workflows
• token streaming