रे डेटा और डॉक्लिंग एंटरप्राइज AI की सबसे बड़ी समस्या से निपटते हैं

Zach Anderson
27 फरवरी, 2026 16:58

नया एकीकरण Ray Data की वितरित प्रोसेसिंग को Docling के दस्तावेज़ पार्सिंग के साथ जोड़ता है ताकि RAG एप्लिकेशन के लिए 10k+ जटिल फ़ाइलों को दिनों के बजाय घंटों में प्रोसेस किया जा सके।

AI एप्लिकेशन बनाने वाली एंटरप्राइज़ टीमों को अपनी सबसे निराशाजनक बाधा का समाधान मिल गया है। Anyscale ने विस्तार से बताया है कि कैसे Ray Data को Docling के साथ मिलाकर दस्तावेज़ प्रोसेसिंग के हफ्तों को घंटों में बदला जा सकता है—एक विकास जो विशाल दस्तावेज़ संग्रह वाली कंपनियों के लिए तैनाती की समयसीमा को तेज़ कर सकता है।

तकनीकी एकीकरण उस चीज़ को संबोधित करता है जिसे अंदरूनी लोग Retrieval-Augmented Generation सिस्टम में "डेटा बाधा" कहते हैं। जबकि डेमो जेनरेटिव AI को सीधा दिखाते हैं, वास्तविकता में हजारों लीगेसी PDF, जटिल तालिकाओं और एम्बेडेड छवियों से जूझना शामिल है जिन्हें पारंपरिक प्रोसेसिंग टूल खराब तरीके से संभालते हैं।

वास्तव में क्या बदलता है

Ray Data का स्ट्रीमिंग एक्जीक्यूशन इंजन CPU और GPU कार्यों में एक साथ डेटा पाइपलाइन करता है। Python-native आर्किटेक्चर सीरियलाइज़ेशन ओवरहेड को समाप्त करता है जो अन्य फ्रेमवर्क को भाषा परिवेशों के बीच डेटा का अनुवाद करते समय परेशान करता है। बैच इन्फरेंस चलाने या विशाल डेटासेट को प्री-प्रोसेस करने वाली टीमों के लिए, इसका मतलब है तेज़ पुनरावृत्ति चक्र।

Docling उस पार्सिंग जटिलता को संभालता है जो अधिकांश पारंपरिक टूल को तोड़ देती है—सिमेंटिक संरचना को संरक्षित करते हुए तालिकाओं और लेआउट को सटीक रूप से निकालना। जब Ray Data के साथ एकीकृत किया जाता है, तो प्रत्येक वर्कर नोड मेमोरी में एम्बेडेड AI मॉडल के साथ एक Docling इंस्टेंस चलाता है, जो स्केल पर समानांतर दस्तावेज़ प्रोसेसिंग को सक्षम करता है।

आर्किटेक्चर इस तरह काम करता है: एक Ray Data Driver निष्पादन का प्रबंधन करता है और वितरण के लिए टास्क कोड को सीरियलाइज़ करता है। वर्कर स्टोरेज से सीधे डेटा ब्लॉक पढ़ते हैं और प्रोसेस की गई JSON फ़ाइलों को गंतव्य पर लिखते हैं। ड्राइवर कभी भी बाधा नहीं बनता क्योंकि वह वास्तविक डेटा थ्रूपुट को संभाल नहीं रहा है।

Kubernetes फाउंडेशन

KubeRay Kubernetes पर Ray क्लस्टर को ऑर्केस्ट्रेट करता है, 10 से 100 नोड्स तक डायनामिक ऑटोस्केलिंग को पारदर्शी रूप से संभालता है। सिस्टम में वर्कर नोड्स विफल होने पर स्वचालित रिकवरी शामिल है—बड़े इंजेशन जॉब के लिए महत्वपूर्ण जो शुरुआत से पुनः आरंभ करने का जोखिम नहीं उठा सकते।

एंड-टू-एंड फ्लो ऑब्जेक्ट स्टोरेज से दस्तावेज़ों को पार्सिंग और चंकिंग के माध्यम से ले जाता है, GPU नोड्स पर एम्बेडिंग उत्पन्न करता है, और Milvus जैसे वेक्टर डेटाबेस में लिखता है। RAG एप्लिकेशन फिर LLM को संदर्भ फीड करने के लिए डेटाबेस से क्वेरी करते हैं।

Pinterest, DoorDash और Instacart सहित कंपनियां पहले से ही लास्ट-माइल प्रोसेसिंग और मॉडल ट्रेनिंग के लिए Ray Data का उपयोग करती हैं, जो सुझाव देती हैं कि तकनीक ने उत्पादन व्यवहार्यता साबित की है।

सरल खोज से परे

यहां व्यापक खेल एजेंटिक AI वर्कफ़्लो को लक्षित करता है जहां स्वायत्त एजेंट बहु-चरणीय कार्य निष्पादित करते हैं। प्रोसेस किए गए डेटा की गुणवत्ता अधिक महत्वपूर्ण हो जाती है क्योंकि एजेंट उपयोगकर्ताओं की ओर से कार्य करने के लिए सटीक दस्तावेज़ीकरण पर निर्भर करते हैं। स्केलेबल आर्किटेक्चर बनाने वाले संगठन अब कई क्रमिक LLM कॉल के साथ उन्नत इन्फरेंस चेन के लिए खुद को स्थापित करते हैं।

Red Hat OpenShift AI और Anyscale प्लेटफ़ॉर्म एंटरप्राइज़ गवर्नेंस आवश्यकताओं के साथ तैनाती विकल्प प्रदान करते हैं। ओपन-सोर्स फाउंडेशन का मतलब है कि टीमें बड़ी खरीद बाधाओं के बिना परीक्षण शुरू कर सकती हैं।

AI टीमों के लिए जो वर्तमान में मॉडल ट्यूनिंग की तुलना में डेटा तैयारी पर अधिक समय बिता रही हैं, यह एकीकरण आगे का एक व्यावहारिक मार्ग प्रदान करता है। सवाल यह नहीं है कि क्या वितरित दस्तावेज़ प्रोसेसिंग मायने रखती है—यह है कि क्या आपकी इंफ्रास्ट्रक्चर आगे क्या आता है उसे संभाल सकती है।

छवि स्रोत: Shutterstock