सर्भिस नाउको अटोसिन्थडेटाले एजेन्टको असफलतालाई तालिममा सुनौलो बनाउँछ

छोटो उत्तर: ServiceNow CoreAI को AutoSynthData ले एजेन्टको असफलता र शिक्षकको सफलतालाई मान्य सिंथेटिक SFT कार्यहरूमा परिणत गर्दछ जब उद्यमहरूलाई वातावरणीय क्षमता चाहिन्छ, केवल व्यापक बेन्चमार्क स्कोर मात्र होइन। यसले क्षमता-विशिष्ट कार्डहरूमा अन्तरालहरूलाई सेनिटाइज गर्दछ, प्रमाणित कार्यलाई गुणा गर्दछ, त्यसपछि फाइन-ट्युनिङ गर्नु अघि गुणस्तर गेट गर्दछ। लेखक-रिपोर्ट गरिएको इन्टरप्राइजअप्स जिमले शिक्षकको शक्ति, प्रमाणिकरणकर्ता गुणस्तर, र वातावरण निष्ठा पङ्क्तिबद्ध भएमा पकड उठाउँछ।

मुख्य कुराहरू:

क्षमता कार्डहरू: जेनेरेटरहरूले कहिल्यै पनि मूल आईडीहरू नदेखून् भनेर असफलताहरूलाई कार्डहरूमा सेनिटाइज गर्नुहोस्।

प्रमाणिकरणकर्ता लेखा परीक्षण: उत्परिवर्तित गलत परिणामहरू अस्वीकार गर्ने SQL अन्तिम-अवस्था जाँचहरूलाई प्राथमिकता दिनुहोस्।

कठिनाई ब्यान्ड: ती कार्यहरू मात्र तालिम दिनुहोस् जुन लक्ष्यले विरलै समाधान गर्छ र शिक्षकले सामान्यतया पूरा गर्छ।

मानव समीक्षा: पुन: तालिम दिनु अघि उच्च-दांव नीति र अपरिवर्तनीय कार्यहरूमा मानव समीक्षा राख्नुहोस्।

सीमा सार्ने: SFT पछि, पुन: मूल्याङ्कन गर्नुहोस् र लक्ष्य चरणलाई बाँकी रहेको खाली ठाउँतिर सार्नुहोस्।

इन्टरप्राइज एआई एजेन्टहरू सामान्य ज्ञानको कमी भएको कारणले विरलै असफल हुन्छन्। तिनीहरू असफल हुन्छन् किनभने वातावरण विशिष्ट छ: टिकट नीतिहरू, स्कीमा क्विर्कहरू, उपकरण सम्झौताहरू, सिडेड डाटाबेसहरू, ज्ञान लेखहरू, र पाठ्यपुस्तक डेमोहरू जस्तो नदेखिने क्रस-सिस्टम कार्यप्रवाहहरू। खुला बेन्चमार्कहरूमा राम्रो स्कोर गर्ने मोडेल अझै पनि रोकिन सक्छ जब अर्को चरणले परिवर्तन विन्डो, CMDB सम्बन्ध, वा धाराप्रवाह कुराकानीको सट्टा अन्तिम अवस्था जाँच गर्ने प्रमाणिकरणकर्तालाई सम्मान गर्नुपर्छ।.

ServiceNow CoreAI / ServiceNow-AI ले त्यो खाडललाई सिधै आक्रमण गर्न AutoSynthData प्रकाशित गर्‍यो । नामित लेखक Esakkivel Esakkiraja ले एउटा पाइपलाइनको वर्णन गर्छन् जसले लक्षित एजेन्टको असफलताहरू - बलियो शिक्षकको सफलताहरूसँगै - उद्यम वातावरण अनुरूप मान्य सिंथेटिक प्रशिक्षण कार्यहरूमा रूपान्तरण गर्दछ। मुख्य कुरा थप च्याट लगहरू सङ्कलन गर्नु होइन। यो कडा, प्रमाणित कार्यलाई गुणा गर्नु हो जसले नयाँ अवस्थाहरूमा समान क्षमता अभ्यास गर्दछ ताकि पर्यवेक्षित फाइन-ट्युनिङले वातावरण-विशिष्ट प्वालहरू बन्द गर्न सक्छ।

यो लेख हाइब्रिड र ITSM सेटिङहरूमा इन्टरप्राइजअप्स जिममा मूल विचार, कार्य अमूर्तता, उत्पादन र गुणस्तर-नियन्त्रण लूप, साझा वास्तुकला, र लेखक-रिपोर्ट गरिएका नतिजाहरू मार्फत हिंड्छ। यो अनुसन्धानले वर्णन गरेको कुरासँग रहन्छ: सिंथेटिक कार्यहरूको गतिशील पाठ्यक्रम, कुनै पनि उद्यम अचानक समाधान हुन्छ भन्ने दाबी होइन।.

किन वातावरणीय क्षमताले व्यापक क्षमतालाई उछिन्छ

उद्यमहरूलाई उनीहरूको वातावरणमा काम गर्ने एजेन्टहरू चाहिन्छ - तिनीहरूको प्रणाली, नियमहरू, र डेटा स्थिति। व्यापक क्षमता वातावरणीय क्षमता जस्तै कुरा होइन। एक एजेन्टलाई थाहा हुन सक्छ कि IT सेवा व्यवस्थापन सामान्यतया कसरी काम गर्छ र अझै पनि निश्चित संक्रमणहरूलाई निषेध गर्ने स्थानीय नीति, वा पूर्व-आवश्यक रेकर्ड अवस्थित भएपछि मात्र सम्बन्धित तालिका अद्यावधिक गर्ने उपकरण गुमाउन सक्छ।.

व्यक्तिगत असफलताहरू जानकारीमूलक हुन्छन् तर प्रशिक्षण डेटा जत्तिकै पातलो हुन्छन्। एउटा भाँचिएको प्रक्षेपणले कमजोरी देखाउँछ; यसले मोडेललाई भिन्नता अन्तर्गत पुन: प्राप्ति गर्न सिकाउने दर्जनौं नजिकका परिस्थितिहरू प्रदान गर्दैन। टोलीहरूलाई धेरै नयाँ कार्यहरू चाहिन्छ जसले एउटै क्षमता फरक तरिकाले प्रयोग गर्दछ, वातावरण भित्र पूरा गर्न सकिन्छ, प्रयोगकर्ताले सोधे अनुसार यथार्थपरक महसुस हुन्छ, र परिणाम जाँचहरू विरुद्ध प्रमाणित रहन्छ।.

त्यो AutoSynthData पछाडिको डिजाइन दबाब हो। असफलताहरू क्षमता कार्डहरूको लागि संकेत बन्छन्। कार्डहरू नयाँ कार्यहरूको जेनरेटर बन्छन्। एक बलियो शिक्षकले सफल प्रक्षेपणहरू प्रदर्शन गर्दछ। फिल्टर र प्रमाणिकरणकर्ताहरूले पर्यवेक्षित फाइन-ट्युनिङ सेटमा के प्रवेश गर्छ भनेर निर्णय गर्छन्। प्रशिक्षण पछि, मूल्याङ्कनले बाँकी खाली ठाउँहरू तर्फ सीमा सर्छ। लूप एक-शट डेटा डम्पको सट्टा पाठ्यक्रम-आकारको छ।.

अभ्यासकर्ताहरूको लागि फ्रेमिङ महत्त्वपूर्ण छ। यदि तपाईंले असफल प्रम्प्टहरू मात्र भण्डारण गर्नुभयो भने, तपाईंले ती सटीक संस्थाहरू र वाक्यांशहरूमा ओभरफिट हुने जोखिम लिनुहुन्छ। यदि तपाईंले केवल अनियन्त्रित सिंथेटिक प्रश्नहरू उत्पन्न गर्नुभयो भने, तपाईंले असम्भव, अवास्तविक, वा प्रमाणित गर्न नसकिने कार्यहरूको जोखिम लिनुहुन्छ। AutoSynthData ती चरम सीमाहरू बीच बस्छ: क्षमता विशिष्टीकरणमा असफल भएको कुरालाई सेनिटाइज गर्नुहोस्, त्यसपछि सतहको रूप र नियन्त्रणयोग्य आयामहरू परिवर्तन गर्दा हार्ड कोर राख्ने कार्यहरू पुन: उत्पन्न गर्नुहोस्।.

व्यावहारिक कार्यको आकार: प्रणाली, प्रम्प्ट, प्रमाणक

एजेन्टिक कार्यको लागि एक कार्ययोग्य अमूर्तता हो: कार्य प्रणाली विशिष्टता, प्रयोगकर्ता प्रम्प्ट, र प्रमाणिकरणकर्ता। प्रत्येक टुक्राले सिंथेटिक डेटालाई ग्राउन्डेड र विश्वसनीय राख्ने बाधाहरू बोक्छ।

प्रणाली विशिष्टीकरणले बाधाहरू, नीतिहरू, र प्रारम्भिक अवस्थालाई समेट्छ - उदाहरणका लागि डाटाबेस बीउ र ज्ञान लेखहरू। यो उपलब्ध उपकरणहरू र अवस्थासँग उपयुक्त रहनुपर्छ। उपकरण सम्झौताहरू वा बीउ यथार्थवादलाई बेवास्ता गर्ने मनमानी कठिनाई अवरोधहरूले गलत पाठ सिकाउने कमजोर कार्यहरू सिर्जना गर्ने प्रवृत्ति राख्छ।.

प्रयोगकर्ता प्रम्प्ट गुणस्तरमा तीन लेन्सहरू छन्। सम्भाव्यताले सोध्छ कि मान्य प्रक्षेपण अवस्थित छ कि छैन। यथार्थवादले सोध्छ कि प्रयोगकर्ताले यो अनुरोध गर्न सक्छ कि भनेर। कठिनाईले सोध्छ कि कार्यले लक्ष्यले पहिले नै भरपर्दो रूपमा समाधान गरेको कुराको सट्टा हालको एजेन्ट कमजोरीलाई उजागर गर्छ कि गर्दैन। लक्ष्यको लागि तुच्छ प्रम्प्टले प्रशिक्षण बजेट बर्बाद गर्छ; असम्भव प्रम्प्टले मूल्याङ्कन विश्वास बर्बाद गर्छ।.

प्रमाणिकरणकर्ताको गुणस्तर स्थिरता, सुदृढता र पूर्णतामा निर्भर गर्दछ। धेरै ढिलो र कमजोर प्रक्षेपणहरू पार हुन्छन्। एकल प्रक्षेपणमा धेरै प्रतिबन्धित र मान्य वैकल्पिक समाधानहरू असफल हुन्छन्। इन्टरप्राइज सेटिङहरूले प्रायः SQL-आधारित वा राज्य-आधारित परिणाम जाँचहरू रुचाउँछन् किनभने तिनीहरूले एजेन्टले कार्य गरेपछि संसारलाई ग्रेड गर्छन्, एजेन्टले लिएको सही टोकन मार्ग होइन।.

AutoSynthData यस ट्रायडमा निर्भर गर्दछ त्यसैले उत्पन्न गरिएको काम ग्राउन्डेड रहन्छ। जेनेरेटरहरूले फ्री-फ्लोटिंग क्विजहरू आविष्कार गर्दैनन्। तिनीहरूले वातावरण एडाप्टरमा कार्यान्वयन गर्न सकिने कार्यहरू उत्पादन गर्छन् र आवश्यक अन्तिम-अवस्था गुणहरूको ख्याल राख्ने प्रमाणिकरणकर्ताहरूद्वारा न्याय गरिन्छ।.

डायग्नोस्टिक इभलदेखि क्षमता-विशिष्ट कार्डहरूसम्म

यो पाइपलाइन लक्षित एजेन्ट र वातावरण भित्र एक बलियो शिक्षकको निदानात्मक मूल्याङ्कनबाट सुरु हुन्छ। सँगसँगै दौडहरूले लक्ष्य कहाँ असफल हुन्छ र शिक्षक कहाँ सफल हुन्छ भनेर प्रकट गर्दछ। ती कन्ट्रास्ट केसहरू पाठ्यक्रम डिजाइनको लागि कच्चा माल हुन्।.

त्यसपछि सेनिटाइज्ड क्षमता-विशिष्ट कार्डहरूमा आसवन आउँछ । कार्डले परीक्षण अन्तर्गत क्षमता, सान्दर्भिक उपकरणहरू वा कार्यप्रवाह आकार, जहाँ लक्ष्य असफल हुन्छ र शिक्षक सफल हुन्छ, आवश्यक अन्तिम-अवस्था गुणहरू, र नयाँ कार्यहरू आविष्कार गर्दा फरक हुन सक्ने आयामहरू कैद गर्दछ। महत्वपूर्ण रूपमा, जेनेरेटरले मौलिक प्रम्प्टहरू, संस्थाहरू, प्रक्षेपणहरू, वा प्रमाणिकरण विवरणहरू प्राप्त गर्दैन - केवल कार्डहरू।

त्यो स्यानिटाइजेसन एक जानाजानी गरिएको एन्टी-ओभरफिट चाल हो। यदि जेनेरेटरले सही असफल टिकट नम्बरहरू, ज्ञान लेख आईडीहरू, वा शिक्षक ट्रेसहरू देख्यो भने, यो उही एपिसोडलाई व्याख्या गर्न लोभ्याउनेछ। कार्डहरू बल अमूर्तता: नियन्त्रणयोग्य भिन्नता अन्तर्गत क्षमता सिकाउनुहोस्, कण्ठित उदाहरण होइन।.

कार्डहरू अस्तित्वमा आएपछि, प्रणालीले तिनीहरूबाट नयाँ कार्यहरू उत्पन्न गर्छ। त्यसपछि शिक्षकले पर्यवेक्षित फाइन-ट्युनिङको लागि सफल प्रक्षेपणहरू प्रदर्शन गर्छन्। ती प्रदर्शनहरू स्वतन्त्र सल्लाह होइनन्; तिनीहरू वातावरण-आधारित सफलताहरू हुन् जसले पाठ्यक्रमले ख्याल राखेको समान प्रकारको प्रमाणीकरण पास गर्छन्।.

दुई चरणको संरचना स्केल। लक्ष्य चरणले खाली ठाउँहरू वरिपरि कोर जाँच गरिएका नमूनाहरूमा केन्द्रित हुन्छ - कमजोर एजेन्टले तोड्ने ठाउँ नजिकैको उच्चतम-संकेत कार्यहरू। गुणन चरणले स्वीकृत लक्ष्यहरूको नयाँ रूपहरू सिर्जना गर्दछ। गुणन गरिएका नमूनाहरूले थप गुणन राउन्डहरू बीज गर्न सक्दैनन्, जसले बहावलाई सीमित गर्दछ। त्यो नियम सानो छ तर महत्त्वपूर्ण छ: असीमित पुनरावर्ती भिन्नता कार्डले नाम दिएको क्षमताबाट टाढा जान सक्छ।

साझा नियन्त्रक, वातावरण एडाप्टर, र गतिशील सीमा

वास्तुकलाको हिसाबले, AutoSynthData ले साझा नियन्त्रक र वातावरण एडाप्टर। नियन्त्रकले निदान, कार्डिङ, उत्पादन, शिक्षक डेमो, गुणस्तर गेट्स, र ब्याच समीक्षालाई व्यवस्थित गर्दछ। एडाप्टरले ती चरणहरूलाई ठोस उद्यम स्यान्डबक्स - उपकरणहरू, राज्य, नीतिहरू, र प्रमाणिकरणकर्ताहरूसँग जोड्दछ - त्यसैले एउटै नियन्त्रण लूपले पाठ्यक्रम तर्कलाई स्क्र्याचबाट पुन: लेखन बिना फरक डोमेनहरूमा लक्षित गर्न सक्छ।

पर्यवेक्षित फाइन-ट्युनिङ पछि, पाइपलाइन पुन: मूल्याङ्कन गरिन्छ। त्यसपछि पाठ्यक्रम बाँकी रहेका खाडलहरू तर्फ सर्छ: स्थिर डेटासेटको सट्टा गतिशील सीमा। कार्यमा वर्णन गरिएका प्रयोगहरू पर्यवेक्षित फाइन-ट्युनिङमा केन्द्रित छन्। उही लूपले पछि सुदृढीकरण सिकाइलाई समर्थन गर्न सक्छ; त्यो दिशा योजनाबद्ध रूपमा उल्लेख गरिएको छ, पूरा भएको दाबी गरिएको छैन।

उद्यम टोलीहरूको लागि, वास्तुकला पाठ मोड्युलर हो। नियन्त्रकहरूले एउटा टिकट स्कीमालाई हार्डकोड गर्नु हुँदैन। एडेप्टरहरूले पर्याप्त अवस्था र उपकरण निष्ठा उजागर गर्नुपर्छ जसले गर्दा प्रमाणिकरणकर्ताहरू अर्थपूर्ण हुन सक्छन्। पाठ्यक्रमले मूल्याङ्कन परिणामहरूलाई अर्को इनपुटको रूपमा व्यवहार गर्नुपर्छ, एक पटकको स्कोरबोर्डको रूपमा होइन।.

इन्टरप्राइजओप्स जिम त्यो वातावरण हो जहाँ यो दृष्टिकोण चित्रण गरिएको थियो। यो ८ डोमेनहरूमा लगभग १,१५० विशेषज्ञ-क्युरेट गरिएका कार्यहरू, लगभग ५१२ उपकरणहरू, लगभग १६४ डाटाबेस तालिकाहरू, कन्टेनराइज्ड कार्यान्वयन, SQL-आधारित परिणाम प्रमाणीकरण, नीति-शासित सञ्चालनहरू, हाइब्रिड क्रस-डोमेन परिदृश्यहरू, असम्भवता र अस्वीकार परीक्षण, र लामो-क्षितिज स्टेटफुल ट्र्याजेक्टोरीहरू सहितको ठूलो स्तरको इन्टरप्राइज एजेन्ट बेन्च हो। AutoSynthData त्यो जिम आविष्कार गर्ने रूपमा प्रस्तुत गरिएको छैन; जिम संश्लेषण लूपको लागि तनाव परीक्षण बेड हो।

नमूना-स्तरको QC जसले सिंथेटिक कार्यहरूलाई विश्वसनीय राख्छ

गेट बिनाको उत्पादनले सिंथेटिक एजेन्ट डेटा गलत हुने गर्छ। AutoSynthData ले धेरै पूरक जाँचहरू सहित नमूना-स्तर गुणस्तर नियन्त्रणको वर्णन गर्दछ।.

समाधानकर्ता कठिनाई फिल्टरले लक्ष्यको लागि कठिन र शिक्षकको लागि समाधानयोग्य कार्यहरूतर्फ सेटलाई निर्देशित गर्दछ। वर्णन गरिएको कन्फिगरेसनले लक्ष्यले तीन परीक्षणहरू मध्ये एकमा समाधान गर्ने कार्यहरूलाई समर्थन गर्दछ, जबकि शिक्षक तीन मध्ये कम्तिमा दुईमा सफल हुन्छ। त्यो ब्यान्ड हो जहाँ पर्यवेक्षित डेमोहरूले कमजोर मोडेलसँग पहिले नै नभएको कुरा सिकाउन सक्छ।

सकारात्मक प्रमाणीकरणको लागि सन्दर्भ प्रक्षेपणले प्रमाणिकरणकर्तालाई पास गर्नु आवश्यक छ। नकारात्मक प्रमाणीकरणको लागि उत्परिवर्तित गलत परिणामहरू असफल हुनु आवश्यक छ। सँगै तिनीहरूले परीक्षकको स्वीकृति र अस्वीकृति दुवै पक्षहरूलाई दबाब-परीक्षण गर्छन्। यदि केवल सकारात्मक जाँच गरियो भने, एक अनुमति दिने प्रमाणिकरणकर्ताले फोहोर स्वीकार गर्न सक्छ। यदि केवल नकारात्मक जाँच गरियो भने, एक अत्यधिक कडा प्रमाणिकरणकर्ताले मान्य काम अस्वीकार गर्न सक्छ।.

पुन: प्रयास सीमा सहितको आलोचना र मर्मत लूपले लगभग छुटेका हरेक कार्यहरूलाई तुरुन्तै खारेज गर्नुको सट्टा असफल हुने कार्यहरू समाधान गर्ने प्रयास गर्दछ। पुन: प्रयास सीमाहरू महत्त्वपूर्ण छन्: अनन्त मर्मतले चेकलिस्ट पास गर्न बढ्दो कृत्रिम अवरोधहरू आविष्कार गर्न सक्छ।.

ब्याच-स्तरीय मेटा-समीक्षाले त्यसपछि कभरेज, विविधता, रिडन्डन्सी, र असफल लक्ष्यहरूको लागि सेटभरि हेर्छ। नमुना गेटहरूले व्यक्तिगत वस्तुहरूलाई राम्रो राख्छन्; ब्याच समीक्षाले पाठ्यक्रमलाई एउटा साँघुरो असफलता मोडमा क्लस्टर हुन वा लगभग डुप्लिकेटहरू क्लोन गर्नबाट बचाउँछ।.

यी नियन्त्रणहरूले किन पाइपलाइनले फिटको विकल्पको रूपमा भोल्युमलाई व्यवहार नगरी हजारौं नमूनाहरू उत्पादन गर्न घण्टा खर्च गर्न सक्छ भनेर व्याख्या गर्दछ। गति डोमेन र शिक्षक आकार अनुसार फरक हुन्छ, तर QC कथा एकरूप छ: कठिनाई ब्यान्ड, सकारात्मक र नकारात्मक प्रमाणीकरण, सीमाहरूसँग मर्मत, त्यसपछि मेटा-समीक्षा।.

कच्चा असफलताहरू बनाम कार्डहरू बनाम मान्य SFT सेटहरू

यसले प्रत्येक कलाकृति के को लागि राम्रो छ भनेर तुलना गर्न मद्दत गर्दछ। कच्चा विफलता लगहरू निदानात्मक हुन्। क्षमता कार्डहरू जेनेरेटिभ अनुबंधहरू हुन्। मान्य पर्यवेक्षित फाइन-ट्यूनिंग सेटहरू तपाईंले अभ्यासमा तालिम दिनुहुन्छ।.

EnterpriseOps जिममा हाइब्रिड र ITSM स्न्यापसटहरूमा, लेखक-रिपोर्ट गरिएका रनहरूले Gemma-4-26B-A4B-it लाई लक्ष्यको रूपमा प्रयोग गरे। हाइब्रिडले त्यो लक्ष्यलाई Qwen3.8-27B सँग शिक्षकको रूपमा जोडा बनायो र लगभग १८ घण्टामा लगभग २००० हाइब्रिड नमूनाहरू, जुन epoch 5 मा उत्कृष्ट चेकपोइन्ट थियो। मीन पास@१ ७.२ प्रतिशत अंकले बढ्यो - लगभग ३५ प्रतिशत सापेक्षिक - प्रमाणिकरण सफलता ६३.०१ प्रतिशतबाट ६८.५५ प्रतिशतमा सर्दै, Pass@१ अन्तरको लगभग ५९ प्रतिशतलाई सन्दर्भ मोडेलमा बन्द गर्दै।

ITSM ले शिक्षकको रूपमा DeepSeek-V4.1-Flash सँग समान लक्ष्य जोड्यो र लगभग ६६ घण्टामा लगभग १,९९४ नमूनाहरू, आंशिक रूपमा ठूलो शिक्षकको कारणले गर्दा र केही पाइपलाइन अप्टिमाइजेसनहरू अझै ठाउँमा नभएकाले। Mean Pass@1 १८.७७ प्रतिशतबाट २७.१८ प्रतिशतमा सर्यो।

परीक्षण गरिएका डोमेनहरूको लागि यस जिममा कम्पनी अनुसन्धान परिणामहरूको रूपमा यी संख्याहरू पढ्नुहोस् - स्वतन्त्र तेस्रो-पक्ष प्रतिकृतिको रूपमा होइन, र विश्वव्यापी उद्यम ग्यारेन्टीको रूपमा होइन। शिक्षकको शक्ति, प्रमाणिकरणकर्ता गुणस्तर, र वातावरण निष्ठा लाइनमा हुँदा लाभहरू बाँच्छन्।.

अभ्यासकर्ताहरूले लूपबाट के नक्कल गर्नुपर्छ

तपाईंको स्ट्याक ServiceNow को अनुसन्धान पाइपलाइन नभए पनि, ढाँचा स्थानान्तरण हुन्छ। उत्पादन-जस्तो लक्ष्य र एक विश्वासयोग्य स्यान्डबक्समा एक बलियो शिक्षकको जोडी मूल्याङ्कनबाट सुरु गर्नुहोस्। कन्ट्रास्ट असफलताहरूलाई क्षमता कार्डहरूमा रूपान्तरण गर्नुहोस् जसले पहिचानकर्ताहरू र प्रक्षेपणहरू हटाउँछ। आवश्यक अन्तिम-अवस्था गुणहरू संरक्षण गर्दै अनुमति दिइएको आयामहरू भिन्न हुने कार्यहरू उत्पन्न गर्नुहोस्। शिक्षकलाई सफलताहरू प्रदर्शन गर्न लगाउनुहोस्। कठिनाई ब्यान्डहरू, सकारात्मक र नकारात्मक प्रमाणीकरण, सीमित मर्मत, र ब्याच विविधता समीक्षाको साथ गेट। फाइन-ट्यून गर्नुहोस्, पुन: मूल्याङ्कन गर्नुहोस्, र सीमा परिवर्तन गर्नुहोस्।.

प्रमाणिकरणकर्ता डिजाइनमा विशेष ध्यान दिनुहोस्। इन्टरप्राइजओप्स जिम-शैली SQL परिणाम जाँचहरू र नीति-शासित अप्सले स्टेटफुल कामको लागि च्याट रुब्रिकहरू आफैंमा किन कमजोर छन् भनेर चित्रण गर्दछ। यदि तपाईंको प्रमाणिकरणकर्ताले सही फाइनलबाट उत्परिवर्तित गलत परिणामहरू भन्न सक्दैन भने, सिंथेटिक स्केलले आवाजलाई बढाउँछ।.

गुणन नियम भावनालाई पनि सम्मान गर्नुहोस्: स्वीकृत लक्ष्यहरूको भेरियन्टहरूले जाँच गरिएको कोरहरूमा फर्केर नआएसम्म अनन्त रूपमा थप भेरियन्टहरू बीउ गर्नु हुँदैन। बहाव शान्त छ। बिस्तारै थप विदेशी अवरोधहरू आविष्कार गर्ने पाठ्यक्रमले अझै पनि उथले फिल्टरहरू पास गर्न सक्छ जबकि मूल क्षमतालाई कम प्रशिक्षित छोड्छ।.

अन्तमा, हाइब्रिड क्रस-डोमेन कार्यलाई प्रथम श्रेणीको तनावको मामलाको रूपमा व्यवहार गर्नुहोस्। दैनिक प्रयोगकर्ताहरू एउटै उपकरण साइलो भित्र बस्दैनन्। हाइब्रिड कार्यहरू, लामो-क्षितिज प्रक्षेपणहरू, र अस्वीकार वा असम्भवता परीक्षण ती हुन् जहाँ वातावरणीय क्षमता देखा पर्दछ - वा ठूलो स्वरमा असफल हुन्छ।.

चेतावनीहरू, सीमाहरू, र लाभहरूको ध्यानपूर्वक पढाइ

EnterpriseOps जिममा लेखक-रिपोर्ट गरिएका नतिजाहरू जानकारीमूलक संकेतहरू हुन्, कम्बल वारेन्टी होइनन्। प्रकाशित हाइब्रिड र ITSM लाभहरू वर्णन गरिएको सेटअप अन्तर्गत ती डोमेनहरू र मोडेल जोडीहरूमा लागू हुन्छन्। अन्य डोमेनहरू, कमजोर शिक्षकहरू, शोर प्रमाणिकरणकर्ताहरू, वा उथले वातावरण निष्ठाले लाभलाई संकुचित गर्न वा मेटाउन सक्छ।.

गुणस्तर तीन स्तम्भहरूमा निर्भर गर्दछ जुन कुनै पनि मार्केटिङ ग्लोसले छोड्न सक्दैन। शिक्षकको शक्तिले प्रदर्शनको लागि सीमा सेट गर्दछ। प्रमाणकको गुणस्तरले लेबल र फिल्टरहरूको विश्वसनीयता सेट गर्दछ। वातावरणीय निष्ठाले सिकेका व्यवहारहरू उत्पादन प्रणाली, नियमहरू, र डेटा अवस्थाको सम्पर्कमा टिक्छन् कि छैनन् भनेर निर्धारण गर्दछ।.

AutoSynthData का प्रयोगहरूले पर्यवेक्षित फाइन-ट्युनिङमा जोड दिन्छन्। रिपोर्ट गरिएको काममा डेलिभर गर्नुको सट्टा योजनाबद्ध रूपमा, सुदृढीकरण सिकाइलाई उही लूपको सम्भावित पछिको प्रयोगको रूपमा उल्लेख गरिएको छ। पाठकहरूले पाठ्यक्रम-तयार डेटा इन्जिनलाई समाप्त RL प्रशिक्षण दावीसँग मिसाउनु हुँदैन।.

न त पाठकहरूले संश्लेषण पाइपलाइनलाई बेन्चसँग नै भ्रमित गर्नु पर्छ। इन्टरप्राइजओप्स जिमले क्युरेट गरिएका कार्यहरू, उपकरणहरू, तालिकाहरू, कन्टेनराइजेसन, र प्रमाणिकरण कपडा प्रदान गर्दछ। AutoSynthData ले असफलताहरूलाई प्रशिक्षण सुनमा परिणत गर्न त्यस प्रकारको वातावरण प्रयोग गर्दछ। दुबै टुक्राहरूलाई सही रूपमा क्रेडिट गर्नुहोस्: जिमले एजेन्टहरूलाई तनाव दिन्छ; पाइपलाइनले निदान गरिएको अन्तरालहरूबाट सिकाउन सकिने कार्यहरूलाई गुणा गर्दछ।.

स्यान्डबक्स भित्र कम्प्युट र क्यालेन्डर समयमा नि:शुल्क खाजा पनि छैन। हाइब्रिड संश्लेषण लगभग दुई हजार नमूनाहरूको लागि घण्टाको क्रममा पूरा भयो; ITSM ले भारी शिक्षक र पहिलेको पाइपलाइन आकारको साथ लामो समय लियो। टोलीहरूले शिक्षक अनुमान, आलोचना वा मर्मतमा पुन: प्रयास, र प्रत्येक पाठ्यक्रम चरण पछि पुन: मूल्याङ्कनको लागि बजेट गर्नुपर्छ।.

उद्यम एजेन्ट टोलीहरूको लागि पाठ्यक्रम सोच

AutoSynthData मा सबैभन्दा गहिरो विचार विशुद्ध रूपमा उत्पादनशील भन्दा पनि पाठ्यक्रमिक हो। असफलताहरू निदान गर्छन्। कार्डहरू सारांशित गर्छन्। उत्पादन गुणन गर्छन्। QC प्रमाणित गर्दछ। SFT ले लक्ष्य अद्यावधिक गर्दछ। पुन: मूल्याङ्कनले सीमालाई सार्छ। त्यो अनुक्रमले एजेन्ट सुधारलाई एकल अफलाइन डम्प अफ ट्रेसको सट्टा वातावरण-आधारित पाठहरूको श्रृंखलाको रूपमा व्यवहार गर्दछ।.

पाठ्यक्रम सोचले नेताहरूले प्रयास कसरी बाँडफाँड गर्छन् भन्ने कुरा परिवर्तन गर्छ। थप टिकटहरू वा बढी मानव एनोटेसनहरूको लागि मात्र सोध्नुको सट्टा, भिन्नता अन्तर्गत कुन क्षमताहरू अझै पनि असफल हुन्छन् भनेर सोध्नुहोस्, ती क्षमताहरूमा सफा अन्तिम-अवस्था गुणहरू छन् कि छैनन्, र एक बलियो शिक्षकले तिनीहरूलाई विश्वसनीय रूपमा प्रदर्शन गर्न सक्छ कि छैन। यदि शिक्षक प्रायः पर्याप्त सफल हुन सक्दैन भने, सिंथेटिक SFT ले अविश्वसनीय व्यवहार सिकाउनेछ। यदि अन्तिम-अवस्था गुणहरू अस्पष्ट छन् भने, प्रमाणिकरणकर्ताहरूले मान्य रणनीतिहरूसँग झगडा गर्नेछन्।.

यसले सफलताको बारेमा कुरा गर्ने तरिकालाई पनि परिवर्तन गर्छ। हाइब्रिडमा सन्दर्भ मोडेलमा Pass@1 अन्तरको अंश बन्द गर्नु, वा लेखक-रिपोर्ट गरिएका रनहरूमा ITSM Pass@1 लाई उच्च किशोरावस्थाबाट उच्च बीसको दशकमा उठाउनु, मापन गरिएको वातावरणीय क्षमतामा प्रगति हो। यो प्रमाण होइन कि प्रत्येक कार्यप्रवाह, प्रत्येक नीति, वा प्रत्येक अस्वीकारको मामला समाधान हुन्छ। गतिशील सीमान्त भाषा राख्नुहोस्: बाँकी अन्तरहरू अर्को लक्ष्य चरण बन्छ, पछिको विचार स्लाइड होइन।.

कार्यक्रम डिजाइनको लागि, यो लूपलाई मानव समीक्षासँग जोड्नुहोस् जहाँ दांव उच्च हुन्छ - सुरक्षा नीतिहरू, अपरिवर्तनीय कार्यहरू, नियमन गरिएको डेटा - जबकि स्वचालित गेटहरूलाई राम्रोसँग निर्दिष्ट राज्य जाँचहरूमा भोल्युम बोक्न अनुमति दिँदै। सिंथेटिक डेटाले राम्रोसँग काम गर्छ जब वातावरणले SQL जस्तो स्पष्टताको साथ हो वा होइन भन्न सक्छ। सफलता व्यक्तिपरक स्वाद हुँदा यो संघर्ष गर्छ।.

कठिनाई, यथार्थवाद, र अस्वीकारमा डिजाइन नोटहरू

कठिनाइलाई लक्षित गर्ने कुरालाई दोस्रो पटक हेर्नु आवश्यक छ। लक्ष्यले बढीमा एक तिहाइ समय समाधान गर्ने कार्यहरूलाई प्राथमिकता दिनाले तालिमलाई सामान्य ज्ञानबाट टाढा राख्छ। शिक्षकलाई कम्तिमा दुई तिहाइ समय सफल हुन आवश्यक पार्नाले डेमोहरूलाई सिक्का उल्ट्याउनबाट टाढा राख्छ। त्यो ब्यान्ड चुनौती र सिक्ने क्षमता बीचको व्यावहारिक सम्झौता हो।.

यथार्थवाद अझै पनि नरम मापदण्ड हो तर अझै पनि आवश्यक छ। उद्यम प्रयोगकर्ताहरूले आफ्नो भूमिका र प्रणालीसँग मिल्ने चीजहरू माग्छन्। कठोरताद्वारा निर्देशित जेनेरेटरहरूले विस्तृत बहु-अवरोध पजलहरू आविष्कार गर्न सक्छन् जुन कुनै पनि अपरेटरले अनुरोध गर्दैन। चर आयामहरू सूचीबद्ध गर्ने क्षमता कार्डहरूले मद्दत गर्दछ, तैपनि मानव वा मेटा-समीक्षाले अझै पनि वास्तविक संकेतहरू समात्न आवश्यक छ।.

अस्वीकार र असम्भवता परीक्षणलेटोलीहरूलाई सम्झाउँछ कि क्षमताले होइन भन्नु समावेश गर्दछ। पूरा गर्न सकिने कार्यहरूको लागि मात्र अनुकूलित पाइपलाइनले अस्वीकारलाई कम तालिम दिन सक्छ। AutoSynthData-शैली लूपहरू विस्तार गर्दा, कार्डहरू समावेश गर्नुहोस् जहाँ सही अन्तिम गुण नीति अन्तर्गत सुरक्षित गिरावट हो, डाटाबेस अवस्थाको सफल उत्परिवर्तन मात्र होइन।

लामो-क्षितिज स्टेटफुल ट्र्याजेक्टोरीहरूले अर्को डिजाइन नोट उठाउँछन्। शिक्षक डेमोहरू धेरै उपकरण कलहरूमा सुसंगत रहनुपर्छ। अन्तिम तालिका पङ्क्ति मात्र जाँच गर्ने प्रमाणिकरणकर्ताहरूले मध्यवर्ती नीति ब्रेकहरू छुटाउन सक्छन्। प्रमाणिकरण डिजाइनमा पूर्णता भनेको त्यो क्षमताको लागि सफलतालाई साँच्चै परिभाषित गर्ने गुणहरू समेट्नु हो - अन्तमा मात्र नभई सम्पूर्ण रूपमा सत्य रहनु पर्ने बाधाहरू सहित।.

समापन सारांश

AutoSynthData, ServiceNow CoreAI / ServiceNow-AI बाट र Esakkivel Esakkiraja द्वारा सार्वजनिक लेखनमा लेखिएको, एक पाइपलाइन हो जसले लक्ष्य-एजेन्ट असफलताहरू र शिक्षक सफलताहरूलाई उद्यम वातावरणको लागि मान्य सिंथेटिक प्रशिक्षण कार्यहरूमा परिणत गर्दछ। यसले असफलताहरूलाई सेनिटाइज्ड क्षमता-विशिष्ट कार्डहरूमा सारांशित गर्दछ, मूल प्रम्प्टहरू वा प्रक्षेपणहरू चुहावट नगरी नयाँ कार्यहरू उत्पन्न गर्दछ, शिक्षक प्रदर्शनहरू सङ्कलन गर्दछ, र पर्यवेक्षित फाइन-ट्यूनिंग अघि नमूना-स्तर र ब्याच-स्तर गुणस्तर नियन्त्रण लागू गर्दछ।.

व्यावहारिक मानसिक मोडेल भनेको प्रणाली विशिष्टता, प्रयोगकर्ता प्रम्प्ट, र प्रमाणिकरणकर्ताको रूपमा कार्य हो - सम्भाव्यता, यथार्थवाद, र तनावमा राखिएको कठिनाईको साथ, र प्रमाणिकरणकर्ताहरू जुन न त धेरै ढिलो छन् न त एउटै मार्गमा लक छन्। लक्ष्य त्यसपछि गुणन चरणहरू, गुणन नमूनाहरूको लागि नो-फर्दर-बीज नियम, साझा नियन्त्रक प्लस वातावरण एडाप्टर, र पोस्ट-SFT पुनर्मूल्याङ्कनले बाँकी खाली ठाउँहरूमा एक गतिशील सीमा सिर्जना गर्दछ।.

EnterpriseOps जिममा, लेखक-रिपोर्ट गरिएको हाइब्रिड नतिजाहरू Gemma-4-26B-A4B-it र Qwen3.8-27B सँग लगभग अठार घण्टामा लगभग दुई हजार नमूनाहरू र अर्थपूर्ण Pass@1 र verifier-success लिफ्टहरू देखाउँछन्, जसले सन्दर्भ मोडेलमा अन्तरको ठूलो हिस्सा बन्द गर्दछ। शिक्षकको रूपमा DeepSeek-V4.1-Flash सँग ITSM ले Pass@1 लाई लामो समयसम्म लगभग १,९९४ नमूनाहरूमा १८.७७ प्रतिशतबाट २७.१८ प्रतिशतमा बढेको देखाउँछ। ती तथ्याङ्कहरूलाई शिक्षक, verifier, र वातावरण निष्ठा मा निर्भर, विशिष्ट डोमेनहरूमा अनुसन्धान गरिएका संकेतहरूको रूपमा व्यवहार गर्नुहोस् - र सुदृढीकरण सिकाइलाई लूपको योजनाबद्ध विस्तारको रूपमा राख्नुहोस्, समाप्त दावी होइन।.

यदि तपाईंलाई एउटा वाक्य याद छ भने: उद्यम एजेन्टहरूले सुधार गर्छन् जब असफलताहरू अमूर्त, गुणा, प्रमाणित पाठहरू प्रणाली भित्र हुन्छन् जुन तिनीहरूले दिनहुँ सञ्चालन गर्नुपर्छ - जब टोलीहरूले उही भाँचिएको टिकट मात्र पुन: प्ले गर्छन् तब होइन।.

व्यावहारिक उदाहरण: जमेको जिम-शैलीको असफलता सेटबाट कडा ITSM केसहरू विस्तार गर्दै

परिदृश्य

बेलायतको एउटा इन्टरप्राइज प्लेटफर्म टोली - परिवर्तन विन्डोज, CMDB सम्बन्ध, र नीति-गेटेड ट्रान्जिसनहरू सहित ServiceNow-शैली ITSM चलाउने मध्यम आकारको वित्तीय-सेवा अप्स समूहको विचार गर्नुहोस् - सँग उत्पादन-जस्तो एजेन्ट छ जसले कामको एउटै वर्गमा ठेस लगाउँछ: क्रस-टेबल अपडेटहरू जसले अनुमोदन पूर्वावश्यकतालाई सम्मान गर्नुपर्छ, ज्ञान-लेख लुकअपहरू जुन स्थानीय परिवर्तनसँग द्वन्द्वमा छन्, र हाइब्रिड सोध्छन् जसले ITSM लाई छेउछाउका अप्स उपकरणहरूमा पार गर्दछ।.

तिनीहरूले एक निजी इन्टरप्राइजओप्स जिम-शैली सुइट (कन्टेनराइज्ड स्यान्डबक्स, SQL परिणाम जाँचहरू, सिडेड तालिकाहरू, नीति नियमहरू) फ्रिज गर्छन् ताकि स्कोरहरू हप्ता-हप्ता तुलनात्मक हुन्छन्। डायग्नोस्टिक रनहरूले लक्ष्य एजेन्ट असफल भएको देखाउँछन् जहाँ एक बलियो शिक्षक सफल हुन्छ। नेतृत्वले उही टिकट नम्बरहरू र संस्था ID हरू पुन: प्ले नगरी थप प्रशिक्षण संकेत चाहन्छ। AutoSynthData (वा यदि अनुसन्धान पाइपलाइन तिनीहरूको स्ट्याकमा गेट गरिएको छ भने समकक्ष सिन्थ-फ्रम-फेलचर लूप) उम्मेदवार हो: कन्ट्रास्ट असफलताहरूलाई सेनिटाइज्ड क्षमता-विशिष्ट कार्डहरूमा परिणत गर्नुहोस्, नयाँ कार्यहरू उत्पन्न गर्नुहोस्, शिक्षक डेमोहरू सङ्कलन गर्नुहोस्, त्यसपछि - आलोचनात्मक रूपमा - कुनै पनि पुन: तालिम अघि मानव-समीक्षा सिंथेटिक ट्रेसहरू।.

जिम पास@१ मा आफैंले केही पनि पठाउँदैन। सिन्थ डेटालाई उम्मेदवार पाठ्यक्रमको रूपमा व्यवहार गरिन्छ, नि:शुल्क सत्य होइन।.

सहायकलाई के चाहिन्छ

• जमेको जिम-शैली वातावरण एडाप्टरमा पहुँच: उपकरणहरू, बीज अवस्था, नीतिहरू, र SQL (वा समकक्ष राज्य-आधारित) प्रमाणिकरणहरू।.
• जोडी मूल्याङ्कन लगहरू: लक्ष्य असफलताहरू उही कार्यहरूमा शिक्षकको सफलतासँग तुलना गरिएको।.
• एउटा कार्ड स्कीमा जसले क्षमता, उपकरणहरू/कार्यप्रवाह आकार, असफल/सफल कन्ट्रास्ट, आवश्यक अन्तिम-अवस्था गुणहरू, र अनुमति दिइएको भिन्नता आयामहरू कैद गर्दछ - मूल प्रम्प्टहरू, संस्थाहरू, प्रक्षेपणहरू, वा प्रमाणिकरण आन्तरिकहरू बिना।.
• कुनै पनि कुरा स्यान्डबक्सबाट बाहिर निस्कनु अघि वा जेनेरेटर प्रम्प्टमा प्रवेश गर्नु अघि PII र नीति स्क्रब नियमहरू (टिकट आईडी, प्रयोगकर्ता नाम, CI नाम, नियमन गरिएका क्षेत्रहरू)।.
• नमूना गरिएका सिंथेटिक कार्यहरू र शिक्षक ट्रेसहरू (सम्भाव्यता, यथार्थवाद, प्रमाणिकरणकर्ताको सुदृढता, अस्वीकार/असम्भाव्यताका केसहरू) को लागि मानव समीक्षा लाम।.
• खाली रोक अवस्थाहरू: लक्षित गर्नुहोस् त्यसपछि गुणन चरणहरू; गुणन गरिएका नमूनाहरूले थप गुणन राउन्डहरू बीज गर्दैनन्।.

उदाहरण निर्देशन

प्लेटफर्मले पाठ्यक्रम अपरेटर (वा कार्डहरू र समीक्षा प्याकहरू मात्र ड्राफ्ट गर्ने अर्केस्ट्रेसन सहायकलाई) तर्फ लैजान्छ - यसले मोडेलहरूलाई पुन: तालिम वा प्रवर्द्धन गर्दैन):

"हाम्रो हालको लक्ष्य र तोकिएको शिक्षक विरुद्ध फ्रिज गरिएका ITSM र हाइब्रिड स्लाइसहरूमा डायग्नोस्टिक पास@१ चलाउनुहोस्। लक्ष्य असफल हुँदा र शिक्षक कम्तिमा तीन मध्ये दुई परीक्षणमा सफल हुँदा प्रत्येक कन्ट्रास्टको लागि, सेनिटाइज्ड क्षमता-विशिष्ट कार्ड ड्राफ्ट गर्नुहोस्: क्षमताको नाम दिनुहोस्, सान्दर्भिक उपकरणहरू सूचीबद्ध गर्नुहोस्, आवश्यक अन्तिम-अवस्था गुणहरू सूचीबद्ध गर्नुहोस्, र नियन्त्रणयोग्य आयामहरू सूचीबद्ध गर्नुहोस् (प्राथमिकता ब्यान्ड, सम्बन्धित CI वर्ग, परिवर्तन-विन्डो झण्डा, ज्ञान द्वन्द्व प्रकार)। टिकट नम्बरहरू, प्रयोगकर्ता पहिचानकर्ताहरू, CI नामहरू, र कच्चा प्रक्षेपणहरू स्ट्रिप गर्नुहोस्। ती कार्डहरूबाट मात्र नयाँ कार्यहरूको लक्ष्य-चरण ब्याच उत्पन्न गर्नुहोस्। शिक्षकलाई सफलताहरू प्रदर्शन गर्न लगाउनुहोस्। कठिनाई ब्यान्ड (लक्ष्य ≤1/3, शिक्षक ≥2/3), सकारात्मक र नकारात्मक प्रमाणीकरण, र सीमित आलोचना/मर्मत लागू गर्नुहोस्। 5% स्तरीकृत नमूनाहरू र प्रत्येक अस्वीकार/असम्भव्यता कार्डको समीक्षा प्याक उत्पादन गर्नुहोस्। दुई समीक्षकहरूले प्याकमा साइन अप नगरेसम्म र PII स्क्रब जाँचहरू पास नभएसम्म SFT सुरु नगर्नुहोस्। उम्मेदवार चेकपोइन्टमा SFT पछि, फ्रिज गरिएको सुइटमा र हामीले जेनेरेसनको लागि कहिल्यै प्रयोग नगरेको होल्डआउट सटीक-मिलान सेटमा पुन: मूल्याङ्कन गर्नुहोस्। रिपोर्ट गर्नुहोस् "अघिल्लो उत्पादन चेकपोइन्टको तुलनामा असफलता वर्ग र प्रतिगमन दर द्वारा कभरेज। जिम स्कोरमा आफैंले प्रचार नगर्नुहोस्।"

यसलाई कसरी परीक्षण गर्ने

1. आधारभूत लक: असफलता वर्ग (पूर्व-आवश्यक अर्डरिङ, परिवर्तन-विन्डो अस्वीकार, हाइब्रिड क्रस-उपकरण, ज्ञान द्वन्द्व) द्वारा फ्रोजन सुइटमा Pass@1 र प्रमाणिकरणकर्ता-सफलता दरहरू रेकर्ड गर्नुहोस्। चक्रको लागि सुइट र बीउहरू अपरिवर्तनीय राख्नुहोस्।
2. कार्ड अडिट: जेनेरेटरहरूले कहिल्यै पनि मौलिक प्रम्प्ट, संस्था, वा शिक्षकका लागि मात्र कार्डहरू प्राप्त गर्दैनन् भनी स्पट-चेक गर्नुहोस्।
3. नमुना QC: सकारात्मक प्रक्षेपणहरू प्रमाणिकरणकर्ताहरू पास गर्छन् र उत्परिवर्तित गलत परिणामहरू असफल हुन्छन् भनी पुष्टि गर्नुहोस्। लक्ष्यको लागि तुच्छ वा शिक्षकको लागि सिक्का-फ्लिप कार्यहरू अस्वीकार गर्नुहोस्।
4. मानव समीक्षा: समीक्षकहरूले प्रत्येक नमूनालाई सम्भाव्यता, यथार्थवाद, र नीति सुरक्षाको आधारमा राख्ने / मर्मत गर्ने / छोड्ने रूपमा चिन्ह लगाउँछन्। साझा उपसमूहमा अन्तर-समीक्षक सम्झौता ट्र्याक गर्नुहोस्।
5. होल्डआउट एक्स्टेक्ट-म्याच: क्यान्डिडेट SFT पछि, कार्डिङ वा जेनेरेसनमा कहिल्यै इनपुट नभएका वास्तविक (वा पहिले स्थिर) कार्यहरूको होल्डआउट स्कोर गर्नुहोस्। उथले कण्ठस्थता पत्ता लगाउन प्रशिक्षण कार्यहरूको नजिक-प्याराफ्रेजहरू छुट्टै स्कोर गर्नुहोस्।
6. रिग्रेसन गेट: अघिल्लो उत्पादन चेकपोइन्टको तुलनामा बिग्रने कुनै पनि असफलता वर्गले व्याख्या वा समाधान नभएसम्म पदोन्नतिलाई रोक्छ।

नतिजा

यहाँ बेक-अफ प्रतिशतहरू आविष्कार नगर्नुहोस्। मापन योजना प्रयोग गर्नुहोस् र प्रकाशित अनुसन्धान तथ्याङ्कहरूलाई उद्धृत गर्दा लेख दावीको रूपमा लेबल गर्नुहोस्।

मापन योजना (यस टोलीले के रिपोर्ट गर्नुपर्छ):

• असफलता-वर्ग कभरेज: QC पछि ≥N स्वीकृत लक्ष्य-चरण कार्यहरू उत्पादन गर्ने निदान गरिएको अन्तर वर्गहरूको अंश (अगाडि N परिभाषित गर्नुहोस्, जस्तै प्रति वर्ग २० स्वीकृत कार्यहरू)।
• होल्डआउट एक्स्टेक्ट-म्याच: पास@१ / उम्मेदवार SFT भन्दा पहिले बनाम पछिको अछुतो होल्डआउटमा प्रमाणिकरणकर्ता सफलता (उही बीज, उही प्रमाणिकरणकर्ता)।
• रिग्रेसन दर: पहिलेको उत्पादन चेकपोइन्टको तुलनामा Pass@1 खस्ने असफलता वर्गहरूको गणना; यदि कुनै सुरक्षा-महत्वपूर्ण वर्ग रिग्रेसन भयो भने रोक्नुहोस्।
• समीक्षा उपज: मानव समीक्षा प्याकमा दरहरू राख्नुहोस् / मर्मत गर्नुहोस् / ड्रप गर्नुहोस्; यदि ड्रप दर बढ्यो भने, रोक्नुहोस् गुणन गर्नुहोस् र कार्डहरू वा प्रमाणिकरणहरू ठीक गर्नुहोस्।
• स्क्रब असफलताहरू: समीक्षा साइन-अफ हुनुभन्दा पहिले PII/नीति जाँचहरू असफल भएका नमूनाहरूको संख्या (लक्ष्य: SFT सेटमा शून्य भाग)।

लेख दाबी (EnterpriseOps Gym मा लेखक-रिपोर्ट गरिएको - यो टोलीको मापन गरिएको नतिजा होइन): Gemma-4-26B-A4B-it लाई लक्ष्यको रूपमा र Qwen3.8-27B लाई शिक्षकको रूपमा लिएर हाइब्रिड दौडले लगभग १८ घण्टामा लगभग २००० नमूनाहरू उत्पादन गर्‍यो, जसमा औसत Pass@1 ले लगभग ७.२ प्रतिशत अंक बढ्यो र प्रमाणिकरण सफलता ६३.०१% बाट ६८.५५% मा सर्यो। शिक्षकको रूपमा DeepSeek-V4.1-Flash सँग ITSM ले लामो दौड (~६६ घण्टा) मा लगभग १,९९४ नमूनाहरूमा औसत Pass@1 लाई १८.७७% बाट २७.१८% मा सार्यो। ती विशिष्ट डोमेनहरू र जोडीहरूमा अनुसन्धान गरिएका संकेतहरूको रूपमा व्यवहार गर्नुहोस्, UK उत्पादन स्ट्याकको लागि विश्वव्यापी ग्यारेन्टी होइन।

उदाहरणात्मक कार्यक्रमको आकार (धारणाहरू, मापन गरिएको लाभ होइन): यदि टोलीले एक ITSM चक्रको लागि ~२,००० QC-गेटेड नमूनाहरू स्वीकार गर्छ, शिक्षक अनुमान र समीक्षालाई ५% स्तरीकृत नमूनामा बजेट गर्छ, र होल्डआउटले सुरक्षा-महत्वपूर्ण कक्षाहरूलाई रिग्रेस नगरेको बेला मात्र प्रवर्द्धन गर्छ भने, तिनीहरूले सीधा अनुहारको साथ दाबी गर्न सक्ने "परिणाम" प्रक्रिया परिपक्वता हो - अडिट गरिएको पाठ्यक्रम, स्क्रब गरिएको ट्रेसहरू, र तुलनात्मक फ्रोजन-सुइट डेल्टाहरू - प्रतिज्ञा गरिएको प्रतिशत लिफ्ट होइन।

के बिग्रन सक्छ?

• सिन्थलाई नि:शुल्क सत्यको रूपमा व्यवहार गर्ने: मानव समीक्षा वा नकारात्मक प्रमाणीकरण छोड्दा अनुमति दिने प्रमाणिकरणकर्ताहरूले ठूलो मात्रामा फोहोर स्वीकार गर्छन्।
• इकाई चुहावट: जेनेरेटरमा मूल टिकट आईडी वा शिक्षक ट्रेसहरू फिड गर्दा प्याराफ्रेज ओभरफिटिंग आमन्त्रित हुन्छ; त्यसलाई रोक्न कार्डहरू अवस्थित छन्।
• असीमित गुणन: गुणन गरिएका नमूनाहरूलाई थप राउन्डहरू बीज गर्न दिनु नाम दिइएको क्षमताबाट टाढा जान्छ।
• जिम-स्कोर ढुवानी: फ्रोजन-सुइट पास@१ बढेको कारणले प्रचार गरिएको छ जबकि होल्डआउट वा उत्पादन छाया ट्राफिक बिग्रियो।
• कमजोर शिक्षक सीमा: यदि शिक्षकले ≥२/३ सफलता ब्यान्ड पास गर्न सक्दैन भने, SFT ले अविश्वसनीय डेमोहरू सिकाउँछ।
• अस्पष्ट प्रमाणिकरणहरू: राज्य-आधारित जाँचहरूको सट्टा च्याट रुब्रिक्सले धाराप्रवाह गलत फाइनलहरूलाई सफलताको रूपमा ग्रेड गर्दछ।
• तालिमको अभावमा अस्वीकार: पूर्ण उत्परिवर्तनको लागि मात्र अनुकूलन गर्नाले परिवर्तनको ढोका खुम्चिन्छ र नीतिगत गिरावट कमजोर हुन्छ।
• PII एस्केप: सिंथेटिक प्रम्प्टहरू जसले उथले स्क्रब पछि वास्तविक CI वा प्रयोगकर्ता नामहरू पुन: परिचय गराउँछ।

व्यावहारिक टेकवे

यदि तपाईंको भाडामा ServiceNow CoreAI पाइपलाइन उपलब्ध छैन भने AutoSynthData-शैलीका लूपहरू - वा समतुल्य synth-from-failures ढाँचा प्रयोग गर्नुहोस् - निदान गरिएको अन्तरालहरूबाट कडा, प्रमाणित ITSM केसहरू गुणा गर्न। क्षमता कार्डहरूमा सेनिटाइज गर्नुहोस्, कठिनाई भएको गेट र सकारात्मक/नकारात्मक प्रमाणीकरण, PII स्क्रब गर्नुहोस्, र SFT अघि मानव-समीक्षा नमूनाहरू। असफलता-वर्ग कभरेज, होल्डआउट सटीक-मिलान, र रिग्रेसन दर मापन गर्नुहोस्। लेख दावी जिम तथ्याङ्कहरू केवल बाह्य अनुसन्धान सन्दर्भको रूपमा उद्धृत गर्नुहोस्। सिन्थ डेटा पाठ्यक्रम इन्धन हो, वारेन्टी होइन: लेखा परीक्षण नमूनाहरू, निष्पक्ष तुलनाको लागि सुइट फ्रिज राख्नुहोस्, र जिम स्कोरमा कहिल्यै नपठाउनुहोस्।.

सोधिने प्रश्न

AutoSynthData के हो र यसले कुन समस्यालाई लक्षित गर्छ?

AutoSynthData एउटा ServiceNow CoreAI / ServiceNow-AI पाइपलाइन हो, जसलाई Esakkivel Esakkiraja द्वारा वर्णन गरिएको छ, जसले लक्षित एजेन्टको असफलतालाई बलियो शिक्षकको जितसँग मिलाएर उद्यम सेटिङहरूको लागि मान्य सिंथेटिक प्रशिक्षण कार्यहरूमा राख्छ। यसले व्यापक सामान्य ज्ञानको सट्टा वातावरणीय क्षमता - स्थानीय नीतिहरू, योजनाहरू, उपकरणहरू र राज्य - मा शून्य बनाउँछ। मुख्य कुरा भनेको कडा, जाँच गर्न मिल्ने कामलाई गुणा गर्नु हो ताकि पर्यवेक्षित फाइन-ट्युनिङले उही भाँचिएको टिकट पुन: प्ले गर्नुको सट्टा वातावरण-विशिष्ट खाडलहरू प्याच गर्न सकोस्।.

वातावरणीय क्षमता किन व्यापक मोडेल क्षमताभन्दा फरक छ?

इन्टरप्राइज एजेन्टहरू प्रायः ठेस खान्छन् किनभने वातावरण आफैंमा विशिष्ट हुन्छ: टिकट नीतिहरू, स्कीमा क्विर्कहरू, उपकरण सम्झौताहरू, सिडेड डाटाबेसहरू, र क्रस-सिस्टम कार्यप्रवाहहरू। खुला बेन्चमार्कहरूमा बलियो देखिने मोडेल अझै पनि परिवर्तन विन्डो, CMDB सम्बन्ध, वा अन्तिम अवस्था निरीक्षण गर्ने प्रमाणिकरणकर्तामा स्थिर हुन सक्छ। व्यापक क्षमता नीति-शासित संक्रमणहरू अन्तर्गत तपाईंको प्रणाली, नियमहरू, र डेटा अवस्था कसरी व्यवहार गर्छ भनेर जान्नु जस्तै होइन।.

AutoSynthData ले प्रयोग गर्ने व्यावहारिक कार्य आकार के हो?

कार्ययोग्य आकार भनेको कार्य प्रणाली विशिष्टता, प्रयोगकर्ता प्रम्प्ट, र प्रमाणिकरणकर्ता बराबर हो। प्रणाली विशिष्टतामा बाधाहरू, नीतिहरू, र डाटाबेस बीजहरू र ज्ञान लेखहरू जस्ता प्रारम्भिक अवस्थाहरू हुन्छन्। प्रयोगकर्ता प्रम्प्टहरूलाई सम्भाव्यता, यथार्थवाद र कठिनाईको लागि स्कोर गरिन्छ। प्रमाणिकरणकर्ताहरू आदर्श रूपमा SQL-आधारित वा राज्य-आधारित परिणाम जाँचहरूमा भर पर्छन् ताकि तिनीहरूले एजेन्टले कार्य गरेपछि संसारलाई ग्रेड गर्छन्, केवल सही टोकन मार्ग मात्र होइन।.

सेनिटाइज्ड क्षमता-विशिष्ट कार्डहरूले ओभरफिटिंगलाई कसरी रोक्छन्?

लक्ष्य असफल हुँदा र शिक्षक सफल हुँदा डायग्नोस्टिकले कन्ट्रास्ट चलाउँछ, त्यसपछि ती केसहरूलाई सेनिटाइज्ड क्षमता-विशिष्ट कार्डहरूमा डिस्टिल्ड गर्छ। कार्डले क्षमता, उपकरणहरू वा कार्यप्रवाह आकार, असफल/सफल कन्ट्रास्ट, आवश्यक अन्तिम-अवस्था गुणहरू, र फरक हुन सक्ने आयामहरू रेकर्ड गर्दछ। जेनेरेटरले कहिल्यै पनि मौलिक प्रम्प्टहरू, संस्थाहरू, प्रक्षेपणहरू, वा प्रमाणिकरण विवरणहरू देख्दैन - केवल कार्डहरू - त्यसैले ताजा कार्यहरूले कण्ठित एपिसोडलाई व्याख्या नगरी हार्ड कोरमा थिच्छन्।.

पाइपलाइनमा लक्ष्य र गुणन चरणहरू के के हुन्?

लक्ष्य चरणले खाली ठाउँहरू वरिपरि कोर जाँच गरिएका नमूनाहरूमा ध्यान केन्द्रित गर्दछ - कमजोर एजेन्टले तोड्ने ठाउँ नजिकैको उच्चतम-संकेत कार्यहरू। गुणन चरणले स्वीकृत लक्ष्यहरूको नयाँ रूपहरू घुमाउँछ। गुणन गरिएका नमूनाहरूले थप गुणन राउन्डहरू बीज गर्न सक्दैनन्, जसले नाम दिइएको क्षमताबाट बहावलाई नियन्त्रणमा राख्छ। पर्यवेक्षित फाइन-ट्युनिङ पछि, पुनर्मूल्याङ्कनले पाठ्यक्रमलाई स्थिर डम्पको सट्टा गतिशील सीमाको रूपमा बाँकी रहेका खाली ठाउँहरू तर्फ सार्छ।.

नमूना-स्तर गुणस्तर नियन्त्रणले सिंथेटिक कार्यहरूलाई कसरी विश्वसनीय राख्छ?

समाधानकर्ता कठिनाई फिल्टरले लक्ष्यले तीन मध्ये बढीमा एउटा परीक्षणमा समाधान गर्ने कार्यहरूलाई समर्थन गर्दछ जबकि शिक्षक कम्तिमा तीन मध्ये दुईमा सफल हुन्छ। सकारात्मक प्रमाणीकरणलाई पास गर्न सन्दर्भ प्रक्षेपण आवश्यक पर्दछ; नकारात्मक प्रमाणीकरण असफल हुन उत्परिवर्तित गलत परिणामहरू आवश्यक पर्दछ। पुन: प्रयास सीमाको साथ एक आलोचना र मर्मत लूपले लगभग-मिसहरू सुधार गर्ने प्रयास गर्दछ, र ब्याच-स्तर मेटा-समीक्षाले सेटमा कभरेज, विविधता, रिडन्डन्सी, र असफल लक्ष्यहरू जाँच गर्दछ।.

AutoSynthData ले इन्टरप्राइज डोमेनहरूमा कुन वास्तुकला प्रयोग गर्छ?

यसले साझा नियन्त्रकलाई वातावरण एडाप्टरसँग जोड्छ। नियन्त्रकले निदान, कार्डिङ, उत्पादन, शिक्षक डेमो, गुणस्तर गेट्स, र ब्याच समीक्षा चलाउँछ। एडाप्टरले ती चरणहरूलाई ठोस स्यान्डबक्स - उपकरणहरू, राज्य, नीतिहरू, र प्रमाणिकरणकर्ताहरू - मा जोड्छ ताकि एउटै नियन्त्रण लूपले पाठ्यक्रम तर्कलाई स्क्र्याचबाट पुन: लेख्न बिना फरक डोमेनहरूमा इंगित गर्न सक्छ।.

यस अनुसन्धान सन्दर्भमा इन्टरप्राइजअप्स जिम भनेको के हो?

इन्टरप्राइजओप्स जिम भनेको ठूलो स्तरको इन्टरप्राइज एजेन्ट बेन्च हो जुन तनाव परीक्षण बेडको रूपमा प्रयोग गरिन्छ, जसमा ८ डोमेनहरूमा लगभग १,१५० विशेषज्ञ-क्युरेट गरिएका कार्यहरू, लगभग ५१२ उपकरणहरू, लगभग १६४ डाटाबेस तालिकाहरू, कन्टेनराइज्ड कार्यान्वयन, SQL-आधारित परिणाम प्रमाणीकरण, नीति-शासित सञ्चालनहरू, हाइब्रिड परिदृश्यहरू, र लामो-क्षितिज स्टेटफुल ट्र्याजेक्टोरीहरू छन्। AutoSynthData त्यो जिम आविष्कार गर्ने रूपमा पिच गरिएको छैन; जिमले कार्यमा संश्लेषण लूप देखाउँछ।.

हाइब्रिड र ITSM सेटिङहरूको लागि लेखक-रिपोर्ट गरिएका परिणामहरू के देखा पर्छन्?

EnterpriseOps जिममा, हाइब्रिडले Gemma-4-26B-A4B-it लाई लक्ष्यको रूपमा र Qwen3.8-27B लाई शिक्षकको रूपमा चलाउँछ। लगभग १८ घण्टामा लगभग २००० नमूनाहरू उत्पादन गर्छ, जसमा औसत Pass@1 ले लगभग ७.२ प्रतिशत अंकले वृद्धि गर्छ र प्रमाणिकरण सफलता ६३.०१% बाट ६८.५५% मा सर्छ। शिक्षकको रूपमा DeepSeek-V4.1-Flash सँग ITSM ले लामो समयसम्म लगभग १,९९४ नमूनाहरूमा औसत Pass@1 लाई १८.७७% बाट २७.१८% मा सार्छ। ती विशिष्ट जोडीहरूमा अनुसन्धान गरिएका संकेतहरूको रूपमा व्यवहार गर्नुहोस्, विश्वव्यापी उत्पादन ग्यारेन्टी होइन।.

सिन्थ-फ्रम-फेलचर लूपहरू प्रयोग गर्दा टोलीहरूले कस्ता गल्तीहरूबाट बच्नुपर्छ?

सिंथेटिक डेटालाई नि:शुल्क सत्यको रूपमा नलिनुहोस् वा मानव समीक्षा र नकारात्मक प्रमाणीकरणलाई नछोड्नुहोस्। मूल टिकट आईडी वा शिक्षक ट्रेसहरू जेनेरेटरमा नदिनुहोस्, गुणन गरिएका नमूनाहरूलाई थप राउन्डहरू बीज गर्न दिनुहोस्, वा होल्डआउट वा छाया ट्राफिक बिग्रँदै जाँदा जिम पास@1 मा आफैं प्रचार गर्नुहोस्। सफलता ब्यान्ड मुनि कमजोर शिक्षकहरू, राज्य जाँचको सट्टा अस्पष्ट च्याट रुब्रिक्स, प्रशिक्षण अस्वीकृत केसहरू, र उथले स्क्रब पछि PII भाग्ने कुराहरू पनि हेर्नुहोस्।.

सन्दर्भ सामग्रीहरू

1. अँगालो हाल्ने अनुहार — AutoSynthData — huggingface.co
2. इन्टरप्राइजओप्स जिम — enterpriseops-gym.github.io
3. arXiv — arxiv.org
4. GitHub — EnterpriseOps-जिम — github.com