CLM-8B को लागि सोधपुछ पेश गर्नुहोस्, हामी तपाईंलाई 24 घण्टामा सम्पर्क गर्नेछौं।

CLM-8B भर्खरै हटाइयो: नयाँ खुला AI मोडेल जसले एजेन्टहरूको लागि Jev भन्दा 9× छिटो हुने दाबी गर्दछ।

छोटो उत्तर: CLM-8B एउटा खुला कन्ट्रास्टिभ ल्याङ्ग्वेज मोडेल जुन द्रुत एजेन्ट निर्णयहरूमा लक्षित छ, जसमा लेखकले Jev-वर्गका साथीहरू भन्दा लगभग 9× कम विलम्बताको दाबी गर्छन्। ती तथ्याङ्कहरू रिलीज सेटअप बाहिर अपुष्ट रहन्छन्। यदि तपाईंले कोडिङ एजेन्टहरू निर्माण गर्नुहुन्छ भने, चार्टहरूमा विश्वास गर्नु अघि यसलाई आफ्नै हार्नेसमा A/B गर्नुहोस्।

मुख्य कुराहरू:

विलम्बता दाबीहरू: अरूले पुन: उत्पादन नगरेसम्म ~9× Jev स्पीडअपलाई लेखक-रिपोर्ट गरिएको रूपमा व्यवहार गर्नुहोस्।

इभल हार्नेस: A/B परीक्षण CLM-8B गर्दा उपकरणहरू र प्रम्प्टहरू स्थिर गर्नुहोस्।

हाइब्रिड स्ट्याक: हट लूपहरूको लागि CLM प्रयोग गर्नुहोस्; नयाँ कार्यहरूको लागि ढिलो तर्क राख्नुहोस्।

खुला तौल: व्यावसायिक फोर्कहरू ढुवानी गर्नु अघि अपाचे लाइसेन्स फाइलहरू पुष्टि गर्नुहोस्।

दुरुपयोग जोखिम: एजेन्टहरूले मिलिसेकेन्डमा निर्णय गर्दा गेट उल्टाउन मिल्ने उपकरणहरू र गोप्य कुराहरू।

CLM-8B के बन्न खोजिरहेको छ ⚡

यस गिरावटलाई प्रवर्द्धन गर्ने व्यक्तिहरूले वर्णन गरेझैं, विरोधाभासी भाषा मोडेल प्रशिक्षण, अलगावमा अर्को-टोकन सम्भावनालाई अधिकतम बनाउनुको सट्टा राज्यहरू र कार्यहरूलाई जोड्ने बारे हो। स्पष्ट शब्दहरूमा: मोडेललाई "यहाँ अवस्था छ" लाई "यहाँ चाल छ" मा नक्सा गर्न धकेलिएको छ, उपन्यासकार भन्दा नीति प्रमुख जस्तै। त्यो प्रणाली १ को समानता अनुसन्धानकर्ताहरूले छिटो, सहयोगी, निर्णय-आकारको - को लागि पुगिरहन्छन् - प्रणाली २ को लामो श्रृंखला-विचारको टेनरको विपरीत जुन ठूलो स्वरमा सोच्दा टोकनहरू जलाउँछ।.

CLM-8B त्यो लाइनमा पहिलो सार्वजनिक तौल सेट हो। यो ड्रपसँगैको कभरेजमा Apache 2.0 लाइसेन्सको साथ खुला अनुसन्धान रिलीजको रूपमा अवस्थित छ, जुन तपाईं वकिल पिकनिक बिना फाइन-ट्यून, शिप, वा फोर्क गर्न चाहनुहुन्छ भने महत्त्वपूर्ण छ। ज्याकी क्वोकले कामको परिचय दिए; स्ट्यानफोर्ड-सम्बद्ध अजालिया मिर्होसेनीले यसलाई बढाए; र फराकिलो फ्रेमिङले स्ट्यानफोर्ड र NVIDIA-लिङ्क गरिएको टोली प्रयासलाई चित्रण गर्दछ। नामित अनुसन्धानकर्ताहरू, सार्वजनिक तौल, खुला कोड - बेनामी चुहावट होइन। तेस्रो-पक्ष प्रतिकृतिको लागि अझै चाँडै छ, त्यसैले शंकाको डायल "रोचक" र "मलाई स्वतन्त्र बोर्ड देखाउनुहोस्" बीच कतै राख्नुहोस्।

आकार वर्ग आठ अर्ब प्यारामिटरहरू हो, जुन प्रयोगशाला र इन्डी निर्माणकर्ताहरूले H100 समयको लागि मिर्गौला बेचे बिना यसलाई होस्ट गर्न सक्ने गरी सानो छ। पहिले नै ठूलो CLM-35B फलो-अनको बारेमा छलफल भइरहेको छ। त्यो ठूलो भाइबहिनीले विलम्बता कथा राख्छ वा गहिराइको लागि गति व्यापार गर्छ भन्ने कुरा अनिश्चित छ, तर रोडम्याप संकेत स्पष्ट छ: यो एक परिवारको लागि हो, एक पटकको डेमो कार्ड होइन।

  •  ध्यान केन्द्रित: एजेन्टहरूको लागि अवस्था → कार्य लूपहरू, निबन्ध लेखन होइन
  •  रिलिजको वरिपरि कभरेजमा अपाचे २.० को रूपमा लाइसेन्स फ्रेम गरिएको छ।
  •  शैली: प्रणाली १ / निर्णय-उन्मुख प्रशिक्षण कथा
  •  फलो-अन: योजनाको रूपमा उल्लेख गरिएको ठूलो CLM-35B

प्रणाली १ शैली बनाम सामान्य टोकन ट्रेडमिल 

तपाईंले चिन्ने धेरैजसो उत्पादन LLM हरूले एक पटकमा एउटा टोकन पाठ उत्पन्न गर्छन्। यो गद्य, कोड डम्पहरू, र सावधानीपूर्वक तर्क ट्रेसहरूको लागि राम्रो काम गर्दछ। यही कारणले गर्दा प्रति मिनेट बीस सूक्ष्म-निर्णयहरू आवश्यक पर्ने एजेन्टले मोडेल "स्मार्ट" हुँदा पनि सुस्त महसुस गर्न सक्छ। प्रत्येक चरणले स्वचालित प्रतिगमन कर तिर्छ।.

कन्ट्रास्टिभ ल्याङ्ग्वेज मोडेल पिचले जोडलाई उल्ट्याउँछ। नेटवर्कलाई उत्तरमा आफ्नो बाटो वर्णन गर्न भन्नुको सट्टा, तपाईंले यसलाई स्थिति दिइएको सही कार्यलाई प्राथमिकता दिन तालिम दिनुहुन्छ - राम्रो र नराम्रो चालहरू बीचको कन्ट्रास्टिभ पुलहरू सोच्नुहोस्, केवल धाराप्रवाह निरन्तरता मात्र होइन। निर्माणकर्ताहरूलाई पहिले नै ढाँचा थाहा छ: कहिलेकाहीँ तपाईंलाई हजार-शब्दको तर्क आवश्यक पर्दैन; तपाईंलाई rm -rf को सट्टा pytest टाइप गर्न मोडेल चाहिन्छ । फास्ट लूपहरूले त्यो भिन्नताको ख्याल राख्छन्।

यसको कुनै पनि अर्थ CLM-8B ले पाठ उत्सर्जन गर्न सक्दैन भन्ने होइन। यसको अर्थ तालिम उद्देश्य र मूल्याङ्कन कथा एजेन्टिक नियन्त्रण तर्फ ढल्केको छ। त्यो "च्याट मोडेल जसले उपकरण-कल पनि गर्न सक्छ" भन्दा फरक उत्पादन आकार हो। उद्योगले उपकरणहरूको बारेमा कुरा गर्न मोडेलहरूलाई राम्रो बनाउन वर्षौं बिताएको छ जबकि अझै पनि कुराकानीमा बाधा पुर्‍याउँछ। निर्णय-पहिलो मोडेल भनेको साइडवे चालको प्रकार हो जुन या त पछाडि हेर्दा स्पष्ट देखिन्छ वा बेन्चमार्कहरू अलमलिएमा फ्लप हुन्छ। दुवै परिणामहरू सम्भव छन्।.

दाबी गरिएको गति र बेन्च नम्बरहरू (दावीको रूपमा व्यवहार गर्नुहोस्)

यहाँ सामाजिक पोस्टहरूलाई चलाउने भाग छ: प्रवर्द्धकहरूले Jev-वर्ग मोडेलहरू भन्दा लगभग 9× छिटो अनुमानको। हल्का फाइन-ट्युनिङ पछि, तिनीहरूले बलियो एजेन्टिक कोडिङ परिणामहरू पनि रिपोर्ट गर्छन् - DeepSWE लगभग 81.6% सफलता र टर्मिनल-बेन्च 2.1 लगभग 87.6%। केही मूल्याङ्कनमा तिनीहरूले शून्य-शट प्रदर्शनलाई Jev सँग तुलनात्मक रूपमा वर्णन गर्छन् जबकि विलम्बता धेरै कम रहन्छ। रिलीज च्याटरसँग तैरिरहेको एउटा क्लस्टर सारांशले टर्मिनल बेन्च सेटिङमा लगभग 32 ms-वर्ग प्रतिक्रिया समय उद्धृत गर्‍यो। वाक्यांश जुन सावधानीपूर्वक: रिपोर्ट गरिएको र दाबी गरिएको, यस लेखमा स्वतन्त्र रूपमा लेखा परीक्षण गरिएको छैन।

यदि ती विलम्बता तथ्याङ्कहरूलाई सामान्यीकरण गरियो भने, व्यावहारिक जीत प्रति समवर्ती एजेन्ट कम GPU हरू, वा प्रति GPU बढी एजेन्टहरू हुन्। शेललाई थ्रेस गर्ने कोडिङ एजेन्टहरू विशेष गरी संवेदनशील हुन्छन् किनभने वाल-क्लक वेटिंग स्ट्याकहरू हुन्छन्; २०० मिलिसेकेन्डको निर्णय र ३० मिलिसेकेन्डको निर्णय केही सय पालो पछि फरक उत्पादनहरू जस्तै महसुस हुन्छ। प्रयोगकर्ताहरूले प्रायः "मोडेल मूर्ख भएको" दोष दिन्छन् जब तीव्र पीडा अन्तरक्रियात्मक ढिलाइ हुन्छ।.

अझै पनि - र यो वयस्क पर्यवेक्षण अनुच्छेद हो - लेखक बेन्चहरू मार्केटिङ गरिरहेका छन् जबसम्म अरू कसैले साझा प्रम्प्टहरू सहित साझा हार्डवेयरमा पुन: उत्पादन गर्दैन। हल्का फाइन-ट्युनिङ परिणामहरूले धेरै मचानहरू लुकाउन पनि सक्छ। बलियो DeepSWE र टर्मिनल-बेन्च संख्याहरू ठ्याक्कै रोमाञ्चक छन् किनभने ती सुइटहरूले भंगुर एजेन्टहरूलाई दण्ड दिन्छन्, तर उत्साह प्रतिकृति होइन। 9× र त्यो 32 ms-वर्ग फिगरमा CLAIM भन्ने स्टिकी नोट राख्नुहोस्।. 

तुलना तालिका: टोकन-द्वारा-टोकन LLMs बनाम CLM-शैली फ्रेमिङ

मार्केटिङ भाषा चिप्लो हुँदा तालिकाहरूले मद्दत गर्छन्। यसले अनुसन्धानकर्ताहरूले वर्णन गरेझैं कन्ट्रास्टिभ ल्याङ्ग्वेज मोडेल कथासँग विशिष्ट LLM पुस्ता बानीहरूको तुलना गर्छ। कोषहरू जानाजानी अलि असमान हुन्छन् किनभने ठोस तुलनाहरू सधैं हुन्छन्।.

कोण विशिष्ट LLM (टोकन-दर-टोकन) CLM-शैली / प्रणाली १ फ्रेमिङ एजेन्टहरूका लागि यो किन महत्त्वपूर्ण छ
प्राथमिक लूप अर्को टोकनको भविष्यवाणी गर्नुहोस्, प्रायः लामो ट्रेसहरू सहित नक्साको अवस्थादेखि कार्यसम्म; विरोधाभासी निर्णय पूर्वाग्रह उपकरण कलहरू बीच कम खेर जाने टोकनहरू (सिद्धान्तमा)
ढिलाइ महसुस बहु-चरण नियन्त्रणमा कुराकानी गर्न ढिलो महसुस हुन सक्छ लेखकहरूले जेभ-क्लासको तुलनामा धेरै कम विलम्बता दाबी गर्छन् अन्तरक्रियात्मक कोडिङ एजेन्टहरूलाई पर्खने समय मन पर्दैन
शक्ति क्षेत्र गद्य, योजना निबन्ध, व्यापक कुराकानी द्रुत अवस्था→कार्य - एजेन्टिक कोडिङ हाइलाइट गरियो फरक काम, सधैं प्रतिस्थापन होइन
रिपोर्ट गरिएका संख्याहरू मोडेलमा निर्भर गर्दछ; यहाँ कुनै एकल आंकडा छैन ~९× सम्म छिटो (दावी); DeepSWE ~८१.६%; टर्मिनल-बेन्च २.१ ~८७.६% हल्का FT पछि (दावीहरू) तेस्रो पक्षले पुष्टि गरेमा आश्वासन दिने - ठूलो भएमा
खुलापन बन्द API हरू र खुला तौलहरूको मिश्रण अपाचे २.० अन्तर्गत फ्रेम गरिएको तौल/कोड खोल्नुहोस् शब्दहरूको अनुमान नगरी आफैलाई फाइन-ट्यून गर्नुहोस् र होस्ट गर्नुहोस्
समात्नुहोस् / झगडा गर्नुहोस् चलाख तर कहिलेकाहीँ सधैंको लागि कथा भन्छ 🐢 अझै चाँडै; स्वतन्त्र पुन: प्रसारण बाँकी छ एउटै प्रेस चार्टमा कम्पनीलाई बाजी नलगाउनुहोस्।

तालिकालाई मानसिक मोडेलको रूपमा प्रयोग गर्नुहोस्, निर्णयको रूपमा होइन। उत्पादन टोलीहरूले अझै पनि आफ्नै हार्नेस मापन गर्न आवश्यक छ: उपकरण योजनाहरू, पुन: प्रयास नीति, र वातावरणीय आवाजले स्लाइड डेकले स्वीकार गरेको भन्दा बढी स्कोरहरू सार्नेछ।.

कोलाहलको पछाडि को छ 👤

एट्रिब्युसन महत्त्वपूर्ण छ किनकि खुला एआई ड्रपहरू सावधानीपूर्वक प्रयोगशाला रिलीजदेखि रहस्यमय टोरेन्टहरू सम्मका छन्। यसमा अनुहारहरू छन्। ज्याकी क्वोकले CLM प्रस्तुत गरे; अजलिया मिर्होसेनीले यसलाई फराकिलो दृश्यमा धकेल्न मद्दत गरे; कभरेजले स्ट्यानफोर्ड र NVIDIA-लिङ्क गरिएको अनुसन्धान सहकार्यलाई निरन्तर रूपमा फ्रेम गर्दछ। यसले जादुई रूपमा हरेक संख्यालाई सत्य बनाउँदैन, तर यसले खेलमा प्रतिष्ठाको छाला राख्छ। नामित-अनुसन्धानकर्ता खुला रिलीजहरू बेनामी डम्पहरू भन्दा छिटो तनाव-परीक्षण हुन्छन् - साथीहरूले सार्वजनिक लक्ष्य मन पराउँछन्।

निर्माणकर्ताहरूको लागि, व्यावहारिक निहितार्थ पहुँच हो। खुला तौल र अपाचे २.० शैलीको इजाजतपत्र (लन्च वरिपरि कभर गरिएको) को अर्थ सामान्यतया तपाईंले अनुसन्धान-मात्र इजाजतपत्रहरू भन्दा कम गोचाहरूसँग व्यावसायिक रूपमा प्रयोग गर्न सक्नुहुन्छ। केहि पनि पठाउनु अघि रिलीजमा वास्तविक इजाजतपत्र फाइलहरू आफैं जाँच गर्नुहोस्; कभरेज सारांशहरू सम्झौता होइनन्। त्यो पेडेन्टिक लाग्न सक्छ, तर इजाजतपत्र पेडन्ट्रीले स्टार्टअपहरूलाई बचाउँछ।.

सामाजिक प्रवर्धन ढाँचा परिचित छ: अनुसन्धानकर्ता पोस्ट, सम्मानित एम्पलीफायर उद्धरण-पोस्टहरू, त्यसपछि "एजेन्टहरू अन्ततः समाधान भए" को लहर आउँछ। हार्नेस विवरणहरू साझा गर्ने व्यक्तिहरूको लागि फिल्टर गर्नुहोस्। एकल सफल कोडिङ रनको स्क्रिनसटहरू मुड थिएटर हुन्, विज्ञान होइन। 🛰️

किन स्टेट-टु-एक्शन लूपहरूले एजेन्टिक कोडिङको स्वामित्व लिन्छ 

एजेन्टिक कोडिङ एउटा क्रूर वातावरण हो। मोडेलले रिपो स्न्यापसट, शेल ट्रान्सक्रिप्ट, सायद असफल परीक्षण देख्छ, र सम्पादन वा आदेश छनौट गर्नुपर्छ। च्याट भन्दा सफलता धेरै पटक बाइनरी हुन्छ। या त परीक्षण हरियो हुन्छ या हुँदैन। त्यो पुरस्कार आकारले सुन्दर असफलता निबन्ध लेख्ने मोडेलहरू भन्दा सफासँग कार्यहरू छनौट गर्ने नीतिहरूलाई समर्थन गर्दछ।.

विरोधाभासी प्रशिक्षण कथाहरू त्यो संसारमा मिल्छन् किनभने तिनीहरूले स्पष्ट रूपमा दिइएको अवस्था अन्तर्गत नेटवर्कलाई मनपर्ने कार्यहरूतर्फ धकेल्छन्। यसलाई जुनियर इन्जिनियरलाई "जब तपाईंले यो त्रुटि वर्ग देख्नुहुन्छ, यो समाधान ढाँचाको लागि पुग्नुहोस्" सिकाउने जस्तै सोच्नुहोस् "कम्पाइलरहरू किन कडा छन् भन्ने बारेमा ब्लग पोस्ट लेख्नुहोस्" को सट्टा। जुनियरलाई अझै पनि निर्णय चाहिन्छ; सर्टकटले केवल हिचकिचाहट कम गर्छ।.

यहाँ विलम्बता यौगिकहरू छन्। मानौं एक एजेन्टले मध्यम बगफिक्स अवतरण गर्न औसतमा अस्सी उपकरण चरणहरू प्रयोग गर्छ। प्रति चरण १५० मिलिसेकेन्ड शेभ गर्नुहोस् र तपाईंले बाह्र सेकेन्डको भित्ता घडी पुन: प्राप्त गर्नुहुन्छ - जुन प्रवाह अवस्था र इमेल जाँच गर्न प्रयोगकर्ताले अल्ट-ट्याबिङ गर्ने बीचको भिन्नता हो। एजेन्टहरूको फ्लीट चलाउने टोलीहरूले क्लाउड बिलहरूमा पनि त्यो गणित महसुस गर्छन्। Jev-वर्गको साथीको तुलनामा दावी गरिएको परिमाणको क्रम अनुमान गति, यदि यो जंगलमा "केवल" ४× को रूपमा अवतरण भए पनि, अझै पनि क्षमता योजनालाई पुन: व्यवस्थित गर्दछ।.

बैठकहरूमा म निरन्तर प्रयोग गर्ने एउटा अस्थिर रूपक छ: टोकन-द्वारा-टोकन च्याट मोडेलहरू प्रत्येक चौबाटोमा मार्गको बारेमा बहस गर्नु जस्तै हो, जबकि प्रणाली १ शैली नियन्त्रक शहर ड्राइभिङको लागि मांसपेशी मेमोरी जस्तै हो। नयाँ शहरमा मांसपेशी मेमोरी असफल हुन्छ। रिपो संस्कृति विशिष्ट हुँदा संकुचित रूपमा ट्युन गरिएको कार्य मोडेल पनि त्यस्तै हुन्छ। तपाईं अझै पनि नयाँ वास्तुकला विकल्पहरूको लागि विचार-विमर्श मोडहरू चाहनुहुन्छ; तपाईं पचासौं "आयात ठीक गर्नुहोस् र पुन: चलाउनुहोस्" को लागि रिफ्लेक्स चाहनुहुन्छ। हाइब्रिड स्ट्याकहरू - द्रुत CLM-जस्तो नियन्त्रक र कडा शाखाहरूमा भारी तर्ककर्ता - सम्भवतः त्यहाँ छन् जहाँ गम्भीर प्रणालीहरू अवतरण गर्छन्, प्रक्षेपण पोस्टहरूले एकल नायक मोडेल बेचे पनि। 🚦

यो पनि ठूलो स्वरमा भन्न लायक छ: DeepSWE र Terminal-Bench reward scaffolding जस्ता एजेन्टिक कोडिङ बेन्चहरू। हार्नेस गुणस्तर, उपकरण अनुमति सूचीहरू, र रिकभरी प्रम्प्टहरूले सफलता दरहरू दोहोरो अंकले परिवर्तन गर्न सक्छन्। जब तपाईंले हल्का फाइन-ट्युनिङ पछि ~81.6% वा ~87.6% देख्नुहुन्छ, तौल वरिपरि कुन र्‍यापर बसेको थियो भनेर खोज्नुहोस्। त्यो छाया होइन; यो क्षेत्र कसरी काम गर्छ भन्ने हो।

ओपन वेट, फाइन-ट्युनिङ, र ३५B छायाँ 

खुला तौलले दावीको सामाजिक गतिशीलता परिवर्तन गर्छ। बन्द API मोडेलहरूले चार्ट फ्ल्याश गर्न सक्छन् र तपाईंलाई दूषितता, डिकोडिङ ट्रिक्स, वा गोप्य प्रणाली प्रम्प्टहरूको बारेमा अनुमान लगाउन छोड्छन्। डाउनलोड गर्न मिल्ने प्यारामिटरहरूको साथ तपाईं कम्तिमा चीजलाई पोक गर्न सक्नुहुन्छ। तपाईंको आन्तरिक कोडिङ वातावरणको लागि CLM-8B लाई फाइन-ट्युनिङ गर्नु - तपाईंको लिन्ट नियमहरू, तपाईंको डिप्लोय CLI, तपाईंको मोनोरेपो टोपोलोजी - चमकदार बेन्च नम्बरहरूको लागि यथार्थपरक मार्ग हो, पहिलो दिनमा शून्य-शट जादू होइन।.

अपाचे २.० फ्रेमिङ (कभरेज अनुसार) निर्माणकर्ता-अनुकूल छ: पेटेन्ट अनुदान भाषा, स्पष्ट पुनर्वितरण मापदण्डहरू, कम "अनुसन्धान मात्र" पासोहरू। फेरि: फाइलहरू पढ्नुहोस्। कभरेज लेखकहरूले सारांश दिन्छन्; वकिलहरू विशेषज्ञ छन्।.

योजनाबद्ध CLM-35B रोडम्याप स्लाइडमा हात्ती हो। ठूला मोडेलहरूले प्रायः जानाजानी सीप प्राप्त गर्छन् र आसवन वा सट्टा चालहरूले विलम्बतालाई नियन्त्रणमा नराख्दासम्म "सानो र क्रूर रूपमा छिटो" आकर्षण गुमाउँछन्। यदि आठ-बिलियन संस्करण स्पोर्ट्स कार हो र पैंतीस-बिलियन टुरिङ सेडान हो भने, टोलीहरूले दुवै राख्न सक्छन्: हट लूपहरूको लागि 8B, कडा योजनाको लागि 35B। वा हार्डवेयर सस्तो हुँदै गयो भने ठूलो मोडेलले हावी हुन सक्छ। कुन भविष्य आउँछ अझै अनिश्चित छ; भविष्यको रिलीज नोटहरूले निर्णय गर्नेछ, यो अनुच्छेदले होइन।.

ओपन एजेन्ट मोडेलहरूसँग एउटा सूक्ष्म जोखिम: मानिसहरूले दर सीमा बिना नै तिनीहरूलाई CI मा बोल्ट गर्नेछन् र दुर्भावनापूर्ण README हरू मार्फत द्रुत इंजेक्शन पत्ता लगाउनेछन्। द्रुत मोडेलहरूले व्यावहारिक मूल्यलाई बढावा दिए जस्तै दुरुपयोगलाई बढाउँछन्। रेलहरू वैकल्पिक कस्प्ले होइनन्; तिनीहरू उत्पादन हुन्।. 

  • गुणस्तरको मूल्यांकन गर्नु अघि आफ्नै ट्रेसहरूमा फाइन-ट्यून गर्नुहोस्
  • नयाँ कार्यहरूको लागि एस्केप ह्याचको रूपमा ढिलो तर्क गर्ने व्यक्ति राख्नुहोस्
  • तपाईंको हार्नेसमा उपकरणको विलम्बता p50/p95, शुद्धता मात्र होइन
  • मानौं ३५B ले फेरि पारेटो सीमाना सार्नेछ।

हिउँ नपरीकनै जेभ तुलना पढ्दै 

जेभ-क्लास मोडेलहरूसँगको तुलनाले बयानबाजीको काम गरिरहेको छ। तिनीहरूले एजेन्टिक गति तहमा एक सहकर्मी स्थापित गर्छन् त्यसैले "९× छिटो सम्म" एक सन्दर्भ हुन्छ। सापेक्ष दावीहरूलाई एङ्कर चाहिन्छ, र त्यो धेरै कुरा सही छ। खतरा भनेको सम्पूर्ण मूल्याङ्कन स्ट्याकलाई एकल गुणकमा भत्काउनु हो। ब्याच आकार, परिशुद्धता, डिकोडिङ सेटिङहरू, सन्दर्भ लम्बाइ, र उपकरण-कल क्रमिकीकरण सबैले "छिटो" को अर्थलाई पुन: आकार दिन्छन्, र ती नबहरू विरलै एउटै स्लाइडमा देखा पर्दछन्।.

जब क्लस्टर सारांशले टर्मिनल बेन्च सेटिङमा ~३२ एमएस-क्लास प्रतिक्रियाहरू उद्धृत गर्दछ, "प्रतिक्रिया" लाई अस्पष्ट लेबलको रूपमा व्यवहार गर्नुहोस् जबसम्म कसैले यसको अर्थ पहिलो टोकन, पूर्ण कार्य JSON, वा क्यास गरिएको उपसर्ग हो कि होइन भनेर हिज्जे गर्दैन। ती भिन्नताहरूले मार्केटिङ मिलिसेकेन्डलाई इन्जिनियरिङ घण्टामा परिणत गर्दछ। कम विलम्बतासँग तुलनात्मक शून्य-शट गुणस्तर सपना जोडी हो; यदि स्वतन्त्र समूहहरूले त्यो सपनाको आधा पनि पुष्टि गर्छन् भने, CLM-शैली प्रशिक्षणले वास्तुकला बैठकहरूमा स्थायी स्थान कमाउँछ।.

त्यतिन्जेलसम्म, जेभलाई एक निश्चित लिडरबोर्ड भन्दा बढी प्रतिद्वन्द्वी कथाको रूपमा व्यवहार गर्नुहोस्। प्रतिद्वन्द्वीहरूले पोस्टहरू बेच्छन्। तपाईंको उत्पादन KPI ले कथाको वास्ता गर्दैन। कार्य सफलता, समाधान गरिएको टिकट प्रति डलर, र मानव हस्तक्षेप दर मापन गर्नुहोस्। यदि कन्ट्रास्टिभ ल्याङ्ग्वेज मोडेल फोर्कले ती जित्छ भने, उत्सव मनाउनुहोस्। यदि यसले ट्विटर मात्र जित्छ भने, हिंडिरहनुहोस्। 🚶

थोरै विरोधाभासपूर्ण समय: प्रतिद्वन्द्वी कथाहरूले अझै पनि आफ्नो भार बोक्छन्। तिनीहरूले प्रयोगशालाहरूलाई हावायुक्त मुडको सट्टा संख्या प्रकाशित गर्न बाध्य पार्छन्। स्कोरबोर्डलाई खेलसँग भ्रमित नगर्नुहोस्।.

यो रिलिजलाई सही बनाउन के चाहिन्छ 

समाचार चक्रभन्दा बाहिर CLM-8B को महत्व बढ्नको लागि, केही कुराहरू स्पष्ट हुनुपर्छ:

  • प्रतिकृति: बाहिरी समूहहरूले दस्तावेजीकृत रेसिपीहरूसँग हेडलाइन विलम्बता र कोडिङ सफलता दरहरू मिलाउन सक्षम हुनुपर्छ।
  • पारदर्शिता प्रयोग गर्नुहोस्: DeepSWE र टर्मिनल-बेन्च स्कोरहरू उत्पादन गर्ने एजेन्ट र्‍यापर विवरणहरू साझा गर्नुहोस्।
  • प्रयोगशाला टेलिप्याथी ग्रहण नगर्ने कागजातहरू: स्पष्ट फाइन-ट्यून स्क्रिप्टहरू, eval आदेशहरू, र हार्डवेयर नोटहरू।
  • विफलता मोडहरू: प्रणाली १ शैलीका निर्णयहरू कहाँ पतन हुन्छन् देखाउनुहोस् - नयाँ API हरू, अस्पष्ट टिकटहरू, सुरक्षा-संवेदनशील अप्स।
  • स्तरोन्नति मार्ग: टोलीहरूले आफ्नो स्ट्याकलाई ८B डेड एन्डमा ओभरफिट नगरोस् भनेर CLM-35B कसरी सम्बन्धित छ भनेर स्पष्ट पार्नुहोस्।

यदि ती बक्सहरू खाली रहे भने, मोडेल अर्को रोचक पेपरवेट बन्छ। यदि तिनीहरूले भरे भने, एजेन्ट प्लेटफर्महरूले ठोस घटक विकल्प पाउँछन्: कडा विचारको लागि विचारशील LLM, हल्लिरहेका हातहरूको लागि विरोधाभासी द्रुत मोडेल। श्रमको त्यो विभाजन एक मेगामोडेलले प्रत्येक विलम्बता बजेटमा प्रत्येक काम गर्नुपर्छ भनेर बहाना गर्नु भन्दा बढी परिपक्व महसुस हुन्छ।.

एजेन्टहरू पठाउने निर्माणकर्ताहरूका लागि व्यावहारिक सुझावहरू 

तपाईंले भोलि आफ्नो स्ट्याक पुन: लेख्नु पर्दैन। निर्णय-छिटो मोडेलहरूको मूल्याङ्कन गर्न तपाईंलाई योजना चाहिन्छ। आफ्नो एजेन्टको विलम्बता-महत्वपूर्ण टुक्रा - सायद टर्मिनल माइक्रो-लूप वा "अर्को grep छान्नुहोस्" चरण - र तपाईंको हालको वर्कहर्स विरुद्ध CLM-8B फाइन-ट्यून A/B गरेर सुरु गर्नुहोस्। हार्नेस स्थिर राख्नुहोस्। सबै कुरा लग गर्नुहोस्।.

मौन गुणस्तर प्रतिगमनहरूको लागि हेर्नुहोस्: आत्मविश्वासी गलत कार्यहरूको साथ तुरुन्तै जवाफ दिने मोडेलहरू उच्च-दांव रिपोहरूमा ढिलो सही भन्दा खराब हुन्छन्। प्रमाणीकरण चरणहरू थप्नुहोस्। उल्टाउन मिल्ने उपकरणहरूलाई प्राथमिकता दिनुहोस्। आत्मविश्वास कम हुँदा दोस्रो मोडेल कलको बजेट बनाउनुहोस् - हो, त्यसले गतिको केही हिस्सा खान्छ, र त्यो ठीक छ। ब्रेक बिनाको गतिले डेमोहरू आउटेज हुने तरिका हो।.

संगठन पक्षमा, प्रति सेकेन्ड टोकनहरूको सट्टा "प्रति सेकेन्ड प्रति GPU कार्यहरू" को लागि स्तम्भको साथ क्षमता पानाहरू अद्यावधिक गर्नुहोस्। एजेन्टिक कार्यभारहरूले कविता थ्रुपुटको होइन, निर्णयहरूको ख्याल राख्छन्। यदि लेखकहरूको ~9× दाबी आंशिक रूपमा तपाईंको हार्डवेयरसँग सम्पर्कमा रह्यो भने, तपाईंको स्प्रेडसिट फरक देखिनेछ। यदि यो भएन भने, तपाईंले सस्तोमा सिक्नुभयो।.

अनि कृपया, अप्सको मायाको लागि, उत्पादन गोप्य कुराहरू प्रयोगात्मक एजेन्टमा नटाँस्नुहोस् किनभने मोडेल "सुरक्षित" महसुस भयो। छिटो खुला मोडेलहरूले छायाँ प्रणालीहरू स्पिन गर्न सजिलो बनाउँछ जुन कसैले समीक्षा गर्दैन। प्रक्रिया अझै पनि महत्त्वपूर्ण छ।. 

अझै झुन्डिएका खुला धागोहरू 

केही अनसुलझेका थ्रेडहरूले मलाई पूर्ण प्रचार मोडबाट रोक्छन्:

  • रिपोर्ट गरिएको कोडिङ सफलताको कति हिस्सा तौलसँग सम्बन्धित छ बनाम फाइन-ट्यून डेटा र र्‍यापरसँग।.
  • कार्यहरूलाई स्थानीय शेल रिफ्लेक्सको सट्टा लामो-क्षितिज योजना आवश्यक पर्दा प्रणाली १ फ्रेमिङ पातलो हुन सक्छ।.
  • CLM-35B ले विलम्बताको कथालाई जोगाउन सक्छ वा अर्को बलियो मध्यम आकारको LLM बन्न सक्छ।.
  • वितरण परिवर्तन अन्तर्गत विरोधाभासी कार्य प्राथमिकताहरू कमजोर हुन सक्छन् - नयाँ भाषाहरू, नयाँ क्लाउड CLIs, विरोधी रिपोहरू।.
  • मिलिसेकेन्डमा कार्यहरू कार्यान्वयन हुँदा सुरक्षा कथालाई अझै पनि मासु चाहिन्छ।.

ती टोलीमा डुब्नको लागि बनाइएका गचाहरू होइनन्। यी कुनै पनि गम्भीर दत्तक समीक्षा चलाउनु पर्ने जाँचहरू हुन्। प्रारम्भिक खुला रिलीजहरू ध्यानपूर्वक छानबिन र घर्षणको योग्य छन्, अन्धा स्थापनाहरू होइन।.

तल्लो रेखा 

CLM-8B एक खुला, अपाचे-फ्रेम गरिएको (प्रति कभरेज) कन्ट्रास्टिभ ल्याङ्ग्वेज मोडेल हो जुन एजेन्टहरूको लागि द्रुत स्टेट-टु-एक्शन व्यवहारको उद्देश्यले गरिएको छ, जुन ज्याकी क्वोकद्वारा सार्वजनिक रूपमा प्रस्तुत गरिएको छ जसमा अजलिया मिर्होसेनीबाट प्रवर्धन गरिएको छ र स्ट्यानफोर्ड/NVIDIA-लिङ्क गरिएको अनुसन्धानको रूपमा फ्रेम गरिएको छ। हेडलाइनले दाबी गर्छ - जेभ-क्लास इन्फरेन्स भन्दा लगभग ९× छिटो, हल्का फाइन-ट्युनिङ पछि बलियो DeepSWE र टर्मिनल-बेन्च परिणामहरू, धेरै कम विलम्बतासँग तुलनात्मक शून्य-शट गुणस्तर, लगभग ~३२ ms-क्लास टर्मिनल प्रतिक्रियाहरू सहित - लेखक-रिपोर्ट गरिएको छ र अझै पनि व्यापक तेस्रो-पक्ष पुष्टिकरणको लागि पर्खिरहेको छ। ठूलो CLM-35B क्षितिजमा छ।.

यदि तपाईंले एजेन्टिक कोडिङ प्रणालीहरू निर्माण गर्नुहुन्छ भने, यो धर्म होइन, केन्द्रित मूल्याङ्कनको लायक छ। यसलाई हाइब्रिड स्ट्याकमा उम्मेदवार प्रणाली १ नियन्त्रकको रूपमा व्यवहार गर्नुहोस्, आफ्नै हार्नेस नाप्नुहोस्, र स्वतन्त्र रनहरू नआएसम्म प्रत्येक चार्टमा CLAIM स्टिकर राख्नुहोस्। रोचक भाग नयाँ लोगो भएको अर्को च्याट मोडेल होइन। रोचक भाग यो हो कि निर्णय-आकारको प्रशिक्षणले एजेन्टहरूलाई लापरवाह रूपमा गलत नबनाइकन तुरुन्तै महसुस गराउन सक्छ कि सक्दैन।.

व्यावहारिक उदाहरण: CLM-8B को लागि लेटन्सी-क्रिटिकल एजेन्ट माइक्रो-लूप इभल निर्माण गर्दै

CLM-8B भर्खरै छोडियो: एजेन्टहरूको लागि Jev भन्दा 9× छिटो हुने दाबी गर्ने नयाँ खुला AI मोडेलको बारेमा लेखकको चार्टहरू प्रेरक देखिन सक्छन्; तपाईंको हार्नेस मात्र मत हो जुन गणना गरिन्छ। यहाँ कसरी बेलायतको इन्डी टूलिङ टोलीले CLM-8B लाई उम्मेदवार प्रणाली 1 नियन्त्रकको रूपमा व्यवहार गर्‍यो - च्याट प्रतिस्थापन होइन - र यसलाई आफ्नै टर्मिनल माइक्रो-लूपमा मापन गर्‍यो।

परिदृश्य

सामले एउटा सानो उत्पादन चलाउँछ जसले पहिले नै बहु-फाइल रिफ्याक्टरहरूको लागि भारी कोडिङ एजेन्ट प्रयोग गर्दछ। पीडादायी स्लाइस भनेको तातो लूप हो: असफल परीक्षण ट्रान्सक्रिप्ट पढ्नुहोस्, अर्को शेल छान्नुहोस् वा कार्य सम्पादन गर्नुहोस्, यसलाई चलाउनुहोस्, दोहोर्याउनुहोस्। प्रयोगकर्ताहरूले पचास उपकरण चरणहरूमा जाडो-ग्लोभ्स ढिलाइको बारेमा भन्दा नीरस जवाफहरूको बारेमा कम गुनासो गर्छन्। सामाजिक पोस्टहरूले कन्ट्रास्टिभ ल्याङ्ग्वेज मोडेल तौल र जेभ-क्लास साथीहरूको तुलनामा ~9× स्पीडअपको दाबी गर्दै छन्, साथै हल्का फाइन-ट्यूनिंग पछि बलियो DeepSWE / टर्मिनल-बेन्च फिगरहरू। सामले प्रेस चार्टमा उत्पादन पुन: लेख्न अस्वीकार गर्छन्।.

तिनीहरूले एउटा विलम्बता-महत्वपूर्ण माइक्रो-लूप बनाउँछन्: आफ्नै मोनोरेपोबाट बीस फिक्स्ड बगफिक्स ट्रेसहरू। हालको वर्कहर्सले उपन्यास वास्तुकला टिकटहरूको लागि विचारणीय मार्ग कायम राख्छ। CLM-8B - यदि होस्ट गरिएको छ र तिनीहरूको ट्रेसहरूमा हल्का रूपमा फाइन-ट्युन गरिएको छ भने - "अर्को उल्ट्याउन सकिने कार्य छान्नुहोस्" चरणमा मात्र प्रतिस्पर्धा गर्न अनुमति छ, आत्मविश्वास कम हुँदा एस्केप ह्याचको रूपमा ढिलो तर्कको साथ।.

लक्ष्य भनेको हार्नेस स्थिर राख्ने A/B हो: उही उपकरणहरू, उही अनुमति सूची, उही पुन: प्रयास नीति। प्रति सेकेन्ड कार्यहरू लग गर्नुहोस्, p50/p95 विलम्बता, कार्य सफलता, र मानव हस्तक्षेपहरू - त्यसपछि खुला तौलले सिट कमाउँछ कि गर्दैन निर्णय गर्नुहोस्।.

सहायकलाई के चाहिन्छ

  • वास्तविक कामबाट बीसवटा बेनामी असफल-परीक्षण ट्रेसहरू (इनपुटहरू + अनुमति प्राप्त उपकरणहरू मात्र)
  • एउटा निश्चित एजेन्ट र्‍यापर: उपकरण स्कीमा, अनुमति सूची, अधिकतम चरणहरू, र "कल स्लो रिजनर" शाखा
  • उही बीस कार्यहरूको लागि हालको मोडेलमा आधारभूत स्कोरहरू
  • CLM-8B होस्ट (GPU वर्ग, परिशुद्धता, ब्याच) को लागि हार्डवेयर नोटहरू ताकि "छिटो" मा सन्दर्भ हुन्छ
  • दावी स्टिकर नियम: लेखक DeepSWE / टर्मिनल-बेन्च / ~9× / ~32 ms फिगरहरू लेबलमा रहन्छन् जबसम्म यो हार्नेसले केहि पुनरुत्पादन गर्दैन।
  • कुनै पनि CI बोल्ट-अन अघि गलत तर छिटो कार्यहरूको समीक्षा गर्ने मानव मालिक

उदाहरण निर्देशन

हाम्रो कोडिङ एजेन्ट भित्र द्रुत अवस्था → कार्य नियन्त्रकको रूपमा CLM-8B को लागि निष्पक्ष A/B डिजाइन गर्न तपाईं मलाई मद्दत गर्दै हुनुहुन्छ। मैले टाँसेको हार्नेस तथ्यहरू मात्र प्रयोग गर्नुहोस्। विलम्बता गुणकहरू, DeepSWE स्कोरहरू, वा इजाजतपत्र सर्तहरू आविष्कार नगर्नुहोस्।.

कार्य: मेरा बीस कार्य नामहरू र हालका आधारभूत नोटहरूबाट, (१) स्तम्भहरू सहितको स्कोरिङ पाना ड्राफ्ट गर्नुहोस् कार्य / मोडेल / चरणहरू / भित्ता-घडी / सफलता (पास/असफल) / मानव हस्तक्षेप (y/n) / नोटहरू, (२) छ-बुलेट प्रोटोकल जसले मोडेलहरूमा र्‍यापरलाई समान राख्छ, र (३) CLM-8B कहिले माइक्रो-लूपको स्वामित्व लिन सक्छ र कहिले हामी ढिलो तर्क गर्नेमा जान्छौं भन्ने कुराको लागि स्पष्ट दैनिक शब्दावलीमा निर्णय नियम।.

बाधाहरू: बेलायती अंग्रेजी। लेखकले रिपोर्ट गरेको प्रत्येक नम्बर देखा परेमा CLAIM को रूपमा लेबल गर्नुहोस्। उल्टाउन मिल्ने उपकरणहरूलाई प्राथमिकता दिनुहोस्। "एजेन्टहरूले अन्ततः समाधान गरे" भाषालाई प्रतिबन्ध लगाउनुहोस्। यदि मेरो पेस्टबाट मेट्रिक हराइरहेको छ भने, अनुमान गर्नुको सट्टा [NEED MAESUREMENT] लेख्नुहोस्।.

आउटपुट: प्लेसहोल्डरहरू प्रयोग गरेर स्कोरिङ-शीट हेडर र एउटा भरिएको उदाहरण पङ्क्ति, प्रोटोकल बुलेटहरू, त्यसपछि एस्केलेट/किप नियम। कुनै प्रस्तावना छैन।.

यसलाई कसरी परीक्षण गर्ने

  • हालको वर्कहर्स र उस्तै र्‍यापरको साथ CLM-8B फाइन-ट्यूनमा उस्तै दस ट्रेसहरू चलाउनुहोस्। केवल भित्ता-घडी र सफलता फरक छ भनेर पुष्टि गर्नुहोस् - उपकरण सूचीहरू होइन।.
  • सोध्नुहोस्: "यस हप्ता कुन लेखक चार्टले उत्पादन परिवर्तन गर्न सक्छ?" राम्रो उत्तर: यो हार्नेसले सफलता र विलम्बतामा एकसाथ जित नदेखाएसम्म कुनै पनि होइन।.
  • एज केस: CLM-8B ले ~३० मिलिसेकेन्डमा विनाशकारी आदेश सुझावको साथ जवाफ दिन्छ - अनुमति सूची पुष्टि गर्नुहोस् र CI अघि मानव समीक्षाले यसलाई समात्छ।.
  • एज केस: बीस ट्रेस बाहिरको नयाँ एपीआई टिकट - रिफ्लेक्स मोडेलको होइन, ढिलो तर्ककर्ताको स्वामित्वमा रहेको पुष्टि गर्नुहोस्।.
  • स्वीकृति जाँचहरू: (१) मापन गरिएको परिणामको रूपमा कुनै आविष्कार गरिएको ९× दाबी छैन, (२) p५० र p९५ विलम्बता लग गरिएको छ, (३) सफलता भाजक बीस कार्यहरू हुन्, (४) गलत-छिटो कार्यहरू गणना गरिएको छ, (५) कुनै पनि व्यावसायिक जहाज योजना अघि अपाचे/लाइसेन्स जाँच अफलाइन हुन्छ।.

नतिजा

उदाहरणीय नतिजा (लेखकहरूको बेन्चहरूको स्वतन्त्र प्रयोगशाला पुन: रन होइन, बीस निश्चित मोनोरेपो ट्रेसहरूमा तीन-व्यक्ति टुलिंग टोलीको लागि उदाहरण अनुमान): बेसलाइन वर्कहर्सले मानव मद्दत बिना २० मध्ये १४ ट्रेसहरू समाप्त गर्यो; लगभग १८० मिलिसेकेन्डको मध्य चरण विलम्बता; गलत सम्पादन पछि दुई ट्रेसहरूलाई मानव आवश्यक पर्यो। आन्तरिक ट्रेसहरूमा CLM-8B को हल्का फाइन-ट्यून पछि (उही र्‍यापर), २० मध्ये १५ मद्दत बिना पास भयो; तिनीहरूको एकल-GPU होस्टमा लगभग ४५ मिलिसेकेन्डको मध्य चरण विलम्बता; लागू गर्नु अघि एक अतिरिक्त गलत-छिटो कार्य अनुमति सूचीले समात्यो। बीस-ट्रेस सुइटको लागि वाल-घडी लगभग ३८ मिनेटबाट घटेर लगभग २२ मिनेटमा झर्यो जसमा प्रमाणीकरण चरणहरू समावेश छन्। स्वच्छता चेकलिस्टमा (हार्नेस स्थिर राखिएको छ, लेखक चार्टहरूमा दावी लेबलहरू राखिएको छ, नयाँ टिकटहरूको लागि अझै ढिलो तर्ककर्ता प्रयोग गरिएको छ, प्रयोगात्मक एजेन्टमा कुनै उत्पादन रहस्य छैन), ५ मध्ये ५ समीक्षा वस्तुहरू पारित भए। सीमाहरू: सानो कार्य सेट, एउटा हार्डवेयर वर्ग, फाइन-ट्यून डेटा गुणस्तर हावी छ; यसले यस हार्नेस बाहिर लेखकहरूको ~9× वा DeepSWE तथ्याङ्कहरूलाई मान्य गर्दैन।

तपाईंको आफ्नै संस्करण मापन गर्न: बीस ट्रेसहरू फ्रिज गर्नुहोस्; पहिले हालको मोडेल स्कोर गर्नुहोस्; दस्तावेज गरिएको परिशुद्धता/सेटिङहरू सहित CLM-8B होस्ट गर्नुहोस्; उही र्‍यापरसँग पुन: चलाउनुहोस्; रिपोर्ट सफलता/n, p50/p95, हस्तक्षेपहरू, र कुनै पनि CLAIM नम्बरलाई तथ्यको रूपमा व्यवहार गरिएको थियो कि थिएन।.

के बिग्रन सक्छ?

  • चार्ट पूजा: तपाईंको आफ्नै p95 बिना ~9× स्लाइडमा ढुवानी।
  • गलत-छिटो कार्यहरू: उच्च-दांव रिपोहरूमा ढिलो सच्याउने गल्तीहरूलाई पछि पार्दै तत्काल आत्मविश्वासी गल्तीहरू।
  • हार्नेस ड्रिफ्ट: मोडेलहरू बीच उपकरण प्रम्प्ट परिवर्तन गर्दै र यसलाई मोडेल विन भन्छ।
  • एकल-नायक स्ट्याक: उपन्यास वास्तुकला कार्यको लागि विचारणीय तर्ककर्ता छोड्दै।
  • लाइसेन्स हातले हल्लाउने: वास्तविक वजन-रिपो लाइसेन्स फाइलहरूको सट्टा कभरेज सारांशहरूमा विश्वास गर्ने।
  • छायाँ CI: दर सीमा वा इंजेक्शन समीक्षा बिना पाइपलाइनहरूमा द्रुत खुला एजेन्ट बोल्ट गर्ने।

व्यावहारिक टेकवे

CLM-8B एजेन्टिक कोडिङको लागि प्रणाली १ नियन्त्रकको रूपमा केन्द्रित मूल्याङ्कनको लायक छ - खुला तौल, निर्णय-आकारको कथा, लेखक-रिपोर्ट गरिएको गति दावीहरू। तपाईंको हार्नेसले त्यसो नभनेसम्म यो तपाईंको स्ट्याकको लागि कुनै पंथ होइन र प्रमाणित 9× होइन। र्‍यापर स्थिर राख्नुहोस्, प्रति सेकेन्ड कार्यहरू लग गर्नुहोस् र गलत-छिटो दर, ढिलो एस्केप ह्याच राख्नुहोस्, र स्वतन्त्र रनहरू (तपाईंको सहित) अवतरण नभएसम्म प्रत्येक प्रेस चार्टमा CLAIM स्टिकर छोड्नुहोस्।.

सोधिने प्रश्न

CLM-8B के हो, र एजेन्ट बिल्डरहरूले यसको बारेमा किन कुरा गरिरहेका छन्?

CLM-8B कन्ट्रास्टिभ ल्याङ्ग्वेज मोडेल लाइनमा सेट गरिएको पहिलो सार्वजनिक वजन हो - एउटा खुला अनुसन्धान रिलीज जुन एजेन्टहरूको लागि द्रुत निर्णय लूपको रूपमा प्रस्तुत गरिएको छ, केवल अर्को च्याट ब्रेन मात्र होइन। प्रशिक्षण कथाले राज्यहरूलाई ढिलो अर्को-टोकन निबन्ध भन्दा प्रणाली १ रिफ्लेक्स जस्तै कार्यहरूसँग जोड्दछ। आठ अर्ब प्यारामिटरहरूमा यो धेरै प्रयोगशालाहरू र इन्डी निर्माणकर्ताहरूको लागि होस्ट गर्न पर्याप्त सानो छ, अपाचे २.० लाइसेन्सिङ ड्रपको वरिपरि कभरेजमा फ्रेम गरिएको छ। लन्च पोस्टहरूमा संख्याहरू लेखक-रिपोर्ट गरिएका दावीहरू हुन्, स्वतन्त्र प्रयोगशाला पुन: रन होइनन्।.

एजेन्टहरूका लागि CLM-8B ले Jev भन्दा ९× छिटो भएको कसरी दाबी गर्छ?

प्रवर्द्धकहरूले Jev-वर्ग मोडेलहरू भन्दा लगभग 9× छिटो अनुमानको दाबी गर्छन्, टर्मिनल बेन्च सेटिङमा लगभग 32 ms-वर्ग प्रतिक्रियाहरू बकबक गर्छन्। हल्का फाइन-ट्युनिङ पछि तिनीहरूले बलियो एजेन्टिक कोडिङ परिणामहरू पनि रिपोर्ट गर्छन् - DeepSWE लगभग 81.6% र टर्मिनल-बेन्च 2.1 लगभग 87.6% - र धेरै कम विलम्बतामा Jev सँग तुलना गर्न सकिने केही शून्य-शट गुणस्तर। तेस्रो पक्षहरूले साझा हार्डवेयरमा पुन: उत्पादन नगरेसम्म 9× र मिलिसेकेन्डका तथ्याङ्कहरूलाई दावीको रूपमा व्यवहार गर्नुहोस्। सापेक्षिक गतिलाई अझै पनि ब्याच आकार, परिशुद्धता, र डिकोडिङ सेटिङहरू स्पेल गर्न आवश्यक छ।.

कन्ट्रास्टिभ ल्याङ्ग्वेज मोडेल तालिम सामान्य LLM भन्दा कसरी फरक छ?

धेरैजसो उत्पादन LLM ले एक पटकमा एउटा टोकन उत्पन्न गर्छ, जुन गद्य र लामो तर्कको लागि काम गर्छ तर एजेन्टले गर्ने प्रत्येक सूक्ष्म-निर्णयमा कर लगाउँछ। प्रवर्द्धकहरूले वर्णन गरेझैं विरोधाभासी भाषा मोडेल प्रशिक्षणले नेटवर्कलाई मनपर्ने चालहरूमा परिस्थितिहरू नक्सा गर्न धकेल्छ - उपन्यासकार भन्दा नीति प्रमुख जस्तै। त्यो प्रणाली १ फ्रेमिङले उपकरण कलहरू बीच सधैंभरि वर्णन गर्ने भन्दा छिटो राज्य-देखि-कार्य लूपहरूको पक्षमा छ। CLM-8B ले अझै पनि पाठ उत्सर्जन गर्न सक्छ; उद्देश्य र मूल्याङ्कन कथा एजेन्टिक नियन्त्रण तिर ढल्केको छ।.

CLM-8B कसले जारी गर्‍यो, र के यो साँच्चै खुला छ?

ज्याकी क्वोकले कामको परिचय दिए; अजलिया मिर्होसेनीले यसलाई बढाए; कभरेजले नामित अनुसन्धानकर्ताहरू, सार्वजनिक वजनहरू, र खुला कोडको साथ स्ट्यानफोर्ड र NVIDIA-लिङ्क गरिएको टोली प्रयासलाई फ्रेम गर्दछ। रिलीज वरिपरि लाइसेन्सिंग अपाचे २.० को रूपमा फ्रेम गरिएको छ, जुन फाइन-ट्युनिंग र ढुवानीको लागि महत्त्वपूर्ण छ - तर कभरेज सारांशहरूमा भर पर्नु अघि रिपोमा लाइसेन्स फाइलहरू पढ्नुहोस्। नामित खुला रिलीजहरू बेनामी डम्पहरू भन्दा छिटो तनाव-परीक्षण हुन्छन्। व्यापक तेस्रो-पक्ष प्रतिकृतिको लागि अझै चाँडै।.

एजेन्टिक कोडिङको लागि स्टेट-टु-एक्शन लूपहरू किन यति धेरै महत्त्वपूर्ण छन्?

एजेन्टिक कोडिङ प्रायः बाइनरी हुन्छ: परीक्षण हरियो हुन्छ वा हुँदैन, त्यसैले सफा कार्य छनौटहरूले सुन्दर असफलता निबन्धहरूलाई हराउँछन्। दर्जनौं उपकरण चरणहरूमा लेटन्सी यौगिकहरू - प्रति चरण शेभ समय र भित्ता घडी र क्लाउड बिलहरू दुवै सर्छन्। Jev-वर्ग पियरको तुलनामा दावी गरिएको परिमाणको गति, यदि यो जंगलमा "केवल" 4× को रूपमा अवतरण गर्छ भने पनि, क्षमता योजनालाई पुन: व्यवस्थित गर्दछ। हाइब्रिड स्ट्याकहरू - एक द्रुत CLM-जस्तो नियन्त्रक र कडा शाखाहरूमा एक भारी तर्ककर्ता - एक यथार्थवादी दीर्घकालीन आकार हो।.

के म CLM-8B को लागि DeepSWE र Terminal-Bench स्कोरहरूमा विश्वास गर्नुपर्छ?

ती सुइटहरूले भंगुर एजेन्टहरूलाई दण्ड दिन्छन्, त्यसैले ~८१.६% DeepSWE र ~८७.६% टर्मिनल-बेन्च २.१ हल्का फाइन-ट्युनिङ पछि रोमाञ्चक देखिन्छन्। एजेन्टिक बेन्चहरूले मचानलाई पनि पुरस्कृत गर्छन्: हार्नेस गुणस्तर, उपकरण अनुमति सूचीहरू, र रिकभरी प्रम्प्टहरूले सफलतालाई दोहोरो अंकले बदल्न सक्छन्। चार्टलाई स्थिर विज्ञानको रूपमा व्यवहार गर्नु अघि तौल वरिपरि कुन र्‍यापर बसेको थियो भन्ने कुरा खोज्नुहोस्। लेखक बेन्चहरू मार्केटिङ गरिरहेका छन् जबसम्म अरू कसैले तिनीहरूलाई दस्तावेज गरिएका रेसिपीहरूसँग पुन: उत्पादन गर्दैन।.

CLM-35B र 8B मोडेलको फाइन-ट्युनिङको बारेमा मलाई के थाहा हुनुपर्छ?

योजनाको रूपमा ठूलो CLM-35B फलो-अन उल्लेख गरिएको छ; यसले विलम्बता कथालाई कायम राख्छ वा गहिराइको लागि गति व्यापार गर्छ भन्ने कुरा अनिश्चित छ। CLM-8B लाई आफ्नै लिन्ट नियमहरूमा फाइन-ट्युनिङ गर्नु, CLI तैनाथ गर्नु, र मोनोरेपो ट्रेसहरू बलियो संख्याहरूको लागि यथार्थपरक मार्ग हो - पहिलो दिनमा शून्य-शट जादू होइन। टोलीहरूले दुवै आकारहरू राख्न सक्छन् यदि तिनीहरू अवतरण गर्छन् भने: हट लूपहरूको लागि 8B, कडा योजनाको लागि 35B। खुला तौलहरूले पनि दुरुपयोगलाई सजिलो बनाउँछ, त्यसैले रेलहरू र दर सीमाहरू उत्पादन हुन्, वैकल्पिक कस्प्ले होइनन्।.

हिउँ नपरिकनै म कसरी जेभ तुलनाहरू पढ्न सक्छु?

Jev-वर्ग तुलनाले "९× सम्म छिटो" पियर एङ्कर दिन्छ, जसले पिच ल्यान्ड गर्न मद्दत गर्छ। खतरा भनेको ब्याच साइज, परिशुद्धता, सन्दर्भ लम्बाइ, र उपकरण-कल सिरियलाइजेसनलाई एउटै गुणकमा ढाल्नु हो। जब च्याटरले ~३२ ms-वर्ग प्रतिक्रियाहरू उद्धृत गर्दछ, सोध्नुहोस् कि यसको अर्थ पहिलो टोकन, पूर्ण कार्य JSON, वा क्यास गरिएको उपसर्ग हो। कार्य सफलता, प्रति समाधान गरिएको टिकट डलर, र तपाईंको स्ट्याकमा मानव हस्तक्षेप दर मापन गर्नुहोस्। प्रतिद्वन्द्वी कथाहरूले प्रयोगशालाहरूलाई संख्याहरू प्रकाशित गर्न बाध्य पार्छ; तपाईंको उत्पादन KPI ले अझै पनि निर्णय गर्छ।.

उत्पादन एजेन्टहरूमा CLM-8B राख्नु अघि निर्माणकर्ताहरूले के गर्नुपर्छ?

टर्मिनल माइक्रो-लूप जस्ता विलम्बता-महत्वपूर्ण स्लाइस बनाउनुहोस् - र हार्नेसलाई स्थिर राखेर तपाईंको हालको वर्कहर्स विरुद्ध A/B फाइन-ट्यून गर्नुहोस्। गलत-तर-छिटो कार्यहरूको लागि हेर्नुहोस्; प्रमाणीकरण थप्नुहोस्, उल्टाउन मिल्ने उपकरणहरूलाई प्राथमिकता दिनुहोस्, र आत्मविश्वास कम हुँदा ढिलो तर्क गर्ने बजेट बनाउनुहोस्। प्रति GPU प्रति सेकेन्ड कार्यहरू ट्र्याक गर्नुहोस्, प्रति सेकेन्ड टोकन मात्र होइन। प्रयोगात्मक एजेन्टहरूमा उत्पादन गोप्यहरू टाँस्नुहोस्, र तपाईंको आफ्नै रनहरू नआएसम्म प्रत्येक प्रेस चार्टमा CLAIM स्टिकर छोड्नुहोस्।.

CLM-8B Just Droped दावीहरूको लागि म कसरी फेयर लेटेन्सी माइक्रो-लूप इभल निर्माण गर्न सक्छु?

वास्तविक असफल-परीक्षण ट्रेसहरूको सानो सेट फ्रिज गर्नुहोस्, मोडेलहरूमा एउटै उपकरण स्किमा र अनुमति सूची राख्नुहोस्, र चरणहरू, भित्ता-घडी, सफलता, र मानव हस्तक्षेपहरू लग गर्नुहोस्। यदि तपाईंले उपन्यास टिकटहरूको लागि विचारणीय एस्केप ह्याच राख्नुहुन्छ भने "अर्को उल्टाउन सकिने कार्य छान्नुहोस्" चरणमा मात्र CLM-8B प्रयोग गर्नुहोस्। लेखकलाई ~9×, DeepSWE, र मिलिसेकेन्ड फिगरहरूलाई दावीको रूपमा लेबल गर्नुहोस् जबसम्म यो हार्नेसले सफलता र विलम्बतामा एकसाथ जित देखाउँदैन। त्यो केन्द्रित eval ले स्लाइड डेकमा पुनर्लेखन उत्पादनलाई हराउँछ।.

सन्दर्भ सामग्रीहरू

  1. अँगालो हाल्ने अनुहार — विरोधाभासी भाषा मोडेल (CLM-v0.1-8B) — huggingface.co
  2. GitHub — कन्ट्रास्टिभ-LM / CLM — github.com
  3. Stanford University - Azalia Mirhoseini - cs.stanford.edu
  4. ज्याकी क्वोक — jackyk02.github.io
  5. X — ज्याकी क्वाक परिचय — x.com
  6. DeepSWE — deepswe.datacurve.ai
  7. स्नोर्केल एआई — टर्मिनल-बेन्च २.१ — snorkel.ai
  8. जेभ — jevtypesafeai.com
क्विज
१. CLM-8B मुख्यतया के रूपमा अवस्थित छ?

२. तपाईंले "Jev भन्दा लगभग ९× छिटो" दाबीलाई कसरी व्यवहार गर्नुपर्छ?

३. तपाईंको हालको काम गर्ने घोडा विरुद्ध A/B ले CLM-8B परीक्षण गर्दा, लेखले के सिफारिस गर्छ?

४. लेखले गम्भीर एजेन्ट प्रणालीहरूको लागि कुन हाइब्रिड स्ट्याक दृष्टिकोण सुझाव दिन्छ?

५. CLM-8B को व्यावसायिक फोर्क ढुवानी गर्नु अघि, निर्माणकर्ताहरूले के गर्नुपर्छ?


ब्लगमा फर्कनुहोस्