क्लाउड ओपस ५.५

क्लाउड ओपस ५.५ कोड एरिनामा #१ स्थानमा - अब उत्कृष्ट कोडिङ एआई प्रतिस्पर्धीहरू मध्ये एक

छोटो उत्तर: क्लाउड ओपस ५.५ को अधिकतम स्तर Arena.ai कोड एरिना वेबडेभमा १,८१८ अंकमा #१ रिपोर्ट गरिएको छ र कृत्रिम विश्लेषणको कोडिङ एजेन्ट सूचकांकमा । ती सार्वजनिक थर्मोमिटरहरू हुन्, तपाईंको ब्याकलग होइनन्। यदि तपाईं जीविकोपार्जनको लागि कोड पठाउनुहुन्छ भने, पूर्वनिर्धारित फ्लिप गर्नु अघि आफ्नै कार्यहरूमा छोटो बेक-अफ चलाउनुहोस्।

मुख्य कुराहरू:

कोड एरिना लिड: १,८१८ वेबडेभ एलोलाई उत्पादन प्रमाण होइन, प्राथमिकता शक्तिको रूपमा व्यवहार गर्नुहोस्।

एजेन्ट इन्डेक्स शिखर: असफलता महँगो पर्ने ठाउँमा स्टिकी टिकटहरूको लागि अधिकतम प्रयास ओपस रिजर्भ गर्नुहोस्।

लागत ट्रेडअफ: लग टोकन र वाल-घडी; शिखर स्कोर र सस्तो स्कोर भिन्न हुन्छन्।

पहिले बेक-अफ: एउटा UI बिल्ड, एउटा रिफ्याक्टर, र एउटा लामो एजेन्ट सत्र आफैं परीक्षण गर्नुहोस्।

क्राउन घुम्छ: रिलीज चक्रहरूमा भोल्युम कार्यको लागि सस्तो पूर्वनिर्धारित राख्नुहोस्।

लिडरबोर्ड अधिग्रहण, सरल रूपमा व्याख्या गरिएको

Arena.ai ले १,८१८ अंकका साथ Code Arena को WebDev लेनमा Claude Opus 5.5 (Max) लाई पहिलो नम्बरमा राखेको छ । यो अर्को मोडेल, GPT-6 Astra Max भन्दा लगभग छब्बीस अंकले अगाडि छ र पहिलेको Opus 5 Max को तुलनामा ठूलो फड्को मारेको छ, जुन १,६९२ को नजिक थियो। ती रिपोर्ट गरिएका बोर्ड नम्बरहरू हुन्, मैले स्वतन्त्र रूपमा हर्मेटिक प्रयोगशालामा पुन: चलाएको कुरा होइन। तैपनि, एउटै परिवारको Max टियरमा ~१२६-बिन्दुको कदम भनेको डेल्टाको प्रकार हो जसले मानिसहरूलाई खेलकुद स्कोर जस्तै Elo चार्टहरू ताजा बनाउँछ।

कृत्रिम विश्लेषणले, छुट्टै रूपमा, Opus 5.5 लाई यसको कोडिङ एजेन्ट सूचकांकमा नयाँ नम्बर एकको रूपमा रिपोर्ट गर्दछ, तिनीहरूले ट्र्याक गर्ने मूल्याङ्कनहरूमा लाभहरू सहित। क्लाउड कोड भित्र अधिकतम प्रयासमा, मोडेलले त्यो सूचकांकमा 66 स्कोर गर्यो - उनीहरूले अहिलेसम्म मापन गरेको उच्चतम। नोटमा एउटा क्याच बेक्ड छ: जब तपाईं प्रयासलाई त्यति कडा धक्का दिनुहुन्छ तब लागत-प्रति-कार्य उच्च हुन्छ। शिखर स्कोर र सस्तो स्कोर एउटै जनावर होइनन्।

ती दुई संकेतहरूलाई एकसाथ राख्नुहोस् र तपाईंले सबैभन्दा महत्त्वपूर्ण कथाको कोण पाउनुहुनेछ: "मोडेल सुरु गरिएको" होइन, तर "कोडिङ बोर्डहरू हतारमा पल्टाइयो।" सुरुवात घोषणाहरू प्रेस हुन्। लिडरबोर्ड टेकओभरहरू भनेको प्रयोगकर्ताहरूलाई अफ आवरमा समूह च्याटहरूमा स्क्रिनसट लिन बल दिने कुरा हो।.

  • Arena.ai कोड Arena WebDev: Opus 5.5 (अधिकतम) १,८१८ मा रिपोर्ट गरिएको छ
  • कभरेजमा ग्याप बनाम अर्को नाम दिइएको प्रतिद्वन्द्वी: लगभग +२६ बनाम GPT-६ Astra Max
  • जम्प बनाम अघिल्लो ओपस ५ म्याक्स: ~१,६९२ बाट १,८१८ तिर
  • कृत्रिम विश्लेषण कोडिङ एजेन्ट सूचकांक: नयाँ #१; क्लाउड कोडमा अधिकतम प्रयासमा ६६
  • उही अनुक्रमणिका नोट: त्यो प्रयास सेटिङमा प्रति कार्य उच्च लागत

रिपोर्ट गरिएको स्न्यापसट: कोड एरिनामा ओपस ५ म्याक्स बनाम ओपस ५.५ म्याक्स

फिड सबै मुड र स्क्रिनसट भएको बेला तुलना तालिकाहरूले मद्दत गर्छ। तल एक साधारण रिपोर्ट गरिएको स्न्यापसट फ्रेमिङ छ, स्वतन्त्र बेक-अफ होइन। कोषहरू अलि असमान छन् किनभने सार्वजनिक बोर्डहरू सधैं हुन्छन् - र किनभने "अधिकतम" नामकरण पहिले नै तपाईंको आँखा चिम्लने पर्याप्त छ।.

मोडेल (रिपोर्ट गरिए अनुसार) बोर्ड / लेन अङ्क / अङ्क मानिसहरूले यसमा के पढिरहेका छन्
क्लाउड ओपस ५ म्याक्स (अघिल्लो) Arena.ai कोड एरिना - WebDev ~१,६९२ (रिपोर्ट गरिएको) बलियो, तर अब शीर्षक रहेन
क्लाउड ओपस ५.५ (अधिकतम) Arena.ai कोड एरिना - WebDev १,८१८ (रिपोर्ट गरिएको #१) माथिल्लो पोस्ट खाली गर्नुहोस्; ठूलो कदम बनाम पूर्व म्याक्स
GPT-6 एस्ट्रा म्याक्स समान कोड एरेना WebDev बकवास यदि तपाईंले ~२६ को अन्तर घटाउनुभयो भने ~१,७९२ (रिपोर्ट गरिएको फ्रेमिङ) राउन्ड बनाउने पोस्टहरूमा दोस्रो स्थानमा बन्द गर्नुहोस्
अधिकतम प्रयासमा ओपस ५.५ कृत्रिम विश्लेषण कोडिङ एजेन्ट सूचकांक ६६ (उनीहरूको रिपोर्ट अनुसार उनीहरूले मापन गरेको उच्चतम) पिक एजेन्ट कोडिङ स्कोर - खर्चिलो पक्ष उल्लेख गरिएको छ
कम प्रयास / सस्तो दौड उही फराकिलो कोडिङ तस्वीर यहाँ एउटा पनि सार्वजनिक जादुई संख्या छैन। ट्रेडअफ क्षेत्र: "पर्याप्त राम्रो" बनाम "अधिकतम चार्ट"

केही पाठकहरूका लागि तालिका पहिले नै विजेताको मुकुट बनाउन पर्याप्त छ जस्तो लाग्छ। त्यस्तो होइन। एलो र एजेन्ट इन्डेक्स उपयोगी थर्मोमिटरहरू हुन्। तिनीहरू तपाईंको उत्पादन ब्याकलग होइनन्।.

कोड एरिनाले हुड अन्तर्गत के मापन गर्छ

यदि तपाईंले श्रेणी मात्र पढ्नुभयो भने, तपाईंले परीक्षणको आकार गुमाउनुहुनेछ। कोड एरिना, विशेष गरी वेबडेभ स्वाद मानिसहरूले उद्धृत गरिरहेका छन्, कोडिङ र इन्टरफेस-निर्माण कार्यहरूमा तुलनात्मक प्राथमिकताको। मानिसहरू (र एरिनाको मतदान मेसिनरी) ले मोडेल आउटपुटहरू बीच विजेताहरू छान्छन्। त्यो कोडलाई पुरस्कृत गर्दछ जुन सही देखिन्छ, डेमोहरूमा सफा चल्छ, र अन्धा-इश तुलना अन्तर्गत पॉलिश गरिएको महसुस हुन्छ - फ्रन्टएन्ड संरचना, अन्तरक्रियात्मकता, दृश्य सुसंगतता, त्यस्तो चीज जसले स्थानीय होस्ट पूर्वावलोकनलाई "शिप इट" भनेर चिच्याउछ।

त्यो स्थिर बहु-विकल्प कोडिङ परीक्षा भन्दा फरक खेल हो। यो लामो-क्षितिज एजेन्ट इभल भन्दा पनि फरक छ जहाँ मोडेलले आफूलाई कुनामा नराखी दर्जनौं उपकरण कलहरूको लागि शेल सत्र जीवित राख्नु पर्छ। एउटा मोडेलले राम्रो UI चुनौतीलाई कुचल्न सक्छ र अझै पनि एक भद्दा मोनोरेपो माइग्रेसनमा यात्रा गर्न सक्छ जसलाई तीन पुस्तकालयहरू पिन गरिएको र एक बन्धक अवस्था जस्तै वार्ता गरिएको फ्ल्याकी परीक्षण सुइट आवश्यक पर्दछ।.

त्यसैले जब Opus 5.5 WebDev मा १,८१८ मा बस्छ, यसलाई Arena मतदाताहरूले देख्ने निर्माणहरूको प्रकारमा प्राथमिकता शक्तिको रूपमा पढ्नुहोस्। द्रुत लोकलहोस्ट एपहरू, खेलहरू, स्टोरीबोर्डहरू, र भिजुअल UI हरू त्यो लेनमा लगभग धेरै राम्रोसँग फिट हुन्छन् - जुन रातभरको डेमोहरू बाढी आउने समयरेखासँग मेल खान्छ। Preference Elo झूट होइन। यो एक विशेष प्रकारको सत्य हो। यसलाई मेनुहरू स्वाद लिने जस्तै व्यवहार गर्नुहोस्, पूर्ण पोषण प्यानल होइन।.

अर्को एउटा विचित्रता: अधिकतम-स्तरीय लेबलिङ। उच्च प्रयास / उच्च क्षमता सेटिङहरूको अर्थ प्रायः बढी टोकनहरू, बढी गणना र बढी धैर्यता हो। अधिकतम भेरियन्टहरू सतहमा आउने बोर्डहरूले स्ट्यान्डअप आधा-हेर्दा तपाईंले गर्ने दैनिक API कल होइन, छत देखाउँछन्। छत महत्त्वपूर्ण छ। दैनिक चालक लागत पनि महत्त्वपूर्ण छ। दुवै विचार राख्नुहोस्।

कोडिङ एजेन्ट सूचकांक र लागत-बनाम-पीक ट्रेडअफ

आर्टिफिसियल एनालिसिसको कोडिङ एजेन्ट इन्डेक्स यस वृद्धि कथाको अर्को स्तम्भ हो। उनीहरूको रिपोर्टले ओपस ५.५ लाई शीर्षमा राख्छ, उनीहरूले ट्र्याक गर्ने मूल्याङ्कनहरूमा सुधारहरू सहित, र क्लाउड कोडमा अधिकतम प्रयासमा त्यो स्ट्यान्डआउट ६६। उनीहरूले मापन गरेको उच्चतम भनेको बलियो वाक्य हो। यो वयस्क फुटनोटको साथ पनि आउँछ: जब तपाईं एक्सेलेरेटरलाई तल गर्नुहुन्छ तब लागत-प्रति-कार्य बढ्छ।

यो बजेट भएका टोलीहरूको लागि उत्तम-मोडेल तर्कको मुटु हो। अधिकतम प्रयासमा जित्ने मोडेलले अझै पनि हप्ता गुमाउन सक्छ यदि प्रत्येक कार्यले टोकनमा थोरै भाग्य जलाउँछ भने। प्रसारित कुराकानीले पहिले नै नोट गर्दछ कि केही प्रयोगकर्ताहरूले लामो सत्रहरूमा टोकन बर्न देख्छन्। त्यसले स्कोर रद्द गर्दैन। यसले उत्पादन निर्णयलाई पुन: फ्रेम गर्दछ: खराब टिकटहरूको लागि अधिकतम प्रयास आरक्षित गर्नुहोस्, र ग्लु कोड, रिफ्याक्टरहरू, र "यो बटनलाई कम कुरूप बनाउनुहोस्" कामको लागि सस्तो प्रोफाइल राख्नुहोस्।.

यसलाई एक घण्टौंसम्म बिल गर्ने र छिटो कुरा गर्ने एक किसिमको ठेकेदारलाई काममा राख्नु जस्तै सोच्नुहोस्। तपाईं तिनीहरूलाई कठिन समस्यामा राख्न चाहनुहुन्छ। तपाईं तिनीहरूलाई प्रत्येक README पुन: लेख्न चाहनुहुन्न। पीक एजेन्ट स्कोर भनेको क्षमता दाबी हो। लागत-प्रति-कार्य एक सञ्चालन दाबी हो। बिहान १ बजे एकल इन्डी ह्याकिङको लागि उत्तम कोडिङ AI भनेको युनिट अर्थशास्त्र हेर्ने कम्पनीको लागि स्वचालित रूपमा उत्तम कोडिङ AI होइन। दुबै समूहहरू एउटै लिडरबोर्ड स्क्रिनसटको बारेमा चिच्याइरहेका छन्।.

  • कार्य टाँसिने, बहु-फाइल भएको र असफलता महँगो भएको बेला अधिकतम प्रयास गर्नुहोस्।
  • काम नियमित हुँदा र तपाईंलाई भोल्युम चाहिएमा डायल डाउन गर्नुहोस्
  • सार्वजनिक Elo मात्र नभई, प्रति मर्ज गरिएको PR को आफ्नै लागत ट्र्याक गर्नुहोस्
  • एजेन्ट इन्डेक्स र एरिना एलो कहिलेकाहीं असहमत हुने अपेक्षा गर्नुहोस् - फरक खेलहरू

रातभर विकासकर्ताको प्रतिक्रिया: एप्स, खेलहरू, र "नर्फ नगर्नुहोस्" ऊर्जा

संख्याहरूले हेडलाइनहरू व्याख्या गर्छन्। डेमोहरूले मुड व्याख्या गर्छन्। विकासकर्ताहरूले द्रुत लोकलहोस्ट एपहरू, साना खेलहरू, स्टोरीबोर्डहरू, र UI/भिजुअल बिल्डहरू पोस्ट गरिरहेका छन् जुन गत त्रैमासिकमा एक सप्ताहांत लिने जस्तो देखिन्छ। त्यसमध्ये केही चयन पूर्वाग्रह हो - मानिसहरूले विजेताहरू साझा गर्छन्, पहिलो आएका तीन असफल पुस्ताहरू होइन। तैपनि, "पर्खनुहोस्, त्यो सफा भयो" पोस्टहरूको मात्रा किन यो शान्त प्याच नोटको सट्टा वृद्धि जस्तो महसुस हुन्छ भन्ने अंश हो।.

मजाक चक्र पहिले नै परिपक्व भइसकेको छ: कृपया ओपस ५.५ लाई नफर्काउनुहोस्। त्यो मजाक तब मात्र देखिन्छ जब कुनै मोडेल जंगलमा धेरै राम्रो महसुस गर्छ, वा जब विगतका रिलीजहरूले मानिसहरूलाई सुरक्षा र उत्पादन अपडेटहरूले कहिलेकाहीं किनारालाई सुस्त बनाउँछ भनेर सिकाउँथ्यो। कुनै पनि nerf आउँदैछ कि आउँदैन भन्ने कुरा बिन्दुको छेउमा छ। मेम भनेको भावनामा तापक्रम जाँच हो। अहिले त्यो गेज चम्किरहेको छ।.

प्लेटफर्महरू पनि सर्दै छन्। उदाहरणका लागि, क्वेस्टफ्लोले ओपस ५ बाट ५.५ मा स्तरोन्नतिको घोषणा गर्दै चर्चामा रहेको छ। जब टुलिङ विक्रेताहरूले द्रुत गतिमा बम्प पठाउँछन्, यो माग मूर्त छ र अघिल्लो तहलाई पहिले नै गत हप्ताको पूर्वनिर्धारित मानिन्छ भन्ने संकेत हो। एकीकरण गति आफ्नै प्रकारको समीक्षा हो: उत्पादन टोलीहरूले खेलकुदका लागि मोडेल पिकरहरूलाई पुन: लेख्दैनन्।.

उपाख्यानात्मक निर्माणहरू विकासकर्ताको प्रतिक्रिया हुन्, नियन्त्रित अडिटहरू होइनन्। त्यो भिन्नतालाई आफ्नो निधारमा ट्याटुमा राख्नुहोस्। एउटा भव्य स्टोरीबोर्ड डेमोले उद्यमको विश्वसनीयता प्रमाणित गर्दैन। यसले प्रमाणित गर्छ कि रचनात्मक कोडिङ कार्यप्रवाहहरू चिनी रश हुँदैछन् - र चिनी रशले मानिसहरूले अर्को प्रयास गर्ने कुरा परिवर्तन गर्दछ।.

किन नम्बर एकले दैनिक कामको लागि "सर्वश्रेष्ठ कोडिङ एआई" स्वचालित रूपमा बराबर गर्दैन?

छोटो उत्तर: केही कामको लागि, केही हप्ताको लागि। लामो उत्तर: उत्तम भनेको ट्रफी भएको नाटक गर्ने पोर्टफोलियो शब्द हो।.

यदि तपाईंको दिन WebDev-आकारको छ भने - ल्यान्डिङ पृष्ठहरू, अन्तरक्रियात्मक प्रोटोटाइपहरू, दृश्य पोलिश, द्रुत खेलहरू, स्टोरीबोर्ड-जस्तै प्रवाहहरू - कोड एरिना WebDev लिड अत्यधिक सान्दर्भिक छ। प्राथमिकता विजेताहरू ब्राउजरमा राम्रो देखिन्छन्, र ब्राउजरमा राम्रो देखिनु त्यो लेनमा आधा काम हो। यदि तपाईंको दिन उपकरणहरू, शेलहरू, र लामो सत्रहरू सहितको जटिल कोडबेसमा एजेन्टिक कोडिङ हो भने, कोडिङ एजेन्ट इन्डेक्स शिखर अझ रोचक संकेत हो - लागत चेतावनी अझै पनि संलग्न छ।.

यदि तपाईंको दिन पृथ्वीमा सबैभन्दा कठिन कार्यहरू हो भने - नयाँ एल्गोरिदमहरू, सुरक्षा-महत्वपूर्ण प्रणालीहरू, आदिवासी ज्ञानको साथ गाँठो पारिएको लिगेसी स्ट्याकहरू - प्रसारित प्रयोगकर्ता नोटहरूले पहिले नै भन्छन् कि Opus 5.5 अझै पनि सबैभन्दा कठिन समस्याहरूमा पछ्याउन सक्छ र सत्रहरू तान्दा टोकनहरू जलाउन सक्छ। त्यो डंक होइन। यो परिचित सीमा ढाँचा हो: औसत केस उफ्रिन्छ, प्याथोलॉजिकल केस प्याथोलॉजिकल रहन्छ। यो सम्पूर्ण टुक्रामा सबैभन्दा कम ग्लैमरस वाक्य हुन सक्छ, र सायद सबैभन्दा व्यावहारिक वाक्य हुन सक्छ।.

सोही हप्तामा प्रतिस्पर्धीहरूको ढुवानीलाई पनि विचार गर्नुहोस्। च्याटरले उही स्क्र्याम्बलमा OpenAI GPT-6 Sol/Luna-class रिलीजहरू उल्लेख गरेको छ। जब धेरै प्रयोगशालाहरू एकअर्काको दिन भित्र खस्छन्, लिडरबोर्डहरू घुम्ने ढोका बन्छ। आजको #१ भोलिको "अझै उत्कृष्ट, तर यो अर्को चार्ट हेर्नुहोस्" हुन सक्छ। उत्तम अस्थायी हो। क्षमताको भुइँहरू स्थायी रूपमा माथि उठ्ने गर्छन्। स्क्रिनसटमा होइन, र्‍याचेटमा शर्त लगाउनुहोस्।.

उत्पादन दावीहरू प्रसारित गर्दै (सावधानीपूर्वक ह्यान्डल गर्नुहोस्)

बोर्डहरूभन्दा बाहिर, उत्पादन दावीहरूको एक सेट सामान्य च्यानलहरूमा प्रसारित भइरहेको छ। यी दावीहरूलाई प्रसारित दावीहरूको रूपमा श्रेय दिनुहोस्, यस लेखबाट प्रमाणित प्रयोगशाला परिणामहरू होइनन्:

फेबल-क्लास लागत दाबी विशेष गरी मसालेदार छ किनभने यसले गुणस्तर र बचत दुवै एकैचोटि बेच्ने प्रयास गर्दछ। यदि यो तपाईंको कार्यभारमा रहन्छ भने, यो पहिले ओपस-स्तरीय गुणस्तरलाई हरेक रातको फेन्सी डिनर जस्तै मूल्यवान ठान्ने जो कोहीको लागि ठूलो कुरा हो। यदि यो तपाईंको प्रम्प्टहरूको लागि रहन सक्दैन भने, तपाईंले यसलाई Elo मा महसुस गर्नु अघि बीजकमा महसुस गर्नुहुनेछ। व्यक्तिगत कार्यभार > मार्केटिंग आसन्नता। सधैं।.

बलियो कम्प्युटर प्रयोग र एजेन्टिक कोडिङ भनेको कृत्रिम विश्लेषणको कथासँग सबैभन्दा स्पष्ट रूपमा मेल खाने दाबी हो। उपकरणहरू चलाउन सक्ने, वरिपरि क्लिक गर्न सक्ने र राज्य सुसंगत राख्न सक्ने एजेन्टहरू धेरै निर्माणकर्ताहरूले चाहेको उत्पादन आकार हुन्। WebDev मा प्राथमिकता Elo र एजेन्ट इन्डेक्स शिखरहरू समान जुम्ल्याहा नभई पनि ताल मिलाउन सक्छन्। जब तिनीहरू ताल मिलाउँछन्, मानिसहरू ठूलो स्वरमा उठ्छन्। जब तिनीहरू पछि अलग हुन्छन्, मानिसहरू निन्दनीय हुन्छन्। बीचमा बस्नुहोस्।.

समान-हप्ता स्क्र्याम्बल: किन समयले सबै कुरालाई बढाउँछ

ओपस ५.५ शान्त समाचार मरुभूमिमा आइपुगेन। यो हालै उही हप्तामा सुरु भयो जब प्रतिस्पर्धी मोडेलहरू रिलीज हुन्छन् जुन कुराकानी एकसाथ जम्मा भइरहन्छ - जसमा ओपनएआई जीपीटी-६ सोल/लुनाले उल्लेख गरेको छ। त्यो भीडले महत्व राख्छ। भीडभाड भएका हप्ताहरूले तुलनात्मक स्क्रिनसटहरू सिर्जना गर्छन्। तुलनात्मक स्क्रिनसटहरूले आदिवासी शिविरहरू सिर्जना गर्छन्। आदिवासी शिविरहरूले भ्रम सिर्जना गर्छन् कि एउटा चार्टले सभ्यतालाई बसाल्छ।.

यसले एक बताउने तनाव परीक्षण पनि सिर्जना गर्छ। जब धेरै बलियो मोडेलहरू एकैचोटि हिट हुन्छन्, विकासकर्ताहरूले तिनीहरूलाई घण्टा भित्र एउटै खेलौना एपहरूमा A/B गर्छन्। रातभरको लोकलहोस्ट बूम आंशिक रूपमा सामाजिक सञ्जालमा चुहावट भएको तनाव परीक्षण हो। तपाईं भयानक पद्धति र उत्कृष्ट मनोरञ्जन मूल्यको साथ वितरित बेक-अफ हेर्दै हुनुहुन्छ। यो विज्ञान होइन। यदि तपाईंले छनोट पूर्वाग्रहलाई आँखा चिम्लिएर हेर्नुभयो र छुट दिनुभयो भने यसले अझै पनि संकेत बोक्न सक्छ।.

एन्थ्रोपिकको लागि, त्यो स्क्र्याम्बलको समयमा कोड एरिना र कोडिङ एजेन्ट इन्डेक्समा #१ पोस्टहरू ल्यान्ड गर्नु उत्कृष्ट समय हो - वा उत्कृष्ट मोडेल गुणस्तर जुन समय जस्तो देखिन्छ। जे भए पनि, कथा अड्कियो: कोडिङ सर्ज, केवल सुरुवात पोस्ट मात्र होइन।.

निर्माणकर्ताहरूले यससँग के गर्नुपर्छ

व्यावहारिक खेलकुद, रहस्यवाद होइन:

  • आफ्नै तीन-कार्य बेक-अफ चलाउनुहोस्: एउटा UI निर्माण, एउटा बहु-फाइल रिफ्याक्टर, एउटा लामो एजेन्ट सत्र
  • लग टोकन र भित्ता घडी, "यसले काम गर्यो" मात्र होइन
  • श्रेणीकरण कथाको लागि Arena.ai र कृत्रिम विश्लेषणलाई प्राथमिक सार्वजनिक थर्मोमिटरको रूपमा व्यवहार गर्नुहोस्।
  • धेरै भोल्युम भएका कामहरूको लागि सस्तो पूर्वनिर्धारित मोडेल राख्नुहोस्
  • यदि तपाईं क्वेस्टफ्लो जस्ता प्लेटफर्महरू प्रयोग गर्नुहुन्छ जुन पहिले नै ५.५ मा फ्लिप गरिएको छ भने, सबै कुरा पुन: लेख्नु अघि तपाईंको अवस्थित कार्यप्रवाह कसरी परिवर्तन हुन्छ हेर्नुहोस्।
  • "सधैंभरिको लागि उत्कृष्ट" टेकहरूलाई बेवास्ता गर्नुहोस्; केही रिलीज चक्रहरूमा पुन: भ्रमण गर्नुहोस्

यदि UI कार्य पप भयो र लामो एजेन्ट सत्र महँगो भयो भने, तपाईंसँग एक दिउँसो तपाईंको उत्तर हुनेछ। यदि पप र लागत दुवै तपाईंको स्केलको लागि ठीक छ भने, बधाई छ - तपाईंसँग नयाँ पूर्वनिर्धारित हुन सक्छ। यदि सबैभन्दा कठिन कार्य अझै पनि असफल भयो भने, तपाईंले केहि कुरा सिकेको छ जुन लिडरबोर्डहरूले तपाईंलाई कहिल्यै बताउने थिएनन्। त्यो सम्पूर्ण खेल हो। थोरै सुख्खा। अत्यन्तै व्यावहारिक।.

एउटा अपूर्ण रूपक, किनकि यी लेखहरूमा ब्रह्माण्डीय कानूनद्वारा एउटा हुनु आवश्यक छ: एकल एलो लिडलाई "सर्वश्रेष्ठ कोडिङ एआई" को रूपमा व्यवहार गर्नु भनेको संसारको सबैभन्दा राम्रो शेफलाई ताज पहिराउनु जस्तै हो किनभने उनीहरूले मिठाई प्रतियोगिता जितेका थिए। मिठाईहरूले फरक पार्छन्। भाँचिएको चुल्होले बाह्र जना छनौट गर्ने आफन्तहरूको लागि खाना पकाउनु पनि त्यस्तै हो। तपाईंको रिपो भनेको आफन्तहरू हुन्।.

यो कसरी फराकिलो कोडिङ-एआई हतियार दौडमा फिट हुन्छ

जुम आउट गर्नुहोस् र ढाँचा परिचित छ। प्रयोगशालाहरू पठाइन्छ। बोर्डहरू फेरबदल हुन्छन्। विकासकर्ताहरूले नयाँ छतमा झुण्डिन्छन्। उपकरण विक्रेताहरूले पूर्वनिर्धारित स्तरहरू अपग्रेड गर्छन्। कसैले आश्चर्यजनक मिनी-खेल पोस्ट गर्छन्। कसैले खराब बगमा विफलता पोस्ट गर्छन्। क्राउनले टाउको परिवर्तन गर्दा पनि मध्य क्षमता माथितिर बढ्छ।.

यहाँ ताजा महसुस हुने कुरा भनेको डुअल-बोर्ड सिग्नल र महिमासँगै यात्रा गर्ने लागत फुटनोट हो। हामी त्यो युग पार गरिसकेका छौं जहाँ एकल च्याट बेन्चमार्कले सम्पूर्ण कथा बोक्न सक्छ। कोडिङ कार्य व्यवहारमा बहु-मोडल हो: लेख्नुहोस्, सम्पादन गर्नुहोस्, ब्राउज गर्नुहोस्, क्लिक गर्नुहोस्, चलाउनुहोस्, पुन: प्रयास गर्नुहोस्। लीन एजेन्टिक र लीन वेबडेभ प्राथमिकता अरेनाले सूचकांकहरूले त्यसको फरक स्लाइसहरू समातिरहेका छन्। जब एउटा मोडेलले एकैचोटि दुवै स्लाइसहरू नेतृत्व गर्छ, सर्ज टक आफैं लेख्छ।.

स्पष्ट आँखाले लेख्ने कसैलाई पनि थाहा छैन कि Opus 5.5 शीर्षमा रहनेछ कि रहनेछैन। प्रतिद्वन्द्वी Max स्तरहरू पहिले नै WebDev बोर्डमा चिच्याउने दूरी भित्र छन् यदि ~26-बिन्दु ग्याप फ्रेमिङले राख्छ भने। त्यो सानो ग्यापहरू पल्टिन सक्छन्। डेमोहरूमा "रातभर राम्रो" महसुस गर्ने क्षमता अझै पनि केही हप्ता पछि नयाँ सामान्य हुन सक्छ जब सबैले अनुकूलन गर्छन्। रोचक टिकाउ प्रश्न मुकुट होइन। यो हो कि एजेन्टिक कोडिङ गुणस्तर-प्रति-डलर साधारण निर्माणकर्ताहरूको लागि चढ्दै जान्छ। त्यो प्रश्नमा, स्पष्ट लागत चेतावनीको साथ 66 को नयाँ मापन गरिएको उच्च स्पष्ट, मार्केटिंग-सम्बन्धित रिपोर्टिङ हो। क्रेडिट जहाँ देय छ।.

तल्लो रेखा

क्लाउड ओपस ५.५ को अधिकतम स्तर Arena.ai को कोड एरिना वेबडेभ लेनमा १,८१८ अंकमा #१ रिपोर्ट गरिएको छ, कभरेजमा अर्को नाम दिइएको प्रतिद्वन्द्वी भन्दा लगभग छब्बीस अगाडि र १,६९२ नजिकको अघिल्लो ओपस ५ म्याक्स भन्दा धेरै माथि। कृत्रिम विश्लेषणले यसलाई कोडिङ एजेन्ट इन्डेक्समा नयाँ #१ को रूपमा रिपोर्ट गर्दछ, क्लाउड कोडमा अधिकतम प्रयासमा ६६ - अहिलेसम्मको उनीहरूको उच्चतम - साथै त्यो प्रयाससँगै प्रति-कार्य लागत बढ्छ भन्ने नोट। विकासकर्ताको प्रतिक्रिया ठूलो छ: छिटो लोकलहोस्ट एपहरू, खेलहरू, स्टोरीबोर्डहरू, UI निर्माणहरू, "नर्फ नगर्नुहोस्" चुटकुलेहरू, र क्वेस्टफ्लो जस्ता प्लेटफर्म अपग्रेडहरू Opus ५ बाट ५.५ मा सर्दै। प्रसारित दावीहरूले Fable-वर्ग-मा-कम-लागतको कथा, बलियो एजेन्टिक/कम्प्युटर-प्रयोग भावना, र कठिन कार्यहरू र टोकन बर्नको बारेमा परिचित चेतावनीहरू थप्छन्।.

WebDev-आकारको प्राथमिकता कार्यहरू र उच्च-प्रयास एजेन्ट कोडिङको लागि, सार्वजनिक बोर्डहरूले Opus 5.5 अहिले अग्रणी रहेको बताएका छन्। तपाईंको विशिष्ट रिपो, बजेट, र दुःस्वप्न टिकटहरूको लागि, तपाईंले अझै पनि बेक-अफ चलाउनु पर्छ। क्राउनहरू घुम्छन्। उपकरणहरू कम्पाउन्ड। वृद्धि प्रयोग गर्नुहोस्, यसलाई पूजा नगर्नुहोस्। र सायद दोस्रो मोडेललाई न्यानो राख्नुहोस् जब इनभ्वाइस प्लट ट्विस्ट जस्तो देखिन थाल्छ।.

व्यावहारिक उदाहरण: आफ्नो पूर्वनिर्धारित परिवर्तन गर्नु अघि तीन-कार्य ओपस ५.५ बेक-अफ चलाउँदै

को बारेमा लिडरबोर्ड स्क्रिनसटहरू कोड एरिनामा भर्खरै #१ स्थानमा छ - अब उत्कृष्ट कोडिङ एआई प्रतियोगीहरूमध्ये थर्मोमिटरहरू हुन्, तपाईंको ब्याकलग होइन। यहाँ कसरी एक बेलायती फ्रीलान्स फुल-स्ट्याक विकासकर्ताले कुनै पनि पूर्वनिर्धारित मोडेल पिकर फ्लिप गर्नु अघि रातभरको एलो सर्जलाई एक-दिउँसोको बेक-अफमा परिणत गरे - एउटा UI निर्माण, एउटा बहु-फाइल रिफ्याक्टर, एउटा लामो एजेन्ट सत्र।

परिदृश्य

रिलेले क्लाइन्ट ल्यान्डिङ पृष्ठहरू र SaaS साइड प्रोजेक्टको लागि फराकिलो React/Node मोनोरेपो पठाउँछ। Arena.ai कोड एरिना वेबडेभ पोस्टहरू र आर्टिफिसियल एनालिसिसको कोडिङ एजेन्ट इन्डेक्स च्याटरले Opus 5.5 (Max) लाई ताज लगाएपछि, Slack ले "सबै कुराको लागि Max प्रयोग गर्नुहोस्" ऊर्जाले भरिएको छ। रिलेलेको इनभ्वाइसहरू पहिले नै लामो सत्रहरूमा डंकिरहेका छन्, र गत त्रैमासिकको "सबैभन्दा राम्रो सधैंभरि" स्वैपले तिनीहरूलाई महिनामा दुई पटक पुन: लेखन प्रम्प्टहरू छोडेको छ।.

तिनीहरूले सार्वजनिक बोर्डहरूलाई सन्दर्भको रूपमा राख्छन् - WebDev मा १,८१८ रिपोर्ट गरिएको, लागत फुटनोटको साथ एजेन्ट-सूचकांक शिखर - र Elo लाई उत्पादन निर्णयको रूपमा व्यवहार गर्न अस्वीकार गर्छन्। योजना: सामान्य प्रयास सेटिङमा Opus 5.5 मा तीन निश्चित कार्यहरू र, आवश्यक भएमा मात्र, स्टिकी टिकटमा एक अधिकतम/अधिकतम-प्रयास पास। लग टोकनहरू, भित्ता-घडी, र परिवर्तन मुख्यमा अवतरण भयो कि भएन। ग्लु कामको लागि सस्तो मोडेल न्यानो रहन्छ।.

लक्ष्य भनेको "सर्वोत्तम" को व्यक्तिगत परिभाषा हो: प्रति मर्ज गरिएको परिवर्तनको गुणस्तर, समूह-च्याट स्क्रिनसट होइन।.

सहायकलाई के चाहिन्छ

  • तीन फ्रोजन ब्रीफहरू: (१) एउटा सानो अन्तरक्रियात्मक WebDev UI, (२) परीक्षणहरू सहितको बहु-फाइल रिफ्याक्टर, (३) उपकरण/शेल चरणहरू सहितको लामो एजेन्ट-शैली सत्र।
  • स्कोरिङ पाना: कार्य / प्रयास सेटिङ / टोकनहरू / भित्ता-घडी / सफा गरियो? / मर्ज गरियो? / नोटहरू
  • उही तीनवटा ब्रीफहरूमा अघिल्लो पूर्वनिर्धारित मोडेलका आधारभूत नोटहरू (कमजोर भए पनि)
  • बजेट नियम: असफलता महँगो हुँदा मात्र अधिकतम प्रयास; ठूलो मात्रामा काम गर्दा सस्तो पूर्वनिर्धारित
  • "थर्मामिटर मात्र" लेबल गरिएका सार्वजनिक बोर्डहरूको लिङ्क वा स्क्रिनसटहरू, स्वीकृति मापदण्ड होइन।
  • एक मानव मालिक जसले बेक-अफ पछि पूर्वनिर्धारित निर्णय गर्छ - पहिलो सुन्दर लोकलहोस्ट डेमो पछि होइन।

उदाहरण निर्देशन

मेरो कोडिङ पूर्वनिर्धारित परिवर्तन गर्नु अघि तपाईंले मलाई क्लाउड ओपस ५.५ को लागि तीन-कार्य बेक-अफ चलाउन मद्दत गरिरहनुभएको छ। मैले टाँसेको कार्य संक्षिप्त विवरण र प्रयोग संख्याहरू मात्र प्रयोग गर्नुहोस्। एरेना एलो, एजेन्ट-सूचकांक स्कोर, वा लागत प्रतिशत आविष्कार नगर्नुहोस्।.

कार्य: तीनवटा ब्रीफका लागि प्लेसहोल्डरहरूले भरिएको मेरो स्कोरिङ पाना बनाउनुहोस्। त्यसपछि छ-बुलेट निर्णय नियम लेख्नुहोस्: कहिले Opus 5.5 लाई पूर्वनिर्धारित रूपमा राख्ने, कहिले स्टिकी टिकटहरूको लागि अधिकतम/अधिकतम प्रयास आरक्षित गर्ने, र भोल्युम कामको लागि सस्तो मोडेल कहिले राख्ने। यदि मेरो पेस्टमा सार्वजनिक लिडरबोर्ड नम्बर देखा पर्यो भने, यसलाई थर्मोमिटर लेबल गर्नुहोस्।.

बाधाहरू: बेलायती अंग्रेजी। "सबैभन्दा राम्रो कोडिङ एआई सधैंभरि" भाषा प्रतिबन्ध लगाउनुहोस्। पेटको भावना भन्दा लागत-प्रति-मर्ज-परिवर्तनलाई प्राथमिकता दिनुहोस्। यदि कुनै मेट्रिक छुटेको छ भने, Fable-class वा 40% दावीहरू अनुमान गर्नुको सट्टा [NEED MAESUREMENT] लेख्नुहोस्।.

आउटपुट: मेरा कार्यहरूको लागि नाम दिइएको तालिका हेडर र तीन खाली पङ्क्तिहरू, त्यसपछि निर्णय बुलेटहरू। कुनै प्रस्तावना छैन।.

यसलाई कसरी परीक्षण गर्ने

  • UI ब्रीफ र रिफ्याक्टरलाई तपाईंले दिनहुँ प्रयोग गर्ने उही प्रयास सेटिङमा चलाउनुहोस्। तपाईंले "राम्रो देखिन्थ्यो" मात्र होइन, टोकनहरू र वाल-घडी लग गर्नुभएको पुष्टि गर्नुहोस्।
  • सोध्नुहोस्: “के कोड एरिना #१ ले आफैंले उत्पादन फ्लिप गर्ने कामलाई जायज ठहरायो?” राम्रो उत्तर: होइन - केवल बेक-अफ परिणामहरूले मात्र गर्छ।.
  • एज केस: UI पप हुन्छ, लामो एजेन्ट सत्रले टोकनहरू जलाउँछ र अझै पनि मानव चाहिन्छ - पुष्टि गर्नुहोस् कि म्याक्स आरक्षित छ, ग्लु कामको लागि पूर्वनिर्धारित बनाइएको छैन।.
  • एज केस: सबैभन्दा कडा प्याथोलॉजिकल टिकट अझै पनि असफल हुन्छ - तपाईंले दोस्रो मोडेललाई न्यानो राख्नुभएको छ र सम्पूर्ण स्ट्याक पुन: लेख्नुहुन्न भन्ने कुरा पुष्टि गर्नुहोस्।.
  • स्वीकृति जाँचहरू: (१) तपाईंको मापन गरिएको स्कोरको रूपमा १,८१८ वा ६६ आविष्कार गरिएको छैन, (२) तीन कार्यहरू पूरा भएका छन् वा स्पष्ट रूपमा नोटहरू सहित असफल भएका छन्, (३) लागत लग गरिएको छ, (४) सस्तो पूर्वनिर्धारित अझै पनि भोल्युमको लागि नाम दिइएको छ, (५) पछि केही रिलीज चक्रहरूको लागि सेट गरिएको मिति पुन: भ्रमण गर्नुहोस्।.

नतिजा

उदाहरणीय नतिजा (एकै दिउँसो तीन फ्रिज गरिएका ब्रीफहरूमा एक स्वतन्त्र विकासकर्ताको लागि उदाहरण अनुमान, Arena.ai वा कृत्रिम विश्लेषणको स्वतन्त्र पुन: सञ्चालन होइन): WebDev-शैली UI ब्रीफमा, सामान्य प्रयासमा Opus 5.5 ले एक पासमा सफा लोकलहोस्ट पूर्वावलोकन उत्पादन गर्‍यो (हल्का पोलिश पछि १ मध्ये १ मर्ज गरियो; लगभग १२ मिनेट वाल-क्लक)। बहु-फाइल रिफ्याक्टरमा, एक निर्देशित पुन: प्रयास पछि १ मध्ये १ परीक्षण सुइटहरू हरियो भए; टोकनहरू उही ब्रीफमा पहिलेको पूर्वनिर्धारित भन्दा लगभग ३०% बढी थिए (स्व-रिपोर्ट गरिएको प्रयोग निर्यात)। लामो एजेन्ट सत्रमा, टोकन स्पाइक पछि मानव मद्दतले स्टिकी टिकट पूरा भयो - उच्च प्रयासमा बलियो, दैनिक पूर्वनिर्धारितको रूपमा धेरै खर्चिलो। बेक-अफ पछि निर्णय: Opus 5.5 UI र मध्यम आकारका रिफ्याक्टरहरूको लागि पूर्वनिर्धारित भयो; खराब टिकटहरूको लागि आरक्षित अधिकतम प्रयास; README/ग्लु कामहरूको लागि राखिएको सस्तो मोडेल। स्वच्छता चेकलिस्टमा (थर्मोमिटर लेबलहरू राखिएको, टोकनहरू लग गरिएको, दोस्रो मोडेल न्यानो, "सधैंभरिको लागि उत्तम" स्वाप छैन), ४ मध्ये ४ वस्तुहरू पारित भए। सीमाहरू: n=३ कार्यहरू, एक विकासकर्ता, साझेदारी योग्य UI जीत तिर चयन पूर्वाग्रह; सार्वजनिक Elo अन्तरहरू अर्को हप्ता फ्लिप हुन सक्छन्।

तपाईंको आफ्नै संस्करण मापन गर्न: उही तीनवटा संक्षिप्त विवरणहरू स्थिर गर्नुहोस्; पहिले आफ्नो हालको पूर्वनिर्धारित विवरणहरू स्कोर गर्नुहोस्; समान संक्षिप्त विवरणहरू सहित Opus 5.5 चलाउनुहोस्; सफलता, टोकनहरू, वाल-घडी, र मर्ज दर तुलना गर्नुहोस्; त्यसपछि देखाइएका भाजकहरूसँग प्रयास स्तरहरू सेट गर्नुहोस्।.

के बिग्रन सक्छ?

  • स्क्रिनसट पूजा: कोड एरिना श्रेणीमा आफैंमा पूर्वनिर्धारित फ्लिपिङ।
  • सबै कुराको लागि अधिकतम: सिलिङ स्कोर राम्रो देखिन्थ्यो त्यसैले ग्लु कोडमा टोकन बजेट बर्न गर्दै।
  • डेमो पूर्वाग्रह: मोनोरेपो टिकट असफल हुँदा पनि स्टोरीबोर्ड जितबाट मुड पठाउने।
  • लागत अन्धोपन: एजेन्ट-सूचकांक शिखरहरूमा लागत-प्रति-कार्य फुटनोटहरूलाई बेवास्ता गर्दै।
  • सिंगल-मोडेल लक-इन: प्रतिद्वन्द्वी म्याक्स टायर्स चिच्याउने दूरीमा बस्दा न्यानो ब्याकअप छोड्दै।
  • सधैं सोच्दै: अर्को भीडभाड भएको सुरुवात हप्ता पछि पुन: भ्रमण छोड्दै।

व्यावहारिक टेकवे

Opus 5.5 को अग्रणी Code Arena WebDev र Coding Agent Index एक वास्तविक सर्ज सिग्नल हो - र अझै पनि एक थर्मोमिटर मात्र हो। एउटा UI बिल्ड, एउटा बहु-फाइल रिफ्याक्टर, र एउटा लामो एजेन्ट सत्र चलाउनुहोस्; लग टोकनहरू र मर्जहरू; स्टिकी कामको लागि अधिकतम प्रयास आरक्षित गर्नुहोस्; भोल्युमको लागि सस्तो पूर्वनिर्धारित राख्नुहोस्। क्राउनहरू घुम्छन्। तपाईंको लागत-प्रति-मर्ज-परिवर्तन महत्त्वपूर्ण ट्रफी हो।.

सोधिने प्रश्न

क्लाउड ओपस ५.५ कोड एरिनामा #१ स्थानमा आउनुको अर्थ के हो?

Arena.ai ले १,८१८ अंकका साथ क्लाउड ओपस ५.५ (अधिकतम) लाई कोड एरेनाको वेबडेभ लेनको शीर्षमा राखेको छ - कभरेजमा GPT-6 Astra Max भन्दा लगभग छब्बीस अगाडि, र १,६९२ नजिकको अघिल्लो Opus 5 Max बाट ठूलो छलांग। कृत्रिम विश्लेषणले, छुट्टै ट्र्याकमा, Opus 5.5 लाई यसको कोडिङ एजेन्ट इन्डेक्समा नयाँ नम्बर एकको रूपमा सूचीबद्ध गर्दछ, जसमा क्लाउड कोडमा अधिकतम प्रयासमा ६६ समावेश छ। ती रिपोर्ट गरिएका बोर्ड तथ्याङ्कहरू हुन्, स्वतन्त्र प्रयोगशाला अडिट होइनन्। कथा भनेको कोडिङ बोर्डहरू हतारमा पल्टिरहेका छन्, केवल प्रक्षेपण पोस्ट मात्र होइन।.

कोड एरिनामा ओपस ५ म्याक्सबाट ओपस ५.५ म्याक्समा कति ठूलो जम्प छ?

रिपोर्ट गरिएको WebDev स्न्यापसटमा, पहिलेको Claude Opus 5 Max १,६९२ को नजिक थियो, जबकि Opus 5.5 (Max) ले १,८१८ लाई स्पष्ट शीर्ष प्रविष्टिको रूपमा पोस्ट गर्‍यो। त्यो उही परिवारको Max टियरमा लगभग १२६-अङ्कको कदम हो - त्यो प्रकारको डेल्टा जसले मानिसहरूलाई खेलकुद स्कोरहरू जस्तै Elo चार्टहरू ताजा बनाउँछ। GPT-6 Astra Max लाई ~२६-अङ्कको अन्तरको वरिपरि नजिकको दोस्रोको रूपमा फ्रेम गरिएको छ। तालिकालाई प्राथमिकता शक्तिको थर्मोमिटरको रूपमा पढ्नुहोस्, तपाईंको उत्पादन ब्याकलगमा निर्णय होइन।.

कोड एरिनाको वेबडेभ लेनले व्यवहारमा के मापन गर्छ?

कोड एरिना वेबडेभ कोडिङ र इन्टरफेस-निर्माण कार्यहरूमा तुलनात्मक प्राथमिकताको वरिपरि निर्मित छ: मतदाताहरूले मोडेल आउटपुटहरू बीच विजेताहरू छान्छन्। यसले सही देखिने, डेमोहरूमा सफा चल्ने, र पॉलिश गरिएको महसुस गर्ने कोडलाई पुरस्कृत गर्दछ - फ्रन्टएन्ड संरचना, अन्तरक्रियात्मकता, र दृश्य सुसंगतता। यो स्थिर बहु-विकल्प परीक्षा वा लामो-क्षितिज एजेन्ट मूल्याङ्कन भन्दा फरक खेल हो जसले दर्जनौं उपकरण कलहरूको लागि शेललाई जीवित राख्नुपर्छ। १,८१८ वेबडेभ लिड ती निर्माणहरूमा प्राथमिकता शक्ति हो, प्रत्येक रिपोको लागि पूर्ण पोषण प्यानल होइन।.

ओपस ५.५ को लागि कृत्रिम विश्लेषण कोडिङ एजेन्ट सूचकांक स्कोर कति छ?

आर्टिफिसियल एनालिसिसले ओपस ५.५ लाई यसको कोडिङ एजेन्ट इन्डेक्समा नयाँ नम्बर एकको रूपमा रिपोर्ट गर्छ, जसमा उनीहरूले ट्र्याक गर्ने मूल्याङ्कनहरूमा लाभहरू छन्। क्लाउड कोड भित्र अधिकतम प्रयासमा, मोडेलले ६६ स्कोर गर्यो - उनीहरूले अहिलेसम्म मापन गरेको उच्चतम। वयस्क फुटनोट भनेको जब तपाईं एक्सेलेरेटरलाई तल गर्नुहुन्छ तब लागत-प्रति-कार्य बढ्छ। शिखर एजेन्ट स्कोर क्षमता दाबी हो; लागत-प्रति-कार्य सञ्चालन दाबी हो, र तिनीहरू एउटै जनावर होइनन्।.

के क्लाउड ओपस ५.५ दैनिक कामको लागि उत्तम कोडिङ एआई हो?

यो तपाईंको लागि "सर्वोत्तम" को अर्थ के हो भन्ने कुरामा निर्भर गर्दछ: सार्वजनिक क्षेत्रमा Elo, अधिकतम प्रयासमा एजेन्ट सूचकांक, प्रति समाप्त कार्य लागत, वा तपाईंको ट्याङ्गल्ड रिपो शुक्रबार राति कम्पाइल हुन्छ कि हुँदैन। WebDev-आकारका दिनहरू - ल्यान्डिङ पृष्ठहरू, प्रोटोटाइपहरू, भिजुअल पोलिश - कोड एरिना WebDev लिडसँग राम्रोसँग पङ्क्तिबद्ध गर्नुहोस्। ट्याङ्गल्ड कोडबेसहरूमा एजेन्टिक दिनहरूले कोडिङ एजेन्ट सूचकांकलाई अझ रोचक बनाउँछ, लागत चेतावनी अझै पनि संलग्न छ। घुमाउरो नोटहरूले भन्छन् कि यो अझै पनि सबैभन्दा कठिन कार्यहरूमा ट्रेल गर्न सक्छ र लामो सत्रहरूमा टोकनहरू जलाउन सक्छ।.

ओपस ५.५ सँग लागत-बनाम-शिखर व्यापार-अफलाई टोलीहरूले कसरी ह्यान्डल गर्नुपर्छ?

असफलता महँगो हुने स्टिकी, बहु-फाइल कामको लागि अधिकतम प्रयास आरक्षित गर्नुहोस्, र भोल्युम चाहिने नियमित ग्लु कोड, रिफ्याक्टरहरू, र पोलिशको लागि डायल गर्नुहोस्। सार्वजनिक Elo मात्र होइन, प्रति-मर्ज-PR आफ्नो लागत-प्रति-मर्ज-PR ट्र्याक गर्नुहोस्। अधिकतम प्रयासमा जित्ने मोडेलले अझै पनि हप्ता गुमाउन सक्छ यदि प्रत्येक कार्यले टोकनमा भाग्य जलाउँछ भने। एकल इन्डी ह्याकरहरू र एकाइ अर्थशास्त्र हेर्ने कम्पनीहरूले फरक पूर्वनिर्धारित आवश्यकता पर्दा एउटै स्क्रिनसटको बारेमा चिच्याउन सक्छन्।.

क्लाउड ओपस ५.५ भर्खरै #१ स्थानमा परेको चर्चाको विषयलाई लिएर कस्ता प्रचलित उत्पादन दाबीहरू छन्?

कभरेजले लगभग ४०% कम रन लागतमा धेरै कार्यहरूमा "फेबल ५.१"-वर्गको प्रदर्शनसँग मिल्दोजुल्दो दाबीहरू प्रसारित गर्दछ, साथै पहिलेका ओपस स्तरहरू भन्दा बलियो एजेन्टिक कोडिङ र कम्प्युटर-प्रयोग व्यवहार। केही प्रयोगकर्ताहरू भन्छन् कि यो अझै पनि सबैभन्दा कठिन कार्यहरूमा ट्रेल गर्दछ, र लामो सत्रहरूले मानिसहरूले अपेक्षा गरेभन्दा बढी कडा टोकनहरू जलाउन सक्छ। ती दाबीहरूलाई प्रसारित रूपमा व्यवहार गर्नुहोस्, लेखबाट प्रमाणित प्रयोगशाला परिणामहरू छैनन्। बीजक आइपुग्दा व्यक्तिगत कार्यभारले मार्केटिङ आसन्नतालाई हराउँछ।.

यस हप्ता किन रातभर विकासकर्ताहरूको प्रतिक्रिया यति ठूलो महसुस भयो?

विकासकर्ताहरूले गत त्रैमासिकका सप्ताहांत परियोजनाहरू जस्तै देखिने द्रुत लोकलहोस्ट एपहरू, साना खेलहरू, स्टोरीबोर्डहरू, र UI निर्माणहरू पोस्ट गरिरहेका छन् - विजेताहरू तर्फ छनोट पूर्वाग्रह राखेर। "कृपया नर्फ नगर्नुहोस्" चुट्किलाहरू भावनाको तापक्रम जाँच हो जब मोडेल जंगलमा लगभग धेरै राम्रो महसुस हुन्छ। क्वेस्टफ्लो जस्ता प्लेटफर्महरू ओपस ५ बाट ५.५ मा स्तरोन्नति गर्ने बकबकमा छन्, जसले मूर्त मागलाई संकेत गर्दछ। उपाख्यानात्मक डेमोहरू प्रतिक्रिया हुन्, नियन्त्रित अडिटहरू होइनन् - त्यो भिन्नता स्पष्ट राख्नुहोस्।.

ओपस ५.५ लिड कोडिङ बोर्डहरू हेरेपछि निर्माणकर्ताहरूले के गर्नुपर्छ?

आफ्नै तीन-कार्य बेक-अफ चलाउनुहोस्: एउटा UI निर्माण, एउटा बहु-फाइल रिफ्याक्टर, र एउटा लामो एजेन्ट सत्र। लग टोकन र वाल-घडी, "यसले काम गर्यो" मात्र होइन। Arena.ai र कृत्रिम विश्लेषणलाई सार्वजनिक थर्मोमिटरको रूपमा व्यवहार गर्नुहोस्, उच्च-भोल्युम कामहरूको लागि सस्तो पूर्वनिर्धारित राख्नुहोस्, र हेर्नुहोस् कि 5.5 मा पहिले नै प्लेटफर्महरूले सबै कुरा पुन: लेख्नु अघि अवस्थित कार्यप्रवाहहरू कसरी परिवर्तन गर्छन्। "सबैभन्दा राम्रो सधैंभरि" ले लिन्छ र केही रिलीज चक्र पछि पुन: भ्रमण गर्नुहोस् - क्राउनहरू घुम्छन्; क्षमता भुइँहरू माथि उठ्छन्।.

मेरो कोडिङ पूर्वनिर्धारित परिवर्तन गर्नु अघि म कसरी तीन-कार्यको उचित बेक-अफ चलाउन सक्छु?

तीनवटा ब्रीफहरू फ्रिज गर्नुहोस् - एउटा सानो अन्तरक्रियात्मक WebDev UI, परीक्षणहरू सहितको बहु-फाइल रिफ्याक्टर, र लामो एजेन्ट-शैली सत्र - त्यसपछि टास्क, एफर्ट, टोकन, वाल-घडी, रन क्लीन?, मर्ज्ड?, र नोटहरू स्कोर गर्नुहोस्। उही ब्रीफहरूमा तपाईंको अघिल्लो पूर्वनिर्धारितसँग तुलना गर्नुहोस्; असफलता महँगो हुँदा मात्र अधिकतम प्रयास प्रयोग गर्नुहोस्। सार्वजनिक बोर्ड नम्बरहरूलाई थर्मामीटरको रूपमा लेबल गर्नुहोस्, स्वीकृति मापदण्ड होइन। बेक-अफ पछि पूर्वनिर्धारित निर्णय गर्नुहोस्, पहिलो सुन्दर लोकलहोस्ट डेमो पछि होइन - र भोल्युम कार्यको लागि सस्तो मोडेल न्यानो राख्नुहोस्।.

सन्दर्भ सामग्रीहरू

  1. मानवशास्त्र — anthropic.com
  2. क्लाउड प्लेटफर्म — platform.claude.com
  3. Arena.ai — कोड Arena — arena.ai
  4. कृत्रिम विश्लेषण — कोडिङ एजेन्ट सूचकांक — artificialanalysis.ai
क्विज
१. Arena.ai कोड Arena WebDev मा Claude Opus 5.5 (Max) को बारेमा लेखले के रिपोर्ट गर्छ?

२. कृत्रिम विश्लेषणको कोडिङ एजेन्ट सूचकांकमा, अधिकतम प्रयाससँग सम्बन्धित कुन उत्कृष्ट आंकडा हो?

३. मुख्य बुँदाहरू अनुसार, निर्माणकर्ताहरूले अधिकतम प्रयास ओपस कहिले आरक्षित गर्नुपर्छ?

४. तपाईंको पूर्वनिर्धारित मोडेललाई फ्लिप गर्नु अघि लेखले कस्तो बेक-अफ सिफारिस गर्दछ?

५. लेखमा किन "सर्वोत्तम कोडिङ एआई" दैनिक टोलीहरूको लागि अस्थायी हो भनिएको छ?


ब्लगमा फर्कनुहोस्