AI ले कति ऊर्जा प्रयोग गर्छ?

उत्तर: एआईले साधारण टेक्स्ट कार्यको लागि धेरै कम बिजुली प्रयोग गर्न सक्छ, तर जब प्रम्प्टहरू लामो हुन्छन्, आउटपुटहरू बहु-मोडल हुन्छन्, वा प्रणालीहरू ठूलो मात्रामा सञ्चालन हुन्छन् तब धेरै बढी बिजुली प्रयोग गर्न सक्छ। तालिम सामान्यतया प्रमुख अग्रिम ऊर्जा हिट हुन्छ, जबकि अनुरोधहरू जम्मा हुँदै जाँदा दैनिक अनुमान महत्त्वपूर्ण हुन्छ।

मुख्य कुराहरू:

सन्दर्भ : कुनै पनि ऊर्जा अनुमान उद्धृत गर्नु अघि कार्य, मोडेल, हार्डवेयर र स्केल परिभाषित गर्नुहोस्।

तालिम : बजेट योजना बनाउँदा मोडेल तालिमलाई मुख्य अग्रिम ऊर्जा घटनाको रूपमा लिनुहोस्।

अनुमान : बारम्बार गरिएको अनुमानलाई ध्यानपूर्वक हेर्नुहोस्, किनकि प्रति-अनुरोधको सानो लागत स्केलमा छिटो थपिन्छ।

पूर्वाधार : कुनै पनि यथार्थपरक अनुमानमा शीतलन, भण्डारण, नेटवर्क र निष्क्रिय क्षमता समावेश गर्नुहोस्।

दक्षता : ऊर्जा प्रयोग घटाउन साना मोडेलहरू, छोटो प्रम्प्टहरू, क्यासिङ र ब्याचिङ प्रयोग गर्नुहोस्।

यसपछि पढ्न मन लाग्ने लेखहरू:

🔗 एआईले वातावरणलाई कसरी असर गर्छ
एआईको कार्बन फुटप्रिन्ट, ऊर्जा प्रयोग, र दिगोपन व्यापार-अफहरू व्याख्या गर्दछ।.

🔗 के एआई वातावरणको लागि हानिकारक छ?
एआई मोडेल र डेटा सेन्टरहरूको लुकेको वातावरणीय लागतहरू अनप्याक गर्दछ।.

🔗 एआई राम्रो छ कि नराम्रो? फाइदा र बेफाइदा
एआईका फाइदाहरू, जोखिमहरू, नैतिकताहरू, र वास्तविक प्रभावहरूमा सन्तुलित दृष्टिकोण।.

🔗 एआई भनेको के हो? एउटा सरल गाइड
मिनेटमै एआईका आधारभूत कुराहरू, मुख्य शब्दहरू, र दैनिक उदाहरणहरू सिक्नुहोस्।.

यो प्रश्न किन मानिसहरूले सोचेभन्दा बढी महत्त्वपूर्ण छ 🔍

एआई ऊर्जा प्रयोग केवल वातावरणीय छलफलको विषय मात्र होइन। यसले केही धेरै वास्तविक कुराहरूलाई छुन्छ:

• बिजुलीको लागत - विशेष गरी धेरै AI अनुरोधहरू चलाउने व्यवसायहरूको लागि

• कार्बन प्रभाव - सर्भरहरू पछाडिको पावर स्रोतमा निर्भर गर्दछ

• हार्डवेयर स्ट्रेन - शक्तिशाली चिप्सले गम्भीर वाटेज तान्छ

• निर्णयहरूको आकार निर्धारण - एउटा सस्तो प्रम्प्ट लाखौं महँगोमा परिणत हुन सक्छ

• उत्पादन डिजाइन - दक्षता प्रायः मानिसहरूले सोचेभन्दा राम्रो सुविधा हो ( गुगल क्लाउड , ग्रीन एआई )

धेरै मानिसहरू सोध्छन् "AI ले कति ऊर्जा प्रयोग गर्छ?" किनभने तिनीहरू नाटकीय संख्या चाहन्छन्। केही ठूलो। केही हेडलाइन-मैत्री। तर राम्रो प्रश्न यो हो: हामी कस्तो प्रकारको AI प्रयोगको बारेमा कुरा गर्दैछौं? किनभने त्यसले सबै कुरा परिवर्तन गर्छ। ( IEA )

एउटा मात्र स्वत: पूर्ण सुझाव? एकदमै सानो।
विशाल क्लस्टरहरूमा फ्रन्टियर मोडेललाई तालिम दिँदै? धेरै, धेरै ठूलो।
लाखौं प्रयोगकर्ताहरूलाई छुने सधैं सक्रिय इन्टरप्राइज एआई कार्यप्रवाह? हो, त्यो छिटो थपिन्छ... जस्तै पैसा भाडा भुक्तानीमा परिणत हुन्छ। ( DOE , गुगल क्लाउड )

एआईले कति ऊर्जा प्रयोग गर्छ? छोटो उत्तर ⚡

यहाँ व्यावहारिक संस्करण छ।.

एआईले हलुका कामको लागि वाट-घण्टाको सानो अंशदेखि लिएर ठूलो मात्रामा तालिम र तैनाथीको लागि ठूलो मात्रामा बिजुली प्रयोग गर्न सक्छ। त्यो दायरा फराकिलो भएकोले हास्यास्पद रूपमा फराकिलो सुनिन्छ। ( गुगल क्लाउड , स्ट्रुबेल एट अल। )

सरल भाषामा भन्नुपर्दा:

• साधारण अनुमान कार्यहरू - प्रायः प्रति-प्रयोग आधारमा तुलनात्मक रूपमा सामान्य

• लामो कुराकानी, ठूलो आउटपुट, छवि उत्पादन, भिडियो उत्पादन - उल्लेखनीय रूपमा बढी ऊर्जा-गहन

• ठूला मोडेलहरूलाई तालिम दिँदै - पावर खपतको हेवीवेट च्याम्पियन

• दिनभरि स्केलमा एआई चलाउने - जहाँ "प्रति अनुरोध सानो" "ठूलो कुल बिल" बन्छ ( गुगल क्लाउड , डीओई )

एउटा राम्रो नियम यो हो:

• तालिम भनेको विशाल अग्रिम ऊर्जा कार्यक्रम हो 🏭

• अनुमान भनेको चलिरहेको उपयोगिता बिल हो 💡 ( स्ट्रुबेल एट अल। , गुगल रिसर्च )

त्यसैले जब कसैले सोध्छ, AI ले कति ऊर्जा प्रयोग गर्छ? , सीधा जवाफ हुन्छ, "एक मात्रा होइन - तर दक्षतालाई महत्व दिन पर्याप्त छ, र त्यो स्केलले सम्पूर्ण कथा परिवर्तन गर्छ।" ( IEA , Green AI )

मलाई थाहा छ, त्यो मानिसहरूले चाहे जस्तो आकर्षक छैन। तर यो सत्य हो।.

एआई ऊर्जा अनुमानको राम्रो संस्करण के ले बनाउँछ? 🧠

राम्रो अनुमान भनेको ग्राफिकमा फ्याँकिएको नाटकीय संख्या मात्र होइन। व्यावहारिक अनुमानमा सन्दर्भ समावेश हुन्छ। अन्यथा यो बाथरूम स्केलले कुहिरो तौल्नु जस्तै हो। प्रभावशाली सुनिने गरी नजिक, विश्वास गर्न सकिने गरी नजिक होइन। ( IEA , गुगल क्लाउड )

एक राम्रो AI ऊर्जा अनुमानमा समावेश हुनुपर्छ:

• कार्य प्रकार - पाठ, छवि, अडियो, भिडियो, प्रशिक्षण, फाइन-ट्युनिङ

• मोडेलको आकार - ठूला मोडेलहरूलाई सामान्यतया बढी गणना चाहिन्छ।

• प्रयोग गरिएको हार्डवेयर - सबै चिप्स उत्तिकै कुशल हुँदैनन्।

• सत्रको लम्बाइ - छोटो प्रम्प्टहरू र लामो बहु-चरण कार्यप्रवाहहरू धेरै फरक छन्।

• उपयोगिता - निष्क्रिय प्रणालीहरूले अझै पनि शक्ति खपत गर्छन्

• शीतलन र पूर्वाधार - सर्भर सम्पूर्ण बिल होइन

• स्थान र ऊर्जा मिश्रण - बिजुली सबैतिर उत्तिकै सफा छैन ( गुगल क्लाउड , IEA )

यही कारणले गर्दा दुई जना व्यक्तिले एआई बिजुलीको प्रयोगको बारेमा बहस गर्न सक्छन् र दुबै जना पूर्णतया फरक कुराहरूको बारेमा कुरा गर्दा आत्मविश्वासी देखिन्छन्। एक व्यक्तिको अर्थ एउटै च्याटबट प्रतिक्रिया हो। अर्कोको अर्थ विशाल प्रशिक्षण दौड हो। दुवैले "एआई" भन्छन्, र अचानक कुराकानी रेलबाट बाहिर निस्कन्छ 😅

तुलना तालिका - एआई ऊर्जा प्रयोग अनुमान गर्ने उत्तम तरिकाहरू 📊

प्रश्नलाई प्रदर्शन कलामा परिणत नगरी उत्तर दिन खोज्ने जो कोहीको लागि यहाँ एउटा व्यावहारिक तालिका छ।.

उपकरण वा विधि	उत्कृष्ट दर्शकहरू	मूल्य	यो किन काम गर्छ?
साधारण अनुमान	जिज्ञासु पाठकहरू, विद्यार्थीहरू	नि:शुल्क	छिटो, सजिलो, अलि अस्पष्ट - तर नराम्रो तुलनाको लागि पर्याप्त राम्रो
उपकरण-साइड वाट मिटर	एकल निर्माणकर्ता, शौक गर्नेहरू	कम	वास्तविक मेसिन ड्र मापन गर्दछ, जुन ताजा कंक्रीट हो।
GPU टेलिमेट्री ड्यासबोर्ड	इन्जिनियरहरू, एमएल टोलीहरू	मध्यम	कम्प्युट-हेभी कार्यहरूमा राम्रो विवरण, यद्यपि यसले ठूलो सुविधा ओभरहेड छुटाउन सक्छ
क्लाउड बिलिङ + प्रयोग लगहरू	स्टार्टअपहरू, अप्स टोलीहरू	मध्यम देखि उच्च	एआई प्रयोगलाई वास्तविक खर्चसँग जोड्छ - उत्तम छैन, अझै पनि धेरै मूल्यवान छ।
डाटा सेन्टर ऊर्जा रिपोर्टिङ	उद्यम टोलीहरू	उच्च	यसले यहाँ फराकिलो सञ्चालन दृश्यता, शीतलन र पूर्वाधार देखा पर्न थाल्छ।
पूर्ण जीवनचक्र मूल्याङ्कन	दिगोपन टोलीहरू, ठूला संस्थाहरू	उच्च, कहिलेकाहीं पीडादायी	गम्भीर विश्लेषणको लागि उत्तम किनभने यो चिपभन्दा बाहिर जान्छ... तर यो ढिलो र एक प्रकारको जनावर हो।

कुनै पनि उत्तम विधि हुँदैन। त्यो हल्का निराशाजनक भाग हो। तर मूल्यका स्तरहरू हुन्छन्। र सामान्यतया, सेवायोग्य कुराले उत्तमलाई हराउँछ। ( गुगल क्लाउड )

सबैभन्दा ठूलो कुरा जादू होइन - यो त कम्प्युटर र हार्डवेयर हो 🖥️🔥

जब मानिसहरूले एआई ऊर्जा प्रयोगको चित्रण गर्छन्, तिनीहरू प्रायः मोडेललाई नै बिजुली खपत गर्ने चीजको रूपमा कल्पना गर्छन्। तर मोडेल भनेको हार्डवेयरमा चल्ने सफ्टवेयर तर्क हो। हार्डवेयर त्यो ठाउँ हो जहाँ बिजुलीको बिल देखिन्छ। ( स्ट्रुबेल एट अल। , गुगल क्लाउड )

सबैभन्दा ठूला चरहरूमा सामान्यतया समावेश छन्:

• GPU वा एक्सेलेरेटर प्रकार

• कति चिप्स प्रयोग गरिन्छ?

• तिनीहरू कति समय सक्रिय रहन्छन्

• मेमोरी लोड

• ब्याच आकार र थ्रुपुट

• प्रणाली राम्रोसँग अप्टिमाइज गरिएको छ वा सबै कुरालाई जबरजस्ती गर्ने ( गुगल क्लाउड , क्वान्टाइजेसन, ब्याचिङ, र LLM ऊर्जा प्रयोगमा सेवा रणनीतिहरू )

अत्यधिक अनुकूलित प्रणालीले कम ऊर्जामा धेरै काम गर्न सक्छ। एउटा ढिलो प्रणालीले आत्मविश्वासका साथ बिजुली खेर फाल्न सक्छ। तपाईंलाई थाहा छ यो कस्तो छ - केही सेटअपहरू रेस कारहरू हुन्, केही शपिङ कार्टहरू हुन् जसमा रकेटहरू डक्ट-टेप गरिएका छन् 🚀🛒

अनि हो, मोडेलको आकारले महत्व राख्छ। ठूला मोडेलहरूलाई बढी मेमोरी र बढी गणना चाहिन्छ, विशेष गरी जब लामो आउटपुटहरू उत्पन्न गरिन्छ वा जटिल तर्कहरू ह्यान्डल गरिन्छ। तर दक्षता युक्तिहरूले तस्वीर परिवर्तन गर्न सक्छन्: ( हरियो एआई , परिमाणीकरण, ब्याचिङ, र LLM ऊर्जा प्रयोगमा सेवा रणनीतिहरू )

• परिमाण निर्धारण

• राम्रो मार्गनिर्देशन

• साना विशेषज्ञ मोडेलहरू

• क्यासिङ

• ब्याचिङ

• स्मार्ट हार्डवेयर समय तालिका ( LLM ऊर्जा प्रयोगमा परिमाणीकरण, ब्याचिङ, र सेवा रणनीतिहरू )

त्यसैले प्रश्न केवल "मोडेल कति ठूलो छ?" मात्र होइन, यो "कति बुद्धिमानीपूर्वक चलाइँदैछ?" भन्ने पनि हो।

प्रशिक्षण बनाम अनुमान - यी फरक जनावरहरू हुन् 🐘🐇

यो त्यस्तो विभाजन हो जसले लगभग सबैलाई भ्रमित पार्छ।.

तालिम

प्रशिक्षण भनेको मोडेलले विशाल डेटासेटहरूबाट ढाँचाहरू सिक्दा हुन्छ। यसमा धेरै चिप्सहरू लामो समयसम्म चल्ने, विशाल मात्रामा डेटा चपाउने समावेश हुन सक्छ। यो चरण ऊर्जा-भोको हुन्छ। कहिलेकाहीँ अत्यधिक हुन्छ। ( स्ट्रुबेल एट अल। )

प्रशिक्षण ऊर्जा निम्न कुराहरूमा निर्भर गर्दछ:

• मोडेल आकार

• डेटासेट आकार

• प्रशिक्षण दौडहरूको संख्या

• असफल प्रयोगहरू

• फाइन-ट्युनिङ पासहरू

• हार्डवेयर दक्षता

• कुलिङ ओभरहेड ( स्ट्रुबेल एट अल। , गुगल रिसर्च )

अनि यहाँ मानिसहरूले प्रायः छुटाउने भाग छ - जनताले प्रायः एउटा ठूलो प्रशिक्षण दौडको कल्पना गर्छन्, एक पटक गरिएको, कथाको अन्त्यमा। व्यवहारमा, विकासमा दोहोरिने दौडहरू, ट्युनिङ, पुन: प्रशिक्षण, मूल्याङ्कन, र मुख्य कार्यक्रम वरिपरि सबै गूढ तर महँगो पुनरावृत्तिहरू समावेश हुन सक्छन्। ( स्ट्रुबेल एट अल। , ग्रीन एआई )

अनुमान

अनुमान भनेको वास्तविक प्रयोगकर्ता अनुरोधहरूको जवाफ दिने मोडेल हो। एउटा अनुरोध धेरै जस्तो नदेखिन सक्छ। तर अनुमान बारम्बार हुन्छ। लाखौं पटक। कहिलेकाहीं अरबौं पटक। ( गुगल रिसर्च , DOE )

अनुमान ऊर्जा बढ्छ:

• प्रम्प्ट लम्बाइ

• आउटपुट लम्बाइ

• प्रयोगकर्ताहरूको संख्या

• विलम्बता आवश्यकताहरू

• बहुविध सुविधाहरू

• अपटाइम अपेक्षाहरू

• सुरक्षा र पोस्ट-प्रशोधन चरणहरू ( गुगल क्लाउड , क्वान्टाइजेसन, ब्याचिङ, र LLM ऊर्जा प्रयोगमा सेवा रणनीतिहरू )

त्यसैले तालिम भनेको भूकम्प हो। अनुमान भनेको ज्वारभाटा हो। एउटा नाटकीय छ, अर्को निरन्तर छ, र दुवैले तटलाई अलिकति पुन: आकार दिन सक्छन्। यो एउटा असामान्य रूपक हो, सायद, तर यसले एकसाथ टाँसिएको छ... कम वा बढी।.

लुकेको ऊर्जाको मूल्य मानिसहरूले बिर्सन्छन् 😬

जब कसैले चिप हेरेर मात्र एआई पावर प्रयोगको अनुमान गर्छ, तिनीहरू सामान्यतया कम गणना गर्छन्। सधैं विनाशकारी रूपमा होइन, तर महत्त्वपूर्ण हुन पर्याप्त छ। ( गुगल क्लाउड , IEA )

यहाँ लुकेका टुक्राहरू छन्:

चिसो पार्ने ❄️

सर्भरहरूले ताप उत्पन्न गर्छन्। शक्तिशाली एआई हार्डवेयरले यसको धेरै उत्पादन गर्छ। शीतलन वैकल्पिक छैन। गणनाद्वारा खपत हुने प्रत्येक वाटले तापक्रम सन्तुलित राख्नको लागि बढी ऊर्जा प्रयोगलाई निम्तो दिन्छ। ( IEA , गुगल क्लाउड )

डेटा आवागमन 🌐

भण्डारण, मेमोरी र नेटवर्कहरूमा डेटा सार्न पनि ऊर्जा लाग्छ। एआई भनेको केवल "सोच्नु" मात्र होइन। यसले निरन्तर जानकारीलाई फेरबदल पनि गरिरहेको छ। ( IEA )

निष्क्रिय क्षमता 💤

उच्चतम मागको लागि बनाइएका प्रणालीहरू सधैं उच्चतम मागमा चल्दैनन्। निष्क्रिय वा कम प्रयोग भएको पूर्वाधारले अझै पनि बिजुली खपत गर्छ। ( गुगल क्लाउड )

अनावश्यकता र विश्वसनीयता 🧱

ब्याकअप, फेलओभर प्रणाली, डुप्लिकेट क्षेत्र, सुरक्षा तहहरू - सबै मूल्यवान छन्, सबै ठूलो ऊर्जा तस्वीरको अंश हुन्। ( IEA )

भण्डारण 📦

तालिम डेटा, इम्बेडिङहरू, लगहरू, चेकपोइन्टहरू, उत्पन्न आउटपुटहरू - यी सबै कतै बस्छन्। भण्डारण कम्प्युट भन्दा सस्तो छ, पक्कै पनि, तर ऊर्जाको हिसाबले नि:शुल्क छैन। ( IEA )

यही कारणले गर्दा एआईले कति ऊर्जा प्रयोग गर्छ? भन्ने प्रश्नको उत्तर एउटै बेन्चमार्क चार्ट हेरेर राम्रोसँग दिन सकिँदैन। पूर्ण स्ट्याकले महत्व राख्छ। ( गुगल क्लाउड , आईईए )

किन एउटा एआई प्रम्प्ट सानो हुन सक्छ - र अर्को एउटा राक्षस हुन सक्छ 📝➡️🎬

सबै प्रम्प्टहरू समान रूपमा सिर्जना गरिएका हुँदैनन्। वाक्य पुनर्लेखनको लागि छोटो अनुरोध लामो विश्लेषण, बहु-चरण कोडिङ सत्र, वा उच्च-रिजोल्युसन छवि उत्पादनको लागि सोध्नुसँग तुलना गर्न सकिँदैन। ( गुगल क्लाउड )

प्रति अन्तरक्रियामा ऊर्जा खपत बढाउने कुराहरू:

• लामो सन्दर्भ विन्डोजहरू

• लामो प्रतिक्रियाहरू

• उपकरण प्रयोग र पुन: प्राप्ति चरणहरू

• तर्क वा प्रमाणीकरणको लागि बहु पासहरू

• छवि, अडियो, वा भिडियो उत्पादन

• उच्च समरूपता

• कम विलम्बता लक्ष्यहरू ( गुगल क्लाउड , परिमाणीकरण, ब्याचिङ, र LLM ऊर्जा प्रयोगमा सेवा रणनीतिहरू )

हल्का टेक्स्ट उत्तर तुलनात्मक रूपमा सस्तो हुन सक्छ। एउटा विशाल मल्टिमोडल कार्यप्रवाह, ठीक छ, सस्तो नहुन सक्छ। यो विवाहको लागि खाना पकाउनु वा कफी अर्डर गर्नु जस्तै हो। दुवैलाई प्राविधिक रूपमा "खाना सेवा" को रूपमा गणना गरिन्छ। एउटा अर्को जस्तो छैन ☕🎉

यो विशेष गरी उत्पादन टोलीहरूको लागि महत्त्वपूर्ण छ। कम प्रयोगमा हानिरहित देखिने सुविधा प्रत्येक प्रयोगकर्ता सत्र लामो, समृद्ध, र अधिक कम्प्युट-भारी भएमा मात्रामा महँगो हुन सक्छ। ( DOE , Google Cloud )

उपभोक्ता एआई र उद्यम एआई एउटै कुरा होइनन् 🏢📱

एआई प्रयोग गर्ने औसत व्यक्तिले कहिलेकाहीं आउने प्रम्प्टहरू नै ठूलो समस्या हो भनेर मान्न सक्छन्। सामान्यतया, मुख्य ऊर्जा कथा त्यहीं हुँदैन। ( गुगल क्लाउड )

उद्यम प्रयोगले गणित परिवर्तन गर्छ:

• हजारौं कर्मचारीहरू

• सधैं सक्रिय सह-पाइलटहरू

• स्वचालित कागजात प्रशोधन

• कल सारांशीकरण

• छवि विश्लेषण

• कोड समीक्षा उपकरणहरू

• पृष्ठभूमि एजेन्टहरू निरन्तर चलिरहेका छन्

त्यहीँबाट समग्र ऊर्जा प्रयोगले धेरै अर्थ राख्न थाल्छ। प्रत्येक कार्य सर्वनाशकारी भएकोले होइन, तर पुनरावृत्ति गुणक भएकोले। ( DOE , IEA )

मेरो आफ्नै परीक्षण र कार्यप्रवाह समीक्षामा, मानिसहरू यहाँ छक्क पर्छन्। तिनीहरू मोडेलको नाम, वा आकर्षक डेमोमा ध्यान केन्द्रित गर्छन्, र भोल्युमलाई बेवास्ता गर्छन्। भोल्युम प्रायः वास्तविक चालक हो - वा बचत अनुग्रह, तपाईं ग्राहकहरूलाई बिल गर्दै हुनुहुन्छ वा उपयोगिता ट्याब तिर्दै हुनुहुन्छ भन्ने कुरामा निर्भर गर्दछ 😅

उपभोक्ताहरूको लागि, प्रभाव अमूर्त महसुस हुन सक्छ। व्यवसायहरूको लागि, यो धेरै चाँडै ठोस हुन्छ:

• ठूला पूर्वाधार बिलहरू

• अनुकूलन गर्न थप दबाब

• सम्भव भएसम्म साना मोडेलहरूको आवश्यकता बढी हुन्छ।

• आन्तरिक दिगोपन रिपोर्टिङ

• क्यासिङ र राउटिङमा बढी ध्यान ( गुगल क्लाउड , ग्रीन एआई )

AI नत्यागी AI ऊर्जा प्रयोग कसरी घटाउने 🌱

यो भाग महत्त्वपूर्ण छ किनभने लक्ष्य "एआई प्रयोग गर्न बन्द गर्नु" होइन। सामान्यतया त्यो यथार्थपरक हुँदैन, र आवश्यक पनि हुँदैन। राम्रो प्रयोग भनेको स्मार्ट मार्ग हो।.

यहाँ सबैभन्दा ठूला लिभरहरू छन्:

१. काम सम्पन्न गर्ने सबैभन्दा सानो मोडेल प्रयोग गर्नुहोस्

हरेक कार्यलाई हेभीवेट विकल्पको आवश्यकता पर्दैन। वर्गीकरण वा सारांशको लागि हल्का मोडेलले फोहोर छिटो घटाउन सक्छ। ( ग्रीन एआई , गुगल क्लाउड )

२. प्रम्प्ट र आउटपुटहरू छोटो पार्नुहोस्

शब्दशः भित्र, शब्दशः बाहिर। अतिरिक्त टोकन भनेको अतिरिक्त गणना हो। कहिलेकाहीँ प्रम्प्टलाई ट्रिम गर्नु सबैभन्दा सजिलो जित हो। ( LLM ऊर्जा प्रयोगमा परिमाणीकरण, ब्याचिङ, र सेवा रणनीतिहरू , गुगल क्लाउड )

३. क्यास दोहोरिने परिणामहरू

यदि एउटै प्रश्न देखा परिरहन्छ भने, यसलाई हरेक पटक पुन: उत्पन्न नगर्नुहोस्। यो लगभग आपत्तिजनक रूपमा स्पष्ट छ, तैपनि यो छुटेको छ। ( गुगल क्लाउड )

४. सम्भव भएसम्म ब्याच कामहरू

ब्याचहरूमा कार्यहरू सञ्चालन गर्नाले उपयोगमा सुधार ल्याउन र फोहोर कम गर्न सकिन्छ। ( LLM ऊर्जा प्रयोगमा परिमाणीकरण, ब्याचिङ, र सेवा रणनीतिहरू )

५. बुद्धिमानीपूर्वक कार्यहरू गर्नुहोस्

आत्मविश्वास घट्दा वा कार्य जटिलता बढ्दा मात्र ठूला मोडेलहरू प्रयोग गर्नुहोस्। ( ग्रीन एआई , गुगल क्लाउड )

६. पूर्वाधार अनुकूलन गर्नुहोस्

राम्रो तालिका, राम्रो हार्डवेयर, राम्रो शीतलन रणनीति - व्यावहारिक कुराहरू, ठूलो प्रतिफल। ( गुगल क्लाउड , DOE )

७. अनुमान गर्नु अघि नाप्नुहोस्

धेरै टोलीहरूलाई लाग्छ कि उनीहरूलाई थाहा छ शक्ति कहाँ गइरहेको छ। त्यसपछि तिनीहरूले नाप्छन्, र त्यहाँ छ - महँगो भाग अन्तै छ। ( गुगल क्लाउड )

दक्षतापूर्ण काम आकर्षक हुँदैन। यसले विरलै प्रशंसा पाउँछ। तर यो AI लाई अझ किफायती र स्तरमा बढी सुरक्षित बनाउने उत्तम तरिकाहरू मध्ये एक हो 👍

एआई बिजुली प्रयोगको बारेमा सामान्य मिथकहरू 🚫

यो विषय चाँडै अल्झिन्छ त्यसैले केही मिथकहरू हटाउनुहोस्।.

मिथक १ - हरेक एआई क्वेरी अत्यधिक बेकार हुन्छ

आवश्यक छैन। केही सामान्य छन्। स्केल र कार्य प्रकारले धेरै फरक पार्छ। ( गुगल क्लाउड )

भ्रम २ - तालिम मात्र महत्त्वपूर्ण कुरा हो

अहँ। प्रयोग धेरै हुँदा अनुमान समयसँगै हावी हुन सक्छ। ( गुगल रिसर्च , DOE )

मिथक ३ - ठूलो मोडेलको अर्थ सधैं राम्रो परिणाम हो

कहिलेकाहीँ हुन्छ, कहिलेकाहीँ बिल्कुलै हुँदैन। साना प्रणालीहरूमा धेरै कामहरू राम्रोसँग हुन्छन्। ( ग्रीन एआई )

मिथक ४ - ऊर्जा प्रयोगले कार्बन प्रभाव स्वतः बराबर हुन्छ

ठ्याक्कै होइन। कार्बन ऊर्जा स्रोतमा पनि निर्भर गर्दछ। ( IEA , Strubell et al. )

मिथक ५ - तपाईंले एआई ऊर्जा प्रयोगको लागि एउटा विश्वव्यापी नम्बर प्राप्त गर्न सक्नुहुन्छ

तपाईं सक्नुहुन्न, कम्तिमा अर्थपूर्ण रहने रूपमा होइन। वा तपाईं सक्नुहुन्छ, तर यो यति औसत हुनेछ कि यो मूल्यवान हुन बन्द हुनेछ। ( IEA )

त्यसैले एआईले कति ऊर्जा प्रयोग गर्छ? बुद्धिमानी हो - तर यदि तपाईं नाराको सट्टा तहगत उत्तरको लागि तयार हुनुहुन्छ भने मात्र।

त्यसो भए... AI ले कति ऊर्जा प्रयोग गर्छ, साँच्चै? 🤔

यहाँ आधारभूत निष्कर्ष छ।.

एआईले प्रयोग गर्छ:

• थोरै , केही साधारण कार्यहरूको लागि

• धेरै धेरै , हेभी मल्टिमोडल जेनेरेसनको लागि

• ठूलो मात्रामा मोडेल प्रशिक्षणको लागि धेरै ठूलो रकम

• समयसँगै लाखौं अनुरोधहरू जम्मा हुँदा कुल मिलाएर यो एक ठूलो रकम हो गुगल क्लाउड , DOE )

त्यसको आकार नै त्यस्तै हो।.

मुख्य कुरा भनेको सम्पूर्ण मुद्दालाई एउटा डरलाग्दो संख्या वा एउटा खारेज गर्ने काँधमा समतल गर्नु होइन। एआई ऊर्जा प्रयोग वास्तविक हो। यो महत्त्वपूर्ण छ। यसलाई सुधार गर्न सकिन्छ। र यसको बारेमा कुरा गर्ने उत्तम तरिका नाटकीय होइन, सन्दर्भसँग हो। ( आईईए , ग्रीन एआई )

धेरैजसो सार्वजनिक कुराकानी चरम सीमाहरूमा घुम्छ - एकातिर "एआई मूलतः स्वतन्त्र छ", अर्कोतिर "एआई एक विद्युतीय सर्वनाश हो"। वास्तविकता धेरै सामान्य छ, जसले यसलाई अझ जानकारीमूलक बनाउँछ। यो एक प्रणाली समस्या हो। हार्डवेयर, सफ्टवेयर, प्रयोग, स्केल, कूलिंग, डिजाइन विकल्पहरू। प्रोसेइक? अलि। महत्त्वपूर्ण? धेरै। ( IEA , गुगल क्लाउड )

मुख्य बुँदाहरू ⚡🧾

यदि तपाईं यहाँ सोधेर आउनुभएको छ भने, AI ले कति ऊर्जा प्रयोग गर्छ?, यहाँ निष्कर्ष छ:

• सबैलाई मिल्ने कुनै एक नम्बर हुँदैन।

• प्रशिक्षणले सामान्यतया सुरुमै सबैभन्दा बढी ऊर्जा खपत गर्छ।

• अनुमान स्केलमा प्रमुख कारक बन्छ

• मोडेलको आकार, हार्डवेयर, कार्यभार, र शीतलन सबै कुराले अर्थ राख्छ।

• साना अप्टिमाइजेसनहरूले आश्चर्यजनक रूपमा ठूलो भिन्नता ल्याउन सक्छ

• सबैभन्दा बुद्धिमानी प्रश्न केवल "कति" मात्र होइन, तर "कुन कार्यको लागि, कुन प्रणालीमा, कुन स्तरमा?" पनि हो ( IEA , गुगल क्लाउड )

त्यसैले हो, एआईले वास्तविक ऊर्जा प्रयोग गर्छ। ध्यान दिन लायक हुन पर्याप्त छ। राम्रो इन्जिनियरिङलाई औचित्य दिन पर्याप्त छ। तर कार्टुन जस्तो, एक-नम्बर तरिकाले होइन।.

सोधिने प्रश्न

एआईले एउटै प्रम्प्टको लागि कति ऊर्जा प्रयोग गर्छ?

एउटै प्रम्प्टको लागि कुनै विश्वव्यापी संख्या छैन, किनभने ऊर्जा प्रयोग मोडेल, हार्डवेयर, प्रम्प्टको लम्बाइ, आउटपुटको लम्बाइ, र कुनै पनि अतिरिक्त उपकरण प्रयोगमा निर्भर गर्दछ। छोटो पाठ प्रतिक्रिया अपेक्षाकृत सामान्य हुन सक्छ, जबकि लामो बहु-मोडल कार्यले उल्लेखनीय रूपमा बढी खपत गर्न सक्छ। सबैभन्दा अर्थपूर्ण उत्तर एकल शीर्षक चित्र होइन, तर कार्य वरपरको सन्दर्भ हो।.

एआई पावर प्रयोगको अनुमान किन यति धेरै फरक हुन्छ?

अनुमानहरू फरक हुन्छन् किनभने मानिसहरूले प्रायः एआईको एकल लेबल अन्तर्गत धेरै फरक चीजहरूको तुलना गर्छन्। एउटा अनुमानले हल्का च्याटबोट जवाफ वर्णन गर्न सक्छ, जबकि अर्कोले छवि उत्पादन, भिडियो, वा ठूलो-स्तरीय मोडेल प्रशिक्षणलाई समेट्न सक्छ। अनुमान अर्थपूर्ण हुनको लागि, यसलाई कार्य प्रकार, मोडेल आकार, हार्डवेयर, उपयोग, शीतलन, र स्थान जस्ता सन्दर्भ चाहिन्छ।.

के एआईलाई तालिम दिनु वा दिनहुँ एआई चलाउनु भनेको बढी ऊर्जा लागत हो?

तालिम सामान्यतया ठूलो अग्रिम ऊर्जा घटना हो, किनकि यसमा विशाल डेटासेटहरूमा लामो समयसम्म चल्ने धेरै चिपहरू समावेश हुन सक्छन्। अनुमान भनेको प्रयोगकर्ताहरूले अनुरोध पठाउँदा प्रत्येक पटक देखा पर्ने चलिरहेको लागत हो, र स्केलमा यो धेरै ठूलो पनि हुन सक्छ। व्यवहारमा, दुवै फरक फरक भए पनि फरक फरक हुन्छन्।.

एउटा एआई अनुरोधले अर्को भन्दा धेरै ऊर्जा खपत गर्ने के कारणले हो?

लामो सन्दर्भ विन्डोज, लामो आउटपुट, दोहोरिएको तर्क पास, उपकरण कल, पुन: प्राप्ति चरणहरू, र बहु-मोडल उत्पादन सबैले प्रति अन्तरक्रियामा ऊर्जा प्रयोग बढाउने प्रवृत्ति राख्छन्। विलम्बता लक्ष्यहरू पनि महत्त्वपूर्ण छन्, किनभने छिटो प्रतिक्रिया आवश्यकताहरूले दक्षता घटाउन सक्छ। सानो पुनर्लेखन अनुरोध र लामो कोडिङ वा छवि कार्यप्रवाह तुलनात्मक रूपमा मिल्दैन।.

एआईले कति ऊर्जा प्रयोग गर्छ भनेर सोध्दा मानिसहरूले कुन लुकेका ऊर्जा लागतहरू याद गर्छन्?

धेरै मानिसहरू चिपमा मात्र ध्यान केन्द्रित गर्छन्, तर त्यसले शीतलन, डेटा आवागमन, भण्डारण, निष्क्रिय क्षमता, र ब्याकअप वा फेलओभर क्षेत्रहरू जस्ता विश्वसनीयता प्रणालीहरूलाई बेवास्ता गर्दछ। यी समर्थन तहहरूले कुल पदचिह्नलाई भौतिक रूपमा परिवर्तन गर्न सक्छन्। त्यसैले बेन्चमार्कले आफैंमा पूर्ण ऊर्जा तस्वीर विरलै खिच्दछ।.

के ठूलो एआई मोडेलले सधैं बढी ऊर्जा खपत गर्छ?

ठूला मोडेलहरूलाई सामान्यतया बढी कम्प्युट र मेमोरी चाहिन्छ, विशेष गरी लामो वा जटिल आउटपुटहरूको लागि, त्यसैले तिनीहरूले प्रायः बढी ऊर्जा खपत गर्छन्। तर ठूलो हुनुको अर्थ प्रत्येक कामको लागि स्वचालित रूपमा राम्रो हुँदैन, र अनुकूलनले तस्वीरलाई उल्लेखनीय रूपमा परिवर्तन गर्न सक्छ। साना विशेषज्ञ मोडेलहरू, क्वान्टाइजेसन, ब्याचिङ, क्यासिङ, र स्मार्ट राउटिङले सबैले दक्षता सुधार गर्न सक्छन्।.

के उपभोक्ता एआई प्रयोग मुख्य ऊर्जा समस्या हो, वा उद्यम एआई सबैभन्दा ठूलो समस्या हो?

सामान्य उपभोक्ता प्रयोग थप्न सक्छ, तर ठूलो ऊर्जा कथा प्रायः उद्यम तैनातीहरूमा देखा पर्दछ। सधैं-अन कोपाइलटहरू, कागजात प्रशोधन, कल सारांशीकरण, कोड समीक्षा, र पृष्ठभूमि एजेन्टहरूले ठूला प्रयोगकर्ता आधारहरूमा बारम्बार माग सिर्जना गर्छन्। मुद्दा सामान्यतया एक नाटकीय कार्यको बारेमा कम र समयसँगै दिगो मात्राको बारेमा बढी हुन्छ।.

डेटा सेन्टर र कुलिङ समावेश गर्दा AI ले कति ऊर्जा प्रयोग गर्छ?

एकपटक फराकिलो प्रणाली समावेश गरिसकेपछि, उत्तर अझ यथार्थपरक हुन्छ र सामान्यतया चिप-मात्र अनुमानहरू भन्दा ठूलो हुन्छ। डाटा सेन्टरहरूलाई गणनाको लागि मात्र नभई शीतलन, नेटवर्किङ, भण्डारण र अतिरिक्त क्षमता कायम राख्नको लागि पनि शक्ति चाहिन्छ। त्यसैले पूर्वाधार डिजाइन र सुविधा दक्षता लगभग मोडेल डिजाइन जत्तिकै महत्त्वपूर्ण हुन्छ।.

वास्तविक कार्यप्रवाहमा एआई ऊर्जा प्रयोग मापन गर्ने सबैभन्दा व्यावहारिक तरिका के हो?

उत्तम विधि कसले र कुन उद्देश्यका लागि मापन गरिरहेको छ भन्ने कुरामा निर्भर गर्दछ। एउटा सामान्य नियमले द्रुत तुलनामा मद्दत गर्न सक्छ, जबकि वाट मिटर, GPU टेलिमेट्री, क्लाउड बिलिङ लगहरू, र डेटा सेन्टर रिपोर्टिङले क्रमिक रूपमा बलियो परिचालन अन्तर्दृष्टि प्रदान गर्दछ। गम्भीर दिगोपन कार्यको लागि, पूर्ण जीवनचक्र दृश्य अझै बलियो हुन्छ, यद्यपि यो ढिलो र बढी माग गर्ने हुन्छ।.

उपयोगी एआई सुविधाहरू त्यागेर टोलीहरूले कसरी एआई ऊर्जा प्रयोग घटाउन सक्छन्?

सबैभन्दा ठूलो लाभ सामान्यतया काम गर्ने सबैभन्दा सानो मोडेल प्रयोग गरेर, प्रम्प्ट र आउटपुटहरू छोटो पारेर, बारम्बार परिणामहरू क्यास गरेर, ब्याचिङ गरेर, र ठूला मोडेलहरूमा कठिन कार्यहरू मात्र रुट गरेर आउँछ। पूर्वाधार अनुकूलन पनि महत्त्वपूर्ण छ, विशेष गरी तालिका र हार्डवेयर दक्षता। धेरै पाइपलाइनहरूमा, पहिले मापन गर्नाले टोलीहरूलाई गलत कुरा अनुकूलन गर्नबाट रोक्न मद्दत गर्दछ।.

सन्दर्भ सामग्रीहरू

1. अन्तर्राष्ट्रिय ऊर्जा एजेन्सी (IEA) - AI बाट ऊर्जा माग - iea.org

2. अमेरिकी ऊर्जा विभाग (DOE) - DOE ले बिजुलीको मागमा वृद्धिको मूल्याङ्कन गर्दै नयाँ प्रतिवेदन जारी गर्‍यो डाटा सेन्टरहरू - energy.gov

3. गुगल क्लाउड - एआई अनुमानको वातावरणीय प्रभाव मापन - cloud.google.com

4. गुगल रिसर्च - मेसिन लर्निङ तालिमको कार्बन फुटप्रिन्टको बारेमा खुसीको खबर - research.google

5. गुगल रिसर्च - मेसिन लर्निङ तालिमको कार्बन फुटप्रिन्ट स्तर घट्नेछ र त्यसपछि घट्नेछ - research.google

6. arXiv - हरियो एआई - arxiv.org

7. arXiv - Strubell et al। - arxiv.org

8. arXiv - LLM ऊर्जा प्रयोगमा परिमाणीकरण, ब्याचिङ, र सेवा रणनीतिहरू - arxiv.org

आधिकारिक एआई सहायक स्टोरमा नवीनतम एआई खोज्नुहोस्

हाम्रो बारेमा