जनरेटिव आर्टिफिशियल इंटेलिजेंस के क्षेत्र में, एप्पल के प्रयास मुख्य रूप से मोबाइल उपकरणों पर केंद्रित प्रतीत होते हैं, विशेष रूप से नवीनतम iOS18 प्रणाली पर। हालाँकि, नए Apple M4 चिप ने हाल ही में जारी Mac Mini और Macbook Pro में शक्तिशाली प्रदर्शन दिखाया है, जिससे यह वर्तमान में सबसे शक्तिशाली ओपन-सोर्स बेसिक लैंग्वेज मॉडल (LLMs) जैसे कि मेटा का Llama-3.1405B, Nvidia का Nemotron70B और Qwen2.5Coder-32B को प्रभावी ढंग से चलाने में सक्षम है।
Exo Labs एक स्टार्टअप है जिसे मार्च 2024 में स्थापित किया गया था, जिसका उद्देश्य "आर्टिफिशियल इंटेलिजेंस की पहुंच का लोकतंत्रीकरण" करना है। इसके सह-संस्थापक एलेक्स चीमा (Alex Cheema) ने कई M4 उपकरणों का उपयोग करके एक स्थानीय कंप्यूटिंग क्लस्टर सफलतापूर्वक स्थापित किया है।
उन्होंने चार Mac Mini M4 (प्रत्येक की कीमत 599 डॉलर) को एक Macbook Pro M4Max (कीमत 1599 डॉलर) के साथ जोड़ा और Exo के ओपन-सोर्स सॉफ़्टवेयर के माध्यम से अलीबाबा के Qwen2.5Coder-32B को चलाया। पूरे क्लस्टर की लागत लगभग 5000 डॉलर है, जो कि 25000 से 30000 डॉलर के Nvidia H100GPU की तुलना में बहुत अधिक किफायती है।
स्थानीय कंप्यूटिंग क्लस्टर का उपयोग करने के फायदे स्पष्ट हैं। उपयोगकर्ता या कंपनियों के नियंत्रण वाले उपकरणों पर AI मॉडल चलाने से लागत को प्रभावी ढंग से कम किया जा सकता है, साथ ही गोपनीयता और सुरक्षा में वृद्धि होती है। चीमा ने कहा कि Exo Labs लगातार अपने एंटरप्राइज-ग्रेड सॉफ़्टवेयर को बेहतर बना रहा है, और वर्तमान में कई कंपनियाँ Exo सॉफ़्टवेयर का उपयोग स्थानीय AI इनफेरेंस के लिए कर रही हैं, और भविष्य में यह प्रवृत्ति व्यक्तिगत और व्यवसायों की ओर बढ़ेगी।
Exo Labs की हाल की सफलता M4 चिप के शक्तिशाली प्रदर्शन पर निर्भर करती है, जिसे "विश्व का सबसे तेज़ GPU कोर" कहा जाता है।
चीमा ने खुलासा किया कि Exo Labs का Mac Mini M4 क्लस्टर Qwen2.5Coder32B को प्रति सेकंड 18 टोकन की गति से और Nemotron-70B को प्रति सेकंड 8 टोकन की गति से चला सकता है। यह दर्शाता है कि उपयोगकर्ताओं को AI प्रशिक्षण और इनफेरेंस कार्यों को प्रभावी ढंग से संसाधित करने के लिए क्लाउड अवसंरचना पर निर्भर रहने की आवश्यकता नहीं है, जिससे गोपनीयता और लागत के प्रति संवेदनशील उपभोक्ताओं और कंपनियों के लिए AI अधिक सुलभ हो जाता है।
स्थानीय AI नवाचार की इस लहर का समर्थन करने के लिए, Exo Labs एक मुफ्त बेंचमार्किंग वेबसाइट लॉन्च करने की योजना बना रहा है, जो विस्तृत हार्डवेयर कॉन्फ़िगरेशन की तुलना प्रदान करेगा, जिससे उपयोगकर्ताओं को उनकी आवश्यकताओं और बजट के अनुसार सबसे अच्छा LLM चलाने का समाधान चुनने में मदद मिलेगी।
प्रोजेक्ट लिंक: https://github.com/exo-explore/exo
मुख्य बिंदु:
🌟 Exo Labs ने Apple M4 चिप का उपयोग करते हुए स्थानीय कंप्यूटिंग क्लस्टर पर शक्तिशाली ओपन-सोर्स AI मॉडल को सफलतापूर्वक चलाया।
💰 स्थानीय रूप से AI मॉडल चलाने से लागत कम होती है, गोपनीयता और सुरक्षा में वृद्धि होती है, और क्लाउड सेवाओं पर निर्भरता से बचा जाता है।
📊 Exo Labs एक बेंचमार्किंग वेबसाइट लॉन्च करेगा, जो उपयोगकर्ताओं को AI कार्यों के लिए उपयुक्त हार्डवेयर कॉन्फ़िगरेशन चुनने में मदद करेगा।
