हाल ही में, Meta कंपनी द्वारा जारी किया गया ओपन-सोर्स बड़ा मॉडल Llama-4-Maverick, LMArena की रैंकिंग में दूसरे स्थान से सीधे 32वें स्थान पर आ गया है। इस भारी गिरावट ने डेवलपर्स में व्यापक सवाल उठाए हैं, उनका मानना है कि Meta ने रैंकिंग में ऊपर आने के लिए खास वर्ज़न जमा किया होगा। इस घटना की शुरुआत 6 अप्रैल को हुई थी, जब Meta ने अपना नवीनतम बड़ा मॉडल Llama4 जारी किया था, जिसमें Scout, Maverick और Behemoth तीन वर्ज़न शामिल थे। इनमें से Llama-4-Maverick ने शुरुआती मूल्यांकन में बेहतरीन प्रदर्शन किया और LMArena रैंकिंग में दूसरा स्थान प्राप्त किया, केवल Gemini2.5Pro से पीछे।

हालांकि, जैसे-जैसे डेवलपर्स द्वारा Llama4 के ओपन-सोर्स वर्ज़न के वास्तविक उपयोग पर प्रतिक्रिया सामने आई, इस मॉडल की प्रतिष्ठा तेज़ी से गिरती गई। कुछ डेवलपर्स ने पाया कि Meta द्वारा LMArena में जमा किया गया वर्ज़न और उनके द्वारा जारी किया गया ओपन-सोर्स वर्ज़न में काफी अंतर है, जिससे Meta पर रैंकिंग में ऊपर आने के लिए धोखाधड़ी करने के आरोप लगे। इस मुद्दे पर, Chatbot Arena ने 8 अप्रैल को पुष्टि की कि Meta ने वास्तव में एक "विशेष वर्ज़न" प्रदान किया था, और रैंकिंग को अपडेट करने पर विचार करने की बात कही।

LLM ऊँट गणितीय मॉडल

चित्र विवरण: यह चित्र AI द्वारा बनाया गया है, और चित्र अधिकार सेवा प्रदाता Midjourney है।

Chatbot Arena के अनुसार, Meta द्वारा पहली बार जमा किया गया Llama-4-Maverick-03-26-Experimental एक प्रयोगात्मक अनुकूलित वर्ज़न था, जो उस समय दूसरे स्थान पर था। जबकि संशोधित ओपन-सोर्स वर्ज़न Llama-4-Maverick-17B-128E-Instruct, जिसमें 17B सक्रिय पैरामीटर और 128 MoE विशेषज्ञ हैं, केवल 32वें स्थान पर है, जो Gemini2.5Pro, GPT4o जैसे उच्च रैंकिंग वाले मॉडल से बहुत पीछे है, यहाँ तक कि पिछली पीढ़ी के मॉडल पर आधारित Llama-3.3-Nemotron-Super-49B-v1 से भी पीछे है।

Llama-4-Maverick-03-26-Experimental के अपेक्षाकृत कम प्रदर्शन के बारे में, Meta ने हाल ही में एक सम्मेलन में बताया कि यह मॉडल "विशेष रूप से वार्तालाप के लिए अनुकूलित" है, इसलिए LM Arena में इसका प्रदर्शन अपेक्षाकृत अच्छा था। इस अनुकूलन ने हालांकि रैंकिंग में उच्च अंक प्राप्त किए, लेकिन इससे डेवलपर्स को विभिन्न परिस्थितियों में इस मॉडल के वास्तविक प्रदर्शन का सटीक अनुमान लगाना मुश्किल हो गया।

Meta के प्रवक्ता ने TechCrunch को बताया कि Meta विभिन्न कस्टमाइज़्ड वर्ज़न का पता लगाना जारी रखेगा, और डेवलपर्स अपनी आवश्यकताओं के अनुसार Llama4 को समायोजित और बेहतर बनाने की उम्मीद करता है। कंपनी डेवलपर्स के रचनात्मक परिणामों को देखना चाहती है, और उनकी प्रतिक्रिया को भी महत्व देती है।