Meta, मैसाचुसेट्स इंस्टीट्यूट ऑफ टेक्नोलॉजी और कार्नेगी मेलॉन विश्वविद्यालय के शोधकर्ताओं ने हाल ही में एक नए पेपर में एक नवोन्मेषी तकनीक प्रस्तुत की है जिसे StreamingLLM कहा जाता है। यह तकनीक लंबे समय तक बातचीत में बड़े भाषा मॉडल के प्रदर्शन में गिरावट की समस्या को हल करने के लिए डिज़ाइन की गई है। यह तकनीक "attention sinks" के अवधारणा का उपयोग करती है, जिससे LLMs असीमित लंबाई के पाठ पर उच्च प्रदर्शन बनाए रख सकते हैं। बातचीत के अंत में कुछ प्रारंभिक मार्करों को फिर से पेश करके, उपयोगकर्ता प्रभावी रूप से LLM के प्रदर्शन को पुनर्स्थापित कर सकते हैं। यह तकनीक लंबे समय तक बातचीत में LLMs के लिए उच्च प्रदर्शन बनाए रखने के लिए एक नवोन्मेषी समाधान प्रदान करती है।