Der LLM Kontext-Erweiterer ist ein Werkzeug zur Erweiterung des Kontextfensters großer Sprachmodelle (LLMs). Er hilft LLMs, sich effektiv an größere Kontextfenster anzupassen, indem er die Grundfrequenz von RoPE anpasst und die Aufmerksamkeit-Logits skaliert. Die Überlegenheit des Verfahrens wurde in Bezug auf Feinabstimmung der Leistung und Robustheit verifiziert. Es wurde eine bemerkenswerte Effizienz gezeigt, indem das Kontextfenster von LLaMA-2-7B-Chat mit nur 100 Beispielen und 6 Trainingsschritten auf 16.384 erweitert wurde. Darüber hinaus wird untersucht, wie die Zusammensetzung der Daten und der Trainingsplan die Erweiterung des Kontextfensters für bestimmte nachgelagerte Aufgaben beeinflussen. Als guter Ausgangspunkt wird eine Feinabstimmung der LLMs mit langen Dialogen empfohlen.