最近，一組來自斯坦福大學、康奈爾大學和西弗吉尼亞大學的計算機科學家與法律學者共同發表了一項引人矚目的研究，分析了幾款開源大型語言模型在文本記憶方面的表現。這項研究着重考察了五種不同的開放權重模型，它們的能力是否能夠重複經典書籍中的內容。這五款模型中，有三款來自 Meta，另外兩款分別由微軟和 EleutherAI 開發。研究團隊採用了 Books3這一流行的書籍數據庫，作爲訓練這些大模型的素材，值得一提的是，這些書籍中許多依然受到版權保護。研究者們將36本書劃分爲
["微軟與前谷歌 CEO 支持 Synth Labs 解決 AI 系統與人類意圖對齊問題。","Synth Labs 致力於構建軟件，確保人工智能按人類意圖行動。","初創公司起源於非營利性 AI 研究實驗室 EleutherAI，專注解決語言模型挑戰。","Synth Labs 方法通過評估大型語言模型，幫助引導人工智能系統避免討論敏感主題。"]
EleutherAI
深度無知模型套件是一個包含18個69億參數的大語言模型集合，旨在研究通過過濾預訓練數據來防止模型學習不安全技術能力（如CBRN相關能力）的方法。該套件展示了過濾數據可以有效避免不良知識學習，同時保持通用性能並具備抗篡改能力。
vwxyzjn
基於EleutherAI_pythia-1b-deduped模型微調的版本，用於生成簡潔摘要
Pile-T5基礎版是基於T5x庫在The Pile數據集上訓練的編碼器-解碼器模型，通過MLM目標訓練了200萬步，約2萬億token。
Pile-T5 XXL是基於T5x庫在The Pile數據集上訓練的編碼器-解碼器模型，採用類似原始T5模型的MLM目標，訓練了200萬步（約2萬億token）。
Felladrin
基於EleutherAI/pythia-31m微調的3100萬參數對話模型，支持多輪對話和多種任務場景
Llemma 34B是一個專注於數學領域的語言模型，基於Code Llama 34B的權重進行初始化，並在Proof-Pile-2數據集上訓練了500億個token。
Llemma 34B 是一款專注於數學領域的語言模型，基於Code Llama 34B權重初始化，並在Proof-Pile-2數據集上訓練。
etri-xainlp
基於EleutherAI/polyglot-ko-12.8b在26萬條指令跟隨數據集上微調的韓語多語言大模型
Pile-T5 Large 是基於 T5x 庫在 The Pile 數據集上訓練的編碼器-解碼器模型，主要用於英語文本到文本生成任務。
heegyu
基於EleutherAI/polyglot-ko-5.8b模型，使用多個韓語指令數據集進行訓練的聊天模型
nlpai-lab
KULLM-Polyglot-5.8B-v2是基於EleutherAI/polyglot-ko-5.8b在KULLM v2數據集上進行參數高效微調的大語言模型版本，專門針對韓語自然語言處理任務進行了優化，具有58億參數規模。
基於EleutherAI/polyglot-ko-12.8b的KULLM v2微調版本，支持韓語的多語言大語言模型
beomi
基於EleutherAI/polyglot-ko-12.8b在韓國羊駝數據集v1.1b上微調的多語言韓文生成模型
togethercomputer
基於EleutherAI Pythia-7B微調的70億參數開源對話模型，使用100%負碳計算資源訓練超過4000萬條指令
Pythia-1B是EleutherAI開發的可解釋性研究專用語言模型，屬於Pythia套件中的10億參數規模版本，基於The Pile數據集訓練。
Pythia-12B是EleutherAI開發的可擴展語言模型套件中的最大模型，擁有120億參數，專為促進大語言模型科學研究而設計
Pythia-12B-deduped是EleutherAI開發的12B參數規模的大型語言模型，專為可解釋性研究設計，在去重後的Pile數據集上訓練。
Pythia-6.9B是EleutherAI開發的大規模語言模型，屬於Pythia可擴展套件的一部分，專為促進可解釋性研究而設計。
Pythia-10億去重版是EleutherAI開發的可解釋性研究專用語言模型，基於去重Pile數據集訓練，採用Transformer架構，參數規模10億
Pythia是EleutherAI開發的一系列因果語言模型，專為可解釋性研究設計，包含從7000萬到120億參數的8種規模，提供154個訓練檢查點
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
