Nous Research推出優化器DisTrO，普通網絡條件也可以訓練AI模型了
Nous Research 團隊發佈了一種名爲 DisTrO 的新優化器，旨在降低分佈式互聯網訓練中的信息傳輸需求，顯著提升 AI 模型訓練效率。DisTrO 可以在普通網絡條件下進行訓練，允許全球個人和機構通過自家電腦參與 AI 開發，打破了大公司壟斷 AI 訓練的局面。相較於傳統算法 All-Reduce，DisTrO 效率提升高達 857 倍，每步訓練所需傳輸的信息量從 74.4GB 降低到 86.8MB。這項技術使 AI 訓練成本降低，讓更多人能夠參與，並減少了對高性能 GPU 的依賴，使得訓練在速度較慢的互聯網連接下也能進行。通過 DisTrO，研究人員和機構能夠更自由地進行創新和實驗，推動技術進步，惠及社會。該技術的開放性使得 AI 模型訓練變得更加靈活，支持全球分散的 GPU 協同工作，減少了對大型數據中心的需求，對環境影響更小。DisTrO 的應用不僅限於大型語言模型，還適用於其他類型的 AI 訓練，爲未來 AI 發展提供了新的可能性。
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
