INTELLECT-1-Instruct ist ein von Prime Intellect trainiertes Sprachmodell mit 10 Milliarden Parametern, das von Grund auf mit einer Billion englischen Text- und Code-Token trainiert wurde. Das Modell unterstützt die Textgenerierung und verfügt über die Fähigkeit zum verteilten Training, das es ermöglicht, ein Hochleistungstraining auf unzuverlässigen, global verteilten Workern durchzuführen. Es wurde mit dem DiLoCo-Algorithmus trainiert und nutzt benutzerdefinierte int8 all-reduce-Kernels, um die Kommunikationslast zu reduzieren und die Kommunikationskosten deutlich zu senken. Die Hintergrundinformationen zu diesem Modell zeigen, dass es von 30 unabhängigen Community-Mitwirkenden mit Rechenleistung unterstützt und auf 14 parallelen Knoten auf drei Kontinenten trainiert wurde.