北大和香港科技大学的团队搞了个大新闻,他们提出了一种训练方法,让8B尺寸的医疗专家模型达到了GPT-4级的性能。这可不是小打小闹,他们还引入了一个新概念——「稳定性差距」,来解释大语言模型在持续预训练过程中出现的一些现象。
Openai
$2.8
Input tokens/M
$11.2
Output tokens/M
1k
Context Length
Google
$0.49
$2.1
Xai
$1.4
$3.5
2k
$7.7
$30.8
200
-
Anthropic
$105
$525
$0.7
$7
$35
$17.5
$21
Alibaba
$4
$16
$1
$10
256
$2
$20
$6
$24
Baidu
128
Bytedance
$1.2
$3.6
4
$3.9
$15.2
64