AnthropicのClaude 2.1に関する議論

Anthropicが最近発表したClaude 2.1は大きな注目を集めていますが、コンテキストウィンドウが200Kトークンであるにもかかわらず、Greg Kamradt氏の実験によると、90Kトークンを超えると性能が急激に低下することが分かり、誇大広告の疑いが浮上しています。

GPT-4 Turboとの比較では、Claude 2.1の200Kトークンというコンテキスト長での検索精度の低さが指摘されています。

テスト結果から、Claude 2.1を使用する際には、コンテキスト長が検索能力に与える影響に注意する必要があることが示唆され、業界で議論を呼んでいます。