Kimi オープンソースプラットフォーム、コンテキストキャッシング(Context Caching)クローズドベータテスト開始
Kimi オープンソースプラットフォームは、近日中に待望のコンテキストキャッシング機能のクローズドベータテストを開始すると発表しました。この革新的な機能は、長文の大規模言語モデルをサポートし、効率的なコンテキストキャッシングメカニズムにより、かつてないユーザーエクスペリエンスを提供します。Kimi オープンソースプラットフォーム公式の説明によると、コンテキストキャッシングは、重複するトークン(Tokens)の内容をキャッシュすることで、ユーザーが同じ内容をリクエストする際の費用を大幅に削減することを目的とした最先端技術です。その動作原理は、既に処理されたテキストをインテリジェントに識別して保存することにあります。