mistral-commonは、Mistralモデルの処理を支援するツールキットです。トークンへのテキスト変換だけでなく、ツール解析や構造化された対話機能も備えています。現在、異なるモデル集合に対応した3種類のTokenizerが公開されています。