合成データを用いたChatGPTファインチューニングによるGPT-4超えのニュース要約性能
チェーン密度プロンプトを用いたChatGPTのファインチューニングにより、ニュース要約タスクにおいてGPT-4のゼロショット性能を上回り、GPT-4のチェーンプロンプトレベルに迫る結果を得ました。ScoreStringEvalChainと改良版PairwiseStringEvalChainなどの自動評価チェーンにより、人間レベルの定量評価を実現しました。ファインチューニングされたChatGPTは、GPT-4のゼロショットよりも11倍高速で63%コスト削減、GPT-4のチェーンプロンプトよりも33倍高速で84%コスト削減を実現しました。結果は、ファインチューニングされたChatGPTによるニュース要約の有効性を示しています。