Sebastian Raschka氏は、大規模言語モデルのファインチューニングにおけるLoRA技術の経験をまとめ、そのコストパフォーマンスの高さを強調しています。特にQLoRA技術はメモリ最適化において顕著な効果を発揮します。最適化アルゴリズムの選択はファインチューニング結果にほとんど影響を与えない一方、LoRAは静的データセットにおいて全面的に適用する必要があり、rankとα値の調整が極めて重要です。