『モダンTransformer　モデルの内部構造から、マルチモーダル／RAG／SLMの実装と最適化まで (impress top gearシリーズ)』 Nicole Koenigstein、株式会社クイープ の書籍情報

LLM/エージェントの基盤技術を習得できる！
実プロジェクトで使いこなすための
モデルの構造からコーディングの実践まで。
本書では、現代的なTransformerモデルの内部構造から、コードを交えた実践テクニックまでを解説。Transformerモデルを実際のプロジェクトで使いこなすための確固たる基盤技術を習得したい方に格好の一冊です。
取り上げるモデルは、Llama 4/Gemma 3世代を中心に、言語を含むマルチモーダルに対応したものであり、Gemma 4についても説明を補足しています。また、Hugging FaceやvLLMのライブラリ等を使った実際のコード例を交えて解説。主要なテーマは次のとおりです。
◆Transformerモデルの基礎◆
Transformerがなぜそのように設計されているのか、そしてどのように機能するのかを学びます。また、エンコーダースタックとデコーダースタックを含む完全なアーキテクチャを探求します。
◆生成系モデルのバリエーションと高度化◆
デコーダーのみ、エンコーダーのみ、Mixture-of-Expertsなど、アーキテクチャの主要なバリエーションについて説明した後、テキスト生成戦略とプロンプト技術のパターンといったLLMの推論能力を高度化していく手法を取り上げます。
◆生成系モデルによるシステム◆
人間の好みに合わせる選好アライメント、そして検索拡張生成（RAG）などにフォーカスしたシステム構築手法を示します。
◆マルチモーダルと小規模言語モデル◆
マルチモーダルモデルを支える中核技術のほか、マルチモーダルRAGについて説明。また、SLM（小規模言語モデル）についてファインチューニングのケーススタディを解説し、エージェントとしてどのように機能するかも示します。
◆LLMの活用◆
LLMのトレーニング、QLoRAなどのファインチューニング、評価手法を取り上げます。その後、枝刈り、蒸留、推論の最適化、FlashAttentionなど、最適化とスケーリングについて探索します。最後に、バイアス検出、透明性と説明性のツールといった倫理・責任あるAIへの手法を説明します。
※本書は『Transformers in Action』（Manning Publications）の翻訳書です。
■本書の構成
◆Part1 現代のTransformerモデルの基礎
第1章 Transformerはなぜ必要か
第2章 詳解Transformer
◆Part2 生成系Transformer
第3章 モデルファミリとアーキテクチャのバリエーション
第4章 テキスト生成戦略とプロンプティングテクニック
第5章 選好アライメントとRAG
◆Part3 専門化されたモデル
第6章 マルチモーダルモデル
第7章 効率的な特化型SLM
第8章 LLMの訓練と評価
第9章 LLMの最適化とスケーリング
第10章 倫理的かつ責任あるLLM
購入前にお使いの端末で無料サンプルをお試しください。