■特集
作りながら学ぶTransformer/LLM

■別冊付録
ベクトル空間と線型性で読み解くTransformer

◎生成AIをしくみから理解する
☆特集　作りながら学ぶTransformer/LLM

【別冊付録】ベクトル空間と線型性で読み解くTransformer
【特設】Pythonで300行！ミニLLMを作る
【注目】ラズパイの限界に挑戦！ローカルLLM動作検証レポート

★目次

◎生成AIをしくみから理解する
☆特集　作りながら学ぶTransformer/LLM

●イントロダクション　LLMの心臓部…Transformerを学ぶメリット

●Appendix1　特集でやること…設計思想と実装の両面からTransformerを学ぶ

☆第1部　イメージで理解するTransformer

◎従来から発想を転換して全体を一度見渡す構造を採用
●第1章　深層学習の定番RNN/CNNとTransformerの違い

◎ハイパワーなコア1つで計算するより，非力なコアで一斉に計算した方が速い
●第2章　処理イメージで比べるRNNとTransformer

◎論文Attention Is AllYouNeed…革命の幕開け
●第3章　ForwardTransformerの誕生

◎単語に位置情報を付与して文の順番が崩れるのを防ぐ
●第4章　処理並列化の要…位置エンコーディングと高次元空間

◎クエリ，キー，バリューが単語の関係性の濃度を変える
●第5章　文章理解の要…アテンションの仕組み

☆第2部　作りながら学ぶTransformer

●イントロダクション　1工程ずつ作りながら学ぶTransformerの内部構造

◎単語をちょうどよい大きさの断片に分割する
●第0章　入力の前処理…Subword-level BPE

◎各サブワードの固有識別子(トークンID)を多次元の連続的な数値ベクトルへと変換する
●第1章　言葉を「意味を持つ数値」に変換する…埋め込み

◎各単語に固有のパターンを刻む
●第2章　単語の順番をベクトルとして埋め込む…位置エンコーディング

◎多重解像度による位置の指紋の生成
●第3章　位置エンコーディングを画像とグラフで理解する

◎Transformerモデルへの入力表現の準備
●第4章　埋め込みベクトルのスケーリングとドロップアウト

◎クエリ/キー/バリューの情報更新プロセスの理解がTransformer攻略の鍵
●第5章　ベクトル同士の類似度で重み付け…スケールド・ドット積アテンション

◎単一のアテンションでは到達できない高度な文脈表現を実現
●第6章　並列に配置したアテンション機構…マルチヘッド・アテンション

◎各トークンの表現の抽象度をより高くする
●第7章　特徴表現を非線形に変換…順伝播ネットワーク

◎マルチヘッド・アテンション，順伝播ネットワーク，残差接続，層正規化をまとめて処理
●第8章　エンコーダ単一層の実装

◎複雑な文法構造や長距離の依存関係をより豊かな文脈表現へ段階的に変化させる
●第9章　エンコーダ・スタックの実装

◎正しい条件で学習し，正しく生成できるようにする仕組み
●第10章　学習時の先読みを制限…マスク付きマルチヘッド・アテンション

◎デコーダ側のクエリを用いてエンコーダ出力(キー，バリュー)を検索し，情報を取り出す
●第11章　入力を参照して次トークンを生成するクロス・アテンション

◎マスク付きマルチヘッド・アテンション/クロス・アテンション/順伝播ネットワーク/残差接続/層正規化を組み合わせ
●第12章　デコーダ単一層の実装

◎入力文情報と生成中トークン列の文脈情報を段階的に統合する
●第13章　デコーダ・スタックの実装

◎デコーダの出力(高次元ベクトル)を離散的な単語選択に利用できる形へ変換する
●第14章　各トークンの出現確率分布を算出する…予測ヘッド

◎計算効率を下げるパディングを最小限に抑えるようにデータを前処理して高速化する
●第15章　バケットイテレータに学ぶ学習データ効率化

☆第3部　作ったから見えてくるLLMのこれから

◎ローカル/マルチモーダル/フィジカル…生成AIがどこでも使える時代へ
●第1章　Transformerモデルの進化と各分野への展開

◎状態空間モデルの進化形Mamba，RNNやCNNの進化形，3値重み1ビットLLMなど
●第2章　Transformerの次に注目される新たなアーキテクチャやモデル

◎MCPによるツール連携と相互運用性の確立がカギ
●第3章　これからの主役…AIエージェント開発最前線

☆特設　Pythonで300行！ミニLLMを作る

●イントロダクション　Pythonで300行！作りながら学ぶLLM

◎本質は驚くほどシンプル…4つの部品で構成される
●第1章　LLMの正体…極めて大きな「次に来るトークン予想機」

◎クラウド上のGPUを使えるからデータ学習を短時間で行える
●第2章　Google Colabで始めるLLMプログラミング

◎言葉を数字にする辞書
●第3章　実装1：トークナイザを作る

◎トークナイザを構築し3047種類の語彙を登録
●第4章　実装2：学習用のデータを準備する

◎埋め込み，アテンション，Transformerブロック定義
●第5章　実装3：ミニLLMの核心部分であるTransformerモデルを実装

◎学習進行に伴う生成文の変化とパラメータ調整の影響
●第6章　実装4：学習させて文章を生成する…漱石風の文が出てくるまで

☆Raspberry Piライフ

◎ラズパイの限界に挑戦！ローカルLLM動作検証レポート〈第6回〉
●RAGにウェブ検索システムを統合する②…ウェブ検索の4つの動作モード

☆IoTマイコン

◎AI/IoT時代のマイコン入門講座〈第2回〉
●FRDM-MCXN947でZephyr開発を体験する

☆付録基板コーナ

◎Pico2で比較実験!RISC-VとCortex-M33〈第2回〉
●音楽再生の実行速度を比較

☆画像評価

◎ラズパイで体験！CMOSイメージセンサ性能の測定評価〈第21回〉
●カメラ画像信号のSN比が10になる最小の明るさ「YSNR10」後編…色変換の仕組みとノイズの振る舞い

☆テクノロジー掘り下げ

◎最終回　アプリ&システム開発に使える！エンジニア向けDocker活用術〈第3回〉
●ラズパイとPCで組むシステムを例に…コンテナ環境による開発を体験する

◎自動車，農業，建設，ドローン，海洋分野など，幅広い産業で進む
●衛星測位関連サービスの製品化，実装化

◎高速ビデオ・インターフェース・ウォッチ〈第6回〉
●映像以外も進化中！HDMIのオーディオ&ケーブル

☆ニュース&レポート&お知らせ

●ほんのりInterface

◎次世代コンピュータ探検隊〈第1回〉
●時系列予測/異常検知に向くリザバー・コンピューティング(前編)

●読者プレゼント

●次号予告

☆別冊付録

●ベクトル空間と線型性で読み解くTransfor