Interface（インターフェース）

商品名

Interface（インターフェース）

出版社

CQ出版

発行間隔

月刊

発売日

毎月25日

■特集
作りながら学ぶTransformer/LLM

■別冊付録
ベクトル空間と線型性で読み解くTransformer

◎生成AIをしくみから理解する
☆特集　作りながら学ぶTransformer/LLM

【別冊付録】ベクトル空間と線型性で読み解くTransformer
【特設】Pythonで300行！ミニLLMを作る
【注目】ラズパイの限界に挑戦！ローカルLLM動作検証レポート

★目次

◎生成AIをしくみから理解する
☆特集　作りながら学ぶTransformer/LLM

●イントロダクション　LLMの心臓部…Transformerを学ぶメリット

●Appendix1　特集でやること…設計思想と実装の両面からTransformerを学ぶ

☆第1部　イメージで理解するTransformer

◎従来から発想を転換して全体を一度見渡す構造を採用
●第1章　深層学習の定番RNN/CNNとTransformerの違い

◎ハイパワーなコア1つで計算するより，非力なコアで一斉に計算した方が速い
●第2章　処理イメージで比べるRNNとTransformer

◎論文Attention Is AllYouNeed…革命の幕開け
●第3章　ForwardTransformerの誕生

◎単語に位置情報を付与して文の順番が崩れるのを防ぐ
●第4章　処理並列化の要…位置エンコーディングと高次元空間

◎クエリ，キー，バリューが単語の関係性の濃度を変える
●第5章　文章理解の要…アテンションの仕組み

☆第2部　作りながら学ぶTransformer

●イントロダクション　1工程ずつ作りながら学ぶTransformerの内部構造

◎単語をちょうどよい大きさの断片に分割する
●第0章　入力の前処理…Subword-level BPE

◎各サブワードの固有識別子(トークンID)を多次元の連続的な数値ベクトルへと変換する
●第1章　言葉を「意味を持つ数値」に変換する…埋め込み

◎各単語に固有のパターンを刻む
●第2章　単語の順番をベクトルとして埋め込む…位置エンコーディング

◎多重解像度による位置の指紋の生成
●第3章　位置エンコーディングを画像とグラフで理解する

◎Transformerモデルへの入力表現の準備
●第4章　埋め込みベクトルのスケーリングとドロップアウト

◎クエリ/キー/バリューの情報更新プロセスの理解がTransformer攻略の鍵
●第5章　ベクトル同士の類似度で重み付け…スケールド・ドット積アテンション

◎単一のアテンションでは到達できない高度な文脈表現を実現
●第6章　並列に配置したアテンション機構…マルチヘッド・アテンション

◎各トークンの表現の抽象度をより高くする
●第7章　特徴表現を非線形に変換…順伝播ネットワーク

◎マルチヘッド・アテンション，順伝播ネットワーク，残差接続，層正規化をまとめて処理
●第8章　エンコーダ単一層の実装

◎複雑な文法構造や長距離の依存関係をより豊かな文脈表現へ段階的に変化させる
●第9章　エンコーダ・スタックの実装

◎正しい条件で学習し，正しく生成できるようにする仕組み
●第10章　学習時の先読みを制限…マスク付きマルチヘッド・アテンション

◎デコーダ側のクエリを用いてエンコーダ出力(キー，バリュー)を検索し，情報を取り出す
●第11章　入力を参照して次トークンを生成するクロス・アテンション

◎マスク付きマルチヘッド・アテンション/クロス・アテンション/順伝播ネットワーク/残差接続/層正規化を組み合わせ
●第12章　デコーダ単一層の実装

◎入力文情報と生成中トークン列の文脈情報を段階的に統合する
●第13章　デコーダ・スタックの実装

◎デコーダの出力(高次元ベクトル)を離散的な単語選択に利用できる形へ変換する
●第14章　各トークンの出現確率分布を算出する…予測ヘッド

◎計算効率を下げるパディングを最小限に抑えるようにデータを前処理して高速化する
●第15章　バケットイテレータに学ぶ学習データ効率化

☆第3部　作ったから見えてくるLLMのこれから

◎ローカル/マルチモーダル/フィジカル…生成AIがどこでも使える時代へ
●第1章　Transformerモデルの進化と各分野への展開

◎状態空間モデルの進化形Mamba，RNNやCNNの進化形，3値重み1ビットLLMなど
●第2章　Transformerの次に注目される新たなアーキテクチャやモデル

◎MCPによるツール連携と相互運用性の確立がカギ
●第3章　これからの主役…AIエージェント開発最前線

☆特設　Pythonで300行！ミニLLMを作る

●イントロダクション　Pythonで300行！作りながら学ぶLLM

◎本質は驚くほどシンプル…4つの部品で構成される
●第1章　LLMの正体…極めて大きな「次に来るトークン予想機」

◎クラウド上のGPUを使えるからデータ学習を短時間で行える
●第2章　Google Colabで始めるLLMプログラミング

◎言葉を数字にする辞書
●第3章　実装1：トークナイザを作る

◎トークナイザを構築し3047種類の語彙を登録
●第4章　実装2：学習用のデータを準備する

◎埋め込み，アテンション，Transformerブロック定義
●第5章　実装3：ミニLLMの核心部分であるTransformerモデルを実装

◎学習進行に伴う生成文の変化とパラメータ調整の影響
●第6章　実装4：学習させて文章を生成する…漱石風の文が出てくるまで

☆Raspberry Piライフ

◎ラズパイの限界に挑戦！ローカルLLM動作検証レポート〈第6回〉
●RAGにウェブ検索システムを統合する②…ウェブ検索の4つの動作モード

☆IoTマイコン

◎AI/IoT時代のマイコン入門講座〈第2回〉
●FRDM-MCXN947でZephyr開発を体験する

☆付録基板コーナ

◎Pico2で比較実験!RISC-VとCortex-M33〈第2回〉
●音楽再生の実行速度を比較

☆画像評価

◎ラズパイで体験！CMOSイメージセンサ性能の測定評価〈第21回〉
●カメラ画像信号のSN比が10になる最小の明るさ「YSNR10」後編…色変換の仕組みとノイズの振る舞い

☆テクノロジー掘り下げ

◎最終回　アプリ&システム開発に使える！エンジニア向けDocker活用術〈第3回〉
●ラズパイとPCで組むシステムを例に…コンテナ環境による開発を体験する

◎自動車，農業，建設，ドローン，海洋分野など，幅広い産業で進む
●衛星測位関連サービスの製品化，実装化

◎高速ビデオ・インターフェース・ウォッチ〈第6回〉
●映像以外も進化中！HDMIのオーディオ&ケーブル

☆ニュース&レポート&お知らせ

●ほんのりInterface

◎次世代コンピュータ探検隊〈第1回〉
●時系列予測/異常検知に向くリザバー・コンピューティング(前編)

●読者プレゼント

●次号予告

☆別冊付録

●ベクトル空間と線型性で読み解くTransfor

★★★★★2025年10月21日 たこわさ 会社員
仕事では車載系の電子電装開発をしていますが、CPU周り、セキュリティ、AIなど、基礎的な知識も押さえつつ今のトレンドの特集も組んでくれるので、気づいたら毎月買っていました。

★★★★★2025年03月22日 きよっさん 会社員
インターフェース誌は、いつも開発で悩んでいる内容が紙面のタイトルになってたり、これから仕事に使える内容が多いので助かります

★★★★★2024年12月12日 silk 専門職
ソフトウエアネタもハードウエアネタも扱ってるのがうれしいです。どちらも実践例をなぞりながら体験できるのいいです

★★★★★2024年12月09日 わん 教職員
定期購読してますが、毎号まさにトレンドの話題が特集です 買い逃しても後で欲しくなるので定期購読にしました

★★★★☆2024年10月16日 R 経営者
最近の流行りのコンピュータ情報がよくわかり、たいへん面白い。

★★★★★2024年05月02日 シーゲル 専門職
5年前からほぼ毎月購読していますが、最近ではAI＋マイコンの記事が素晴らしく、いつも楽しみにしています。 最近は、LLMの記事も豊富で内容も最新でとても役に立ちます。マイコンにあまり興味がない人にもおすすめです。

★★★★☆2024年01月01日 baybay 会社員
後から、どの記事が仕事に役立つかわからないので、定期購読必須。 必要になった時にバックナンバーを買うのは面倒。

★★★★☆2023年05月22日 しょーちゃん 会社員
毎月、特集記事が存在し、技術的に非常に深堀されており、勉強・参考になります。 どちらかと言うと、基礎的な内容と言うよりも、応用・実践的な記事が多いです。 記事だけではなく、すぐに実践が出来るよう、ソースコードやプリント基板の提供などもあり、読者の立場を非常に理解されて制作されていると感じます。 記事を読み解く上で、少しだけ基礎的・初歩的な記事があるとさらに良いと思い、星四つとさせて頂きました。 （記事の技術的な深堀と言う観点では星五つです。）

★★★★☆2023年01月08日 シーゲル 自営業
ここ、５，６年のあいだ最低でも年間３，４冊は購入しています。 いつもIoTの最新情報を知ることが出きるいい雑誌だと思います。最近はAI関連の記事が少なくなってきていますが、単なる知識だけでなく具体的にIoTハードとAIを組み合わせた具体的な事例を紹介されており、これも他にはない特徴だと思います。特に若いエンジニアにお勧めします。

★★★★★2023年01月03日 組込技術者 会社員
定期購読しておくと、すぐに役立たなくても、仕事で後から役立つことが多い。