機械学習入門

——パーセプトロンから、思考する AI まで

---

はじめに

この本は、機械学習という分野を、歴史の流れに沿って一冊で見渡すために書きました。ChatGPTやClaudeのようなLLM（大規模言語モデル）は、機械学習という大きな樹の、いちばん高いところに咲いた花の一つにすぎません。その根っこには、100年近い試行錯誤の歴史があります。回帰分析のような素朴な統計手法、大量の弱い予測器を束ねるアンサンブル学習、脳の神経細胞を真似たニューラルネットワーク、画像を読み取るCNN、囲碁を制覇した強化学習、そして今まさに動いているMoE（混合専門家モデル）やCoT（思考の連鎖）、Transformerに挑む新しいアーキテクチャまで——これらすべてがつながって、今日のAIを形作っています。

数式は必要な箇所では遠慮なく使いますが、無理には使いません。式が出てきたら、そのすぐ後に必ず日本語で「何をしているのか」を説明します。文中で重要な言葉はその場で解説し、やや専門的な用語には※印を付けて、巻末の用語集にまとめました。

---

序章 機械学習とはそもそも何か

機械学習とは、「ルールを人間が書く」のではなく、「データから規則性をコンピュータ自身に見つけさせる」という考え方の総称です。人工知能（AI）という大きな概念の中に機械学習（ML）があり、そのさらに内側に、ニューラルネットワークを何層にも重ねて使う深層学習（ディープラーニング）（DL）があります。入れ子構造になっていることをまず覚えておいてください。

機械学習には、大きく三つの学び方があります。

教師あり学習：「入力」と「正解」のペアを大量に見せて、入力から正解を導く規則を学ばせる方法です。犬と猫の写真に「犬」「猫」というラベルを付けて学習させるのが典型例です。

教師なし学習：正解ラベルを与えず、データそのものの構造や似たものの集まり（クラスタ）を見つけさせる方法です。

強化学習：正解を教える代わりに、行動した結果として「報酬」を与え、報酬を最大化する行動パターンを試行錯誤の中で学ばせる方法です。ゲームやロボット制御でよく使われます。

近年はこれに加え、正解ラベルを人間が用意する代わりに、データそのものから自動的に「問題と正解」を作り出して学ぶ｜自己教師あり学習《じこきょうしありがくしゅう》という第四の学び方が、画像認識や言語モデルの事前学習を支える主流になっています。詳しくは後の章で扱います。

どの学び方にも共通するのが、「データを用意する」「モデルという計算の仕組みを用意する」「学習によってモデルの中の数値（パラメータ）を調整する」「調整済みのモデルで新しいデータに対する予測（推論）を行う」という一連の流れです。この本では、このパイプラインの中身を、歴史の順番で少しずつ掘り下げていきます。

---

第一部 古典的機械学習の基礎

第1章 データから規則性を見つける——回帰と分類

もっとも素朴な機械学習が｜線形回帰《せんけいかいき》です。たとえば「部屋の広さ」から「家賃」を予測したいとき、両者の関係を一本の直線で近似します。

```
y = wx + b
```

ここで x は入力（部屋の広さ）、y は予測値（家賃）、w は傾き、b は切片です。学習とは、この w と b を、予測と実際の正解のズレができるだけ小さくなるように調整する作業にほかなりません。このズレを測るものさしを損失関数（ロス関数）と呼び、回帰では次の平均二乗誤差（MSE）がよく使われます。

```
MSE = (1/n) × Σ (実際の値 − 予測値)²
```

差を二乗するのは、プラスとマイナスのズレを打ち消し合わせず、大きなズレほど強く罰するためです。この損失をできるだけ小さくする w と b を探す作業を｜勾配降下法《こうばいこうかほう》と呼びます。

```
θ ← θ − η∇L(θ)
```

θ は調整したいパラメータ（w や b のこと）、∇L(θ) は損失関数の傾き（どちらに動かせば損失が減るかを示す方向）、η（イータ）は｜学習率《がくしゅうりつ》※1、一回にどれだけ動かすかの歩幅です。山を下りるとき、足元の傾きを見ながら少しずつ低い方へ進んでいくイメージだと考えてください。この「損失を測り、傾きを求め、少し動かす」という三拍子は、この本に登場するほぼすべてのニューラルネットワークの学習の根幹をなしています。

「はい／いいえ」のような二択を予測したいときは｜ロジスティック回帰《ロジスティックかいき》を使います。直線の出力をそのまま使うのではなく、シグモイド関数（S字型の関数）に通して0〜1の確率に変換します。

```
σ(x) = 1 / (1 + e^(−x))
```

この式は、x がどれだけ大きくても小さくても、出力を必ず0〜1の範囲に押し込めてくれます。分類問題の損失関数には、MSEの代わりに｜交差エントロピー《こうさエントロピー》がよく使われます。正解の確率を高く予測できていれば損失は小さく、逆に自信満々で間違えると損失が大きく跳ね上がる、という性質を持っています。

これら以外にも、条件分岐を繰り返して予測する｜決定木《けっていぎ》、データを分ける境界線を最大のマージンで引くSVM（サポートベクターマシン）、近くにあるデータの多数決で予測するk近傍法（k-NN）、各特徴が互いに独立だと仮定して確率的に分類するナイーブベイズ、似たデータをグループ分けする教師なし学習の｜k-means《ケーミーンズ》法など、ニューラルネットワークが主役になる以前から使われてきた手法が数多く存在し、今も現場では現役です。

第2章 モデルの善し悪しを測る

どれだけ賢そうなモデルを作っても、学習に使ったデータだけに異常に詳しくなり、初めて見るデータにはまるで対応できない、ということがよく起こります。これを｜過学習《かがくしゅう》（オーバーフィッティング）と呼びます。逆に、モデルが単純すぎて学習データの傾向すら捉えられない状態を｜未学習《みがくしゅう》（アンダーフィッティング）と呼びます。この二つのバランスをバイアスと分散のトレードオフ（たんじゅんすぎる誤差と複雑すぎる誤差の綱引き）と呼ぶこともあります。

過学習を防ぐには、データを訓練データ・検証データ・テストデータ（それぞれ学習用・調整用・最終評価用）に分け、モデルが本当に「初めて見るデータ」にも通用するかを確認します。データを複数のグループに分け、順番に検証用として使い回しながら評価する｜交差検証《こうさけんしょう》※2という手法もよく使われます。また、パラメータが極端な値に振れすぎないよう罰則を加える｜正則化《せいそくか》（L1・L2正則化）という工夫もよく使われます。この「一般化性能をどう確保するか」という問題意識は、後の章で見るドロップアウトやRAG、スケーリング則の議論にまで、形を変えて何度も登場します。

第3章 集合知の力——アンサンブル学習

一つの完璧なモデルを作ろうとするより、そこそこの精度のモデルをたくさん作って、その意見を集約した方がうまくいく、という発想があります。これをアンサンブル学習（集団学習）と呼びます。専門家一人の判断より、複数の専門家の合議の方が安定した結論を出せる、という考え方に近いものです。

代表的な手法の一つがバギング（Bootstrap Aggregating の略）です。元のデータから重複を許してランダムに何度もサンプリングし、それぞれで別々のモデル（多くの場合は決定木）を学習させ、最後に多数決や平均を取ります。決定木をバギングで大量に組み合わせたものがランダムフォレストで、単体の決定木より過学習しにくく安定した精度を出せることから、今も広く実務で使われています。

もう一つの代表がブースティング（段階的に弱点を克服していく手法）です。バギングのように並行して学習するのではなく、前のモデルが間違えたデータに重点を置きながら、次のモデルを順番に学習させていきます。この考え方をさらに発展させ、前のモデルの誤差そのものを次のモデルに予測させながら精度を積み上げていく｜勾配ブースティング《こうばいブースティング》という手法があり、その効率的な実装である｜XGBoost《エックスジーブースト》やLightGBMは、表形式データを扱うコンペティションで長年にわたり高い実績を上げています。複数のモデルの予測結果を、さらに別のモデルに学習させて統合するスタッキング※3という、より高度な組み合わせ方もあります。

第4章 データの本質を見抜く——次元削減と表現学習の基礎

現実のデータは、何百、何千という項目（次元）を持つことが珍しくありません。項目が多すぎると計算コストがかさむだけでなく、データの本質が見えにくくなります。この問題に対処するのが｜次元削減《じげんさくげん》です。

代表的な手法が｜主成分分析《しゅせいぶんぶんせき》（PCA）です。データが最もバラついている方向（分散が最大になる方向）を新しい座標軸として選び直すことで、情報の損失をできるだけ抑えながら、少ない次元でデータを表現し直します。100個の項目を持つデータを、本質的な情報を保ったまま2〜3個の軸に要約できれば、人間の目で見て理解しやすいグラフに落とし込むこともできます。

ニューラルネットワークを使った次元削減の手法がオートエンコーダ（自己符号化器）です。入力データを一度、次元の小さい中間層（潜在空間）に圧縮するエンコーダと、そこから元のデータをできるだけ忠実に復元するデコーダを組み合わせ、「圧縮して、また復元する」という作業を繰り返させることで、データの本質的な特徴だけを抜き出した圧縮表現を学習させます。正解ラベルを必要としないため教師なし学習に分類され、この「データそのものから学ぶ」という発想は、後の章で紹介する自己教師あり学習や、画像生成に使われるVAEにもつながっていきます。

---

第二部 ニューラルネットワークの誕生と、二度の冬

第5章 パーセプトロンから多層へ

1958年、心理学者フランク・ローゼンブラットは、脳の神経細胞（ニューロン）の働きを単純化した数理モデル「パーセプトロン」を発表しました。複数の入力にそれぞれ重みを掛けて足し合わせ、一定のしきい値を超えたら「発火」する——という、脳の神経細胞の振る舞いを模した仕組みです。

しかし1969年、単純なパーセプトロン一つでは、単純な論理演算であるXOR問題（排他的論理和：入力が異なるときだけ真になる判定）すら解けないことが数学的に示され、ニューラルネットワーク研究への期待は急速にしぼみます。この停滞期は「第一次AIの冬」と呼ばれています。

この壁を越えたのが、パーセプトロンを何層にも積み重ねる多層パーセプトロン（MLP）です。層と層の間には、シグモイド関数や、現在もっとも広く使われるReLU（ランプ関数）のような｜活性化関数《かっせいかかんすう》※4を挟みます。

```
ReLU(x) = max(0, x)
```

マイナスの入力はすべて0に、プラスの入力はそのまま出力する、非常にシンプルな関数です。この単純さゆえに計算が速く、後述する「勾配消失問題」を起こしにくいという利点があり、現代の深層学習の標準部品になっています。層を重ねる理由は単純です。線形変換をいくら重ねても結局は一本の直線にしかなりませんが、間に活性化関数という「非線形」の折れ目を挟むことで、曲がりくねった複雑な境界線や関数を表現できるようになるのです。

第6章 誤差逆伝播法という発明

多層のネットワークを作れたとしても、内部の何百何千という重みを、どう調整すればよいかが長らく分かりませんでした。この問題を解いたのが、1986年にデビッド・ラメルハートらによって再発見・普及した｜誤差逆伝播法《ごさぎゃくでんぱほう》（バックプロパゲーション）です。

考え方はこうです。出力層で計算した誤差を、数学の｜連鎖律《れんさりつ》（微分の合成関数のルール）を使って、出力に近い層から入力に近い層へと逆向きにたどりながら、「この重みが誤差にどれくらい影響したか」を効率よく計算していきます。これにより、ネットワーク全体の重みを一括で、かつ現実的な計算量で更新できるようになりました。

ところが層を深くしすぎると、逆向きに伝わる誤差の信号がどんどん小さくなり、入力に近い層までほとんど届かなくなる｜勾配消失問題《こうばいしょうしつもんだい》が発生します。当時主流だったシグモイド関数は、両端で傾きがほぼ0になる性質があり、これが勾配消失を助長していました。この問題と、当時のコンピュータの非力さも重なり、1990年代後半から2000年代にかけて、ニューラルネットワーク研究は再び停滞します。「第二次AIの冬」です。この時期、実務の主役はむしろ第一部で紹介したSVMやランダムフォレストでした。

第7章 学習を安定させる技術——最適化アルゴリズムの進化

第1章で紹介した勾配降下法には、そのままでは実用上の課題がありました。データが数百万件もあると、一回パラメータを更新するたびに全データで損失を計算するのは非現実的です。そこで、データ全体ではなく、ランダムに抜き出した少量のまとまり（ミニバッチ）ごとに損失を計算して更新する｜確率的勾配降下法《かくりつてきこうばいこうかほう》（SGD）が標準になりました。

SGDは高速な一方、更新の方向が毎回ぶれやすく、損失関数の谷底が細長い地形だと、あちこちに振動しながら遠回りしてしまうという弱点があります。これを解決するために考案されたのが｜Momentum《モーメンタム》で、物理の慣性のように、これまでの更新方向を一定の割合で引き継ぐことで、振動を抑えながら滑らかに谷底へ進めるようにします。さらに、パラメータごとに更新頻度に応じて学習率を自動調整するAdaGrad・RMSprop※5という系譜の手法も考案されました。

これらの発想——慣性による安定化と、パラメータごとの学習率調整——を組み合わせた｜Adam《アダム》（Adaptive Moment Estimation）は、設定が簡単で幅広い問題に強いことから、現在もっとも標準的に使われる最適化手法になっています。重みが際限なく大きくなるのを防ぐ改良版のAdamWも、大規模モデルの学習でよく使われます。

学習をさらに安定させる工夫として、各層に入ってくるデータの分布を毎回一定に整える｜バッチ正規化《バッチせいきか》※6や、第二部第5章で触れたドロップアウトも、深層学習が実用レベルに達する上で欠かせない部品でした。

第8章 ディープラーニングの覚醒——2012年の奇跡

冬を終わらせたのは、三つの条件が同時にそろったことでした。ビッグデータ（インターネットの普及による大量の画像・文章データ）、計算能力（ゲーム用に開発されたGPU※7が、大量の並列計算を要するニューラルネットワークの学習に驚くほど適していると判明したこと）、そしてアルゴリズムの改良（ReLUや前章のドロップアウトなど、勾配消失を避ける工夫の蓄積）です。

2012年、画像認識コンペティション「ILSVRC」で、ジェフリー・ヒントンの研究室が開発した｜AlexNet《アレックスネット》が優勝しました。しかもその誤差率は、2位を10ポイント以上も引き離す圧勝でした。AlexNetが採用していたのが畳み込みニューラルネットワーク（CNN）です。

CNNは、画像の一部分（フィルタ）を少しずつスライドさせながら、エッジや模様といった局所的な特徴を検出する｜畳み込み層《たたみこみそう》と、その特徴を圧縮して重要な情報だけを残すプーリング層（集約する層）を交互に重ねる構造をしています。人間の視覚野が、まず単純な線や輪郭を認識し、それを組み合わせてより複雑な形を認識していく仕組みに着想を得ています。学習中に一部のニューロンをランダムに無効化して過学習を防ぐドロップアウト※8という手法も、この時期に広まりました。

この勝利をきっかけに、ディープラーニングは画像認識の主役に躍り出て、以降のAIブーム全体の起爆剤となります。

---

第三部 系列データを扱う技術

第9章 言葉を座標に変える——分散表現

画像と違い、文章は「順序」を持つ｜系列データ《けいれつデータ》です。単語をコンピュータに扱わせる第一歩として2013年ごろに広まったのが｜word2vec《ワードトゥーベック》です。これは、単語一つひとつを意味の近さに応じた座標（ベクトル）に変換する技術で、「王様－男＋女＝女王」に近い計算ができることで知られています。しかしword2vecは、文中での単語の並び順や、同じ単語でも文脈によって意味が変わることまでは扱えませんでした。

第10章 記憶する仕組み——RNN・LSTM・seq2seq

文脈を捉えるために登場したのが、文章を単語ごとに順番に読みながら、それまでの内容を隠れた記憶として保持するRNN（再帰型ニューラルネットワーク）です。さらにこの記憶力を改良し、重要な情報を長く保持しつつ不要な情報を忘れる「ゲート」の仕組みを備えた｜LSTM《エルエスティーエム》が、機械翻訳や文章生成の主役になりました。

RNNやLSTMを、文章を読み込むエンコーダ（符号化器）と、文章を生成するデコーダ（復号化器）の二つに分けて連結し、ある言語の文を別の言語の文に変換するseq2seq（系列変換モデル）という枠組みも、機械翻訳の分野で広く使われるようになりました。ただし、長い文章を一つの固定長のベクトルに圧縮してからデコーダに渡す方式には限界があり、文章が長くなるほど翻訳精度が落ちるという課題がありました。この課題への対処として2014年ごろに考案されたのが、デコーダが出力の各単語を生成するたびに、入力文のどの部分に注目すべきかを都度計算する初期のアテンション機構（注意機構）でした。この発想が、次章で紹介するTransformerへの布石になります。

RNN・LSTMには、もう一つ構造的な弱点がありました。一語ずつ順番にしか処理できないため計算を並列化しにくく、学習に時間がかかるという点です。「文脈を記憶できるが遅い」——この課題を、次の章で紹介する発明が解決します。

---

第四部 Transformer革命とLLM

第11章 Attention Is All You Need

2017年、Googleの研究者8人が発表した論文「Attention Is All You Need（注意こそがすべて）」は、その後のAIの歴史を決定づけました。ここで提案された｜Transformer《トランスフォーマー》は、RNNのように一語ずつ順番に読む代わりに、文中のすべての単語同士の関係を一度に計算する自己注意機構（セルフアテンション）を中核に据えています。

自己注意機構の計算は、次のような式で表されます。

```
Attention(Q, K, V) = softmax(QKᵀ / √dₖ) V
```

これだけ見ると難解ですが、発想自体はシンプルです。それぞれの単語は、「自分は何を探しているか」を表すクエリ（Q）、「自分は何を持っているか」を表すキー（K）、「実際に渡す中身」を表すバリュー（V）という三種類のベクトルを持ちます。あるクエリと、文中の全単語のキーとの類似度（QとKの内積）を計算し、softmax関数（合計が1になるように確率化する関数）で正規化することで、「文中のどの単語にどれくらい注目すべきか」という重みが求まります。その重みで各単語のバリューを加重平均したものが、文脈を反映した新しい表現になります。√dₖ で割るのは、内積の値が大きくなりすぎて学習が不安定になるのを防ぐための調整です。

この計算は、単語ごとに独立して並列に実行できるため、GPUで大量に同時処理できます。しかも、文中のどれだけ離れた単語同士でも、間に何語挟まっていようと直接関係性を計算できるため、長文でも文脈を見失いません。RNNが抱えていた「遅い」「長文で忘れる」という二つの弱点を、Transformerはほぼ一挙に解決したのです。

実際には、一つの注意機構だけでなく、複数の注意機構を並行して走らせるマルチヘッドアテンション（複数の視点で同時に注目する仕組み）や、単語の並び順の情報を補う｜位置エンコーディング《いちエンコーディング》※9も組み合わされています。RNNは処理の順番自体が語順の情報を担っていましたが、Transformerは全単語を同時に見るため、語順の情報を別途埋め込んでやる必要があるのです。

Transformerには、文章の意味を理解する用途に強いエンコーダ（符号化器）部分と、文章を生成する用途に強いデコーダ（復号化器）部分があります。この後、Googleは主にエンコーダ部分を使う｜BERT《バート》（2018年）を、OpenAIはデコーダ部分を使う｜GPT《ジーピーティー》（同じく2018年）を発表し、ここから二つの系譜が枝分かれしていくことになります。

第12章 GPTの系譜——事前学習から対話AIへ

2018年のGPT-1は、「大量の文章を読ませて言葉のパターンを学ばせたあと、特定の作業向けに追加調整する」という基本設計を初めて実証しました。2019年のGPT-2は、生成能力の高さゆえに一時公開が制限されるという異例の対応が取られ、AIの能力が社会に与える影響が初めて広く意識されました。2020年のGPT-3は、パラメータ数を1750億にまで拡大し、「例をいくつか見せるだけで新しい作業をこなせる」少数例学習の能力を見せつけました。

そのままでは会話に不向きだったGPT-3を、人間と自然に対話できるように調律したのが、人間の評価者の好みを学習させるRLHF（人間のフィードバックによる強化学習）です。この調律を経て2022年11月に公開された「ChatGPT」が、世界的な生成AIブームの引き金になりました。その後GPT-4（2023年、画像も扱えるマルチモーダル対応）、じっくり考える推論特化モデルのo1・o3系列、そして2025年のGPT-5と、進化は続いています。同じ頃、GoogleのGemini、AnthropicのClaude、そして後述するMoE型のオープンモデル群も急速に発展し、2026年現在、LLMは複数の企業が競い合う一大産業領域になっています。

第13章 LLMは内部で何をしているのか

LLMは文章をそのまま読むのではなく、まずトークン（文章を分解した最小単位）に区切ります。各トークンは、word2vecの発展形にあたる埋め込み（エンベディング）に変換され、自己注意機構によって文脈に応じて調整されながら、何十層ものTransformer層を通過していきます。

学習の本質は、「これまでの文章を読んで、次に来る単語を予測する」という単純な作業の、天文学的な回数の繰り返しです。この学習方式を｜自己回帰《じこかいき》※10と呼び、この地道な予測の繰り返しの中で、モデルは文法や事実、論理の運びまで副産物として身につけていきます。この作業を｜事前学習《じぜんがくしゅう》と呼び、このとき調整される内部の数値の集まりがパラメータ（重み）です。

生成時には、次に来る確率が高いトークンの候補から一つを選び、それを新しい入力の一部として使いながら一語ずつ文章をつなげていきます。どれだけ意外性のある単語を選びやすくするかを調整するのが温度（テンパラチャー）※11というパラメータで、モデルが一度に読み書きできる文章量の上限をコンテキストウィンドウ（文脈窓）※12と呼びます。

---

第五部 LLMを賢く・効率よくする技術群

事前学習だけを終えたモデルは、いわば「大量の本を読んだが、質問への答え方をまだ教わっていない優等生」です。ここから実用的なAIに仕上げる、あるいはより効率よく動かすための技術が、次々と生み出されています。

第14章 事後学習という仕上げ——SFT・RLHF・DPO

事前学習を終えたモデルに、「こう聞かれたら、こう答える」という模範例を学習させる工程を指示チューニング（インストラクションチューニング／SFT）と呼びます。さらに、複数の回答案に人間が優劣をつけ、その好みをモデルに学習させるRLHFを組み合わせることで、自然で好ましい受け答えができるようになります。

RLHFは効果的である一方、報酬モデル（人間の好みを予測する別のモデル）を別途訓練する必要があり、学習の過程が複雑で不安定になりやすいという課題がありました。これを簡略化する手法として近年広まっているのがDPO（直接選好最適化）※13です。報酬モデルを別に用意せず、「どちらの回答が好ましいか」という人間の選好データから、モデル自身のパラメータを直接調整する手法で、RLHFに近い効果をより単純な計算で得られるとされています。

第15章 外部の知識を借りる——RAG

LLMは学習した時点までの知識しか持たず、最新情報や社内文書までは知りません。この弱点を補うのが｜RAG《ラグ》（検索拡張生成）です。質問が来るたびに外部の文書やデータベースを検索し、見つかった情報を回答の材料として一緒にモデルへ渡します。モデルの中身を書き換えずに、最新かつ専門的な情報に対応できる点が特徴です。

第16章 効率化の技術——LoRA・量子化・蒸留・プルーニング

モデル全体のパラメータを調整し直すフルファインチューニングは、計算コストが非常に大きくなります。そこで広まったのが、モデル本体は固定したまま、少数の追加パラメータだけを効率よく学習させる｜LoRA《ローラ》（Low-Rank Adaptation）です。低コストでモデルを特定の話し方や専門分野に適応させたいときによく使われます。

学習済みモデルを軽量化する技術も重要です。｜量子化《りょうしか》は、通常32ビットで表現されている重みの数値を、8ビットや4ビットといった少ないビット数で表現し直すことで、必要なメモリと計算量を大幅に減らします。｜蒸留《じょうりゅう》（ナレッジディスティレーション）は、大きな｜教師モデル《きょうしモデル》の出力（正解か否かだけでなく、確率の分布そのもの）を手本として、小さな｜生徒モデル《せいとモデル》を訓練し、少ないパラメータで教師モデルに近い性能を再現させる手法です。プルーニング（枝刈り）※14は、影響の小さい重みやニューロンを削除して、モデルのサイズそのものを小さくする手法です。これらはスマートフォンなど、計算資源が限られた環境でAIを動かすエッジAI（たんまつ側で推論するAI）の実現に欠かせない技術になっています。

第17章 巨大化と効率化の両立——MoE（混合専門家モデル）

「モデルを大きくすれば賢くなるが、大きくするほど計算コストが跳ね上がる」というジレンマに対する、2024年以降の主流の答えが｜MoE《ミクスチャー・オブ・エキスパーツ》（混合専門家モデル）です。

MoEでは、Transformerの一部の層を、複数の専門家（Expert）ネットワークの集まりに置き換えます。入力されたトークンごとに、ルーター（振り分け役）と呼ばれる小さなネットワークが、どの専門家に処理させるべきかを判断し、全専門家のうちのごく一部だけを実際に稼働させます。

```
y = Σᵢ softmax(TopK(x·Wg))ᵢ Eᵢ(x)
```

x は入力トークン、Wg はルーターの重み、TopK は最もスコアの高い上位K個の専門家だけを選ぶ操作、Eᵢ(x) はi番目の専門家ネットワークの出力です。式が示しているのは「全員に聞くのではなく、得意そうな数人にだけ聞いて、その意見を重み付けして合体させる」という発想です。オープンウェイトモデルの｜Mixtral 8x7B《ミクストラル》は、全体では467億のパラメータを持ちながら、1トークンの処理に実際使うのは130億程度に抑えられており、大きなモデル並みの知識量を、小さなモデル並みの速度で扱えます。専門家の得意分野は、あらかじめ人間が決めるのではなく、学習の過程で自然に分業が生まれていく点も興味深い特徴です。

MoEには、特定の専門家にトークンが集中し、他の専門家がほとんど鍛えられなくなる｜ルーティング崩壊《ルーティングほうかい》という課題があり、各社が負荷分散の工夫を競っています。DeepSeek-V3のように、256人という非常に細かく分割された専門家群を持つモデルも登場しており、MoEは2026年現在、最先端モデルのほぼ標準的な設計になっています。

第18章 考えさせる技術——CoT・推論モデル・テスト時計算

同じモデルでも、「いきなり答えを出させる」のと「途中の考え方を書き出させてから答えさせる」のとでは、正答率が大きく変わることが知られています。プロンプトの中に「一歩ずつ考えてください」といった指示を含め、途中の思考過程を言語化させながら答えに導く手法を｜CoT《チェーン・オブ・ソート》（思考の連鎖）と呼びます。数学の文章題や複数手順が必要な論理パズルで、特に効果が大きいことが確認されています。

OpenAIのo1・o3のような｜推論モデル《すいろんモデル》は、このCoTの発想をモデルの訓練そのものに組み込み、答えを出す前に、内部で長い思考の過程を生成してから最終的な回答を出力します。これは、回答を出すまでにかけるモデル自身の計算時間を増やす、テスト時計算（推論時に計算量を増やして精度を上げる考え方）というアプローチの一種です。従来は「学習時にどれだけ計算をかけるか」が性能を左右する主要な要因でしたが、推論モデル以降は「答えを出す瞬間にどれだけ考えさせるか」もまた、性能を左右する新しい軸になりました。一方で、モデルが書き出す思考過程が、実際の内部の判断プロセスを必ずしも忠実に反映していないという指摘もあり、「思考の連鎖の透明性」は現在も研究が続くテーマです。

---

第六部 LLMを高速に動かす推論工学

賢いモデルを作れても、実際にサービスとして動かすには「どれだけ速く、安く答えを返せるか」という別の課題が立ちはだかります。この部では、モデルの中身そのものではなく、動かし方を工夫する技術を見ていきます。

第19章 注意機構を高速化する——Flash AttentionとKVキャッシュ

第11章で見た自己注意機構は、文中のすべての単語対の関係を計算するため、文章が長くなるほど必要な計算量とメモリが急激に（文章の長さの2乗に比例して）増えていきます。この計算そのものを高速化する工夫が｜Flash Attention《フラッシュアテンション》です。GPU内部の高速な記憶領域（SRAM）を賢く使い回すことで、計算結果を毎回メモリに書き出す無駄を省き、数値としての計算結果は変えないまま、大幅な高速化とメモリ削減を実現しています。長い文章を扱う現代のLLMにとって、欠かせない基盤技術になっています。

もう一つの重要な工夫が｜KVキャッシュ《ケーブイキャッシュ》です。第13章で見たように、LLMは一語ずつ順番に文章を生成しますが、この際、それまでに計算済みのキー（K）とバリュー（V）を毎回ゼロから計算し直すのは非効率です。KVキャッシュは、一度計算したKとVの値を記憶しておき、新しいトークンを生成するときは新しく増えた分だけを計算する仕組みです。これにより生成速度は大きく改善しますが、文章が長くなるほど記憶しておくキャッシュも巨大になるため、キャッシュそのものを圧縮するグループドクエリアテンション（GQA）※15のような工夫も、近年の主要モデルで広く採用されています。

第20章 未来を先読みする——投機的デコーディング

LLMが一語ずつ順番に文章を生成する仕組みは、第13章で見た通りです。この「一語ずつ」という制約そのものを回避する工夫が｜投機的デコーディング《とうきてきデコーディング》（Speculative Decoding）です。

考え方はこうです。まず、精度は少し劣るが動作が非常に速い小さなモデル（ドラフトモデル）に、複数語先までまとめて予測させます。その予測結果を、本来使いたい大きなモデルに一括で検証させ、正しいと判定された部分はそのまま採用し、間違っていた部分だけ大きなモデルに改めて生成させ直します。小さなモデルの下書きを、大きなモデルが添削するようなイメージです。最終的な出力は大きなモデル単体で生成した場合と（理論上）まったく同じでありながら、平均的には複数語をまとめて処理できるため、体感速度が大きく向上します。

第21章 Transformerに挑む新設計——状態空間モデルとMamba

Transformerの自己注意機構は強力ですが、第19章で触れた通り、文章が長くなるほど計算量とメモリが急増するという弱点を構造的に抱えています。この弱点に真正面から挑む新しいアーキテクチャとして、2023年ごろから注目されているのが状態空間モデル《じょうたいくうかんモデル》（SSM）、その代表格である｜Mamba《マンバ》です。

Mambaは、Transformerのように全単語の関係を毎回計算し直すのではなく、RNNに似た発想で、文章を読み進めながら重要な情報を圧縮した「隠れ状態」を更新していきます。すべてを記憶するのではなく、入力に応じて「何を記憶し、何を忘れるか」を動的に選択する｜選択的スキャン《せんたくてきスキャン》という仕組みを備えており、文章の長さに比例した計算量で処理できる（Transformerのような2乗の増加をしない）という利点があります。特に数十万トークンを超えるような超長文の処理で、その効率のよさが際立ちます。

もっとも、短い〜中程度の文章では、ハードウェアに最適化されたTransformerの方が実測では高速な場合も多く、2026年現在では、MambaのようなSSM層とTransformerの自己注意機構を同じモデルの中で組み合わせる｜ハイブリッド構成《こうせい》も増えています。日本のPreferred Networksが開発した「PLaMo 2」もその一例で、トークン密度が高い日本語で長文を扱う際の効率を意識した設計がなされています。「Transformerが唯一絶対の解ではない」ことを示す動きとして、覚えておく価値があります。

---

第七部 表現を学び、他分野へつなげる

第22章 ラベルなしで学ぶ——自己教師あり学習と対照学習

教師あり学習の最大のボトルネックは、正解ラベルを人間が付ける手間とコストです。この制約を取り払うのが自己教師あり学習（SSL）です。データそのものから自動的に「問題」と「正解」を作り出します。LLMの事前学習で見た「次の単語を当てる」というタスクも、実は自己教師あり学習の一種です——正解は文章そのものの中にすでに存在しているからです。

画像分野で自己教師あり学習を大きく前進させたのが｜対照学習《たいしょうがくしゅう》（Contrastive Learning）です。代表的な手法SimCLRでは、一枚の画像に「切り抜き」「色調変更」といったランダムな加工を二通り施し、同じ元画像から作られた二つの加工版は近い表現に、まったく別の画像から作られた表現は遠くなるように学習します。「同じものは近く、違うものは遠く」という単純な原則だけで、ラベルなしにデータの本質的な特徴を学習できることが示されました。

この発想をさらに発展させ、画像とその説明文のペアを大量に対照学習させることで、言葉と画像を同じ座標空間に配置する｜CLIP《クリップ》のような技術も登場しています。すでに何らかのタスクで学習させたモデルの知識を、別の関連タスクに転用する｜転移学習《てんいがくしゅう》（Transfer Learning）という考え方も、この自己教師あり学習と組み合わさることで大きな効果を発揮します。医療画像のようにラベル付きデータを大量に用意しにくい分野では、まずラベルなしの画像で自己教師あり学習を行い、その後、少量のラベル付きデータでファインチューニングする、という流れが定着しています。

第23章 つながりを学ぶ——グラフニューラルネットワーク

CNNは画像のような格子状のデータ、RNNやTransformerは文章のような一列に並んだ系列データを扱うのが得意です。しかし世の中には、SNSの友人関係、分子の構造、道路網のように、要素同士が複雑につながり合ったグラフ構造（点（ノード）と、それをつなぐ線（エッジ）からなるデータ構造）を持つデータも数多く存在します。

このようなデータを扱うために生まれたのがグラフニューラルネットワーク（GNN）です。基本的な発想は、各ノードが、自分とつながっている隣接ノードの情報を集約して、自分自身の表現を更新していくというものです。これを何層にも繰り返すことで、直接つながっていない少し離れたノードの情報even も、間接的に伝わってくるようになります。創薬における分子の性質予測や、SNSでのコンテンツ推薦、交通量の予測など、「つながり」そのものが重要な意味を持つ分野で活用が進んでいます。

---

第八部 生成AIの広がり

第24章 画像を生み出す技術——GAN・VAE・拡散モデル

言葉を生成するLLMと並行して、画像を生成する技術も独自に発展してきました。2014年に登場した｜GAN《ギャン》（敵対的生成ネットワーク）は、偽物のデータを作る生成器（ジェネレータ）と、本物か偽物かを見分ける識別器（ディスクリミネータ）という二つのネットワークを競わせながら学習する手法です。贋作師と鑑定士がお互いに腕を磨き合っていくような関係だとイメージすると分かりやすいでしょう。GANは高品質な画像を生成できる一方、学習が不安定になりやすく、生成される画像の多様性に欠けるという課題を抱えていました。

近年の画像生成AIの主流になっているのが｜拡散モデル《かくさんモデル》（ディフュージョンモデル）です。元の画像に少しずつノイズを加えて完全なノイズ状態にする過程（拡散過程）をモデルに学習させ、逆にノイズだらけの状態から少しずつノイズを取り除いて元の画像を復元する過程を繰り返すことで、真新しい画像をゼロから生成します。単一のネットワークがノイズ除去だけに専念するシンプルな設計のため、GANに比べて学習が安定しやすく、Stable DiffusionやDALL-Eなど、現在の主要な画像生成AIの多くがこの方式を採用しています。ちなみに、第4章で紹介したオートエンコーダを発展させ、圧縮した潜在空間に確率的なゆらぎを持たせることで多様な生成を可能にする｜VAE《ブイエーイー》（変分オートエンコーダ）という手法も、拡散モデルの内部処理の一部として今も使われています。

第25章 複数の感覚をつなぐ——マルチモーダルとエンベディング検索

文章、画像、音声など、異なる種類のデータを一つのモデルで同時に扱う技術をマルチモーダル（ふくすうのモード（感覚様式）を扱うこと）と呼びます。第22章で紹介したCLIPのような、画像と言葉を同じ座標空間に配置する技術が、その基盤の一つになっています。

音声の分野でも、Transformerを応用した技術革新が進みました。OpenAIが公開した｜Whisper《ウィスパー》は、68万時間分という膨大な音声データを学習した音声認識モデルで、LLMと同じように「次に来るトークンを予測する」という発想で文字起こしを行います。多言語の音声を高い精度で認識・翻訳できることから、文字起こしや音声アシスタントなど、幅広い場面で活用されています。

第4章・第22章で見た「意味を座標に変換する」という埋め込みの考え方は、検索の分野にも応用されています。文章をベクトルに変換して専用のデータベース（ベクトルデータベース（埋め込みベクトルを効率よく検索するための仕組み））に保存しておき、質問文もベクトル化して、意味的に近いものを検索する——これが第15章で紹介したRAGを支える基盤技術です。

第26章 試行錯誤で学ぶ——強化学習の基礎とAlphaGo

序章で触れた強化学習を、もう少し詳しく見てみましょう。強化学習では、行動する主体をエージェント、エージェントが置かれた状況を状態、取りうる行動を行動、行動の結果として得られる評価を報酬と呼びます。ある状態である行動を取ったときの期待報酬を推定する関数を学習する方法を｜Q学習《キューがくしゅう》、行動そのものを選ぶ確率を直接学習する方法を｜方策勾配法《ほうさくこうばいほう》と呼びます。

```
∇θJ(θ) = E[∇θ log πθ(a|s) · Q(s,a)]
```

この式は、「報酬が高くなった行動については、その行動を選ぶ確率をもっと上げる方向にパラメータを動かす」ということを表しています。勾配降下法が損失を減らす方向にパラメータを動かすのに対し、方策勾配法は報酬を増やす方向にパラメータを動かす、符号が逆の考え方だとイメージしてください。

2016年、Google DeepMindの｜AlphaGo《アルファ碁》が、世界トップ棋士を打ち破り話題になりました。AlphaGoは、盤面の優劣を評価する｜価値ネットワーク《かちネットワーク》と、有力な次の一手を絞り込む｜方策ネットワーク《ほうさくネットワーク》という二つのニューラルネットワークを、｜モンテカルロ木探索《もんてかるろきたんさく》※16と組み合わせて構成されていました。後継のAlphaGo Zeroは、人間の棋譜を一切使わず、自己対戦だけでゼロから学習してAlphaGoを上回る強さに到達しています。

なお、第14章で紹介したRLHFやDPOも、広い意味では強化学習の一種です。「人間の好みを報酬として、より好ましい回答を選ぶ確率を上げていく」という点で、AlphaGoの「勝率を報酬として、勝ちやすい手を選ぶ確率を上げていく」という発想と、根っこの部分でつながっています。

---

第九部 AIの安全性・評価と、これから

第27章 ものさしをつくる——ベンチマークと評価

モデルが本当に「賢くなった」かどうかを確かめるには、共通の試験問題、つまりベンチマーク（評価用の標準問題集）が必要です。幅広い学問分野の四択問題を集めた｜MMLU《エムエムエルユー》や、プログラミング能力を測る｜HumanEval《ヒューマンイヴァル》、実際のソフトウェア開発の課題を解かせる｜SWE-bench《エスダブリューイーベンチ》などが、現在のLLMの実力を比較する際によく使われています。

ただし、ベンチマークの点数を上げることだけを目的に学習してしまうと、試験問題には強いが実際の場面では役に立たない、という状態に陥る危険もあります。また、ベンチマークの問題そのものが学習データに紛れ込んでしまい、モデルが「解いている」のではなく「答えを覚えている」だけになる｜データ汚染《データおせん》という問題も、業界全体の課題として指摘されています。ものさし自体を適切に保つことも、AI開発の重要な一部なのです。

第28章 原則で導く——Constitutional AIとRLAIF

第14章で見たRLHFは、人間の評価者が回答の優劣を判断することでモデルを調律する手法でした。しかし、人間による評価には、大きなコストと時間がかかるだけでなく、評価者の疲労や個人差によるブレが混ざり込むという課題もあります。

この課題への一つの答えとして、Anthropicが提唱したのが｜Constitutional AI《けんぽうエーアイ》です。あらかじめ「有害な内容を生成しない」「人を欺かない」といった原則（憲法）を言葉で定義しておき、モデル自身に、自分の出力がその原則に沿っているかを自己評価・自己修正させながら学習を進めます。人間の評価者の代わりにAI自身が評価者としてフィードバックを行うため、この手法は｜RLAIF《アールエルエーアイエフ》（AIのフィードバックによる強化学習）と呼ばれています。人間による評価がボトルネックになりにくく、大規模かつ一貫した基準で安全性を高められる一方、原則の書き方が粗いと、必要以上に慎重になりすぎたり、逆に意図しない抜け道が生まれたりする難しさもあり、原則そのものをどう設計するかが、今も研究と実務の両面で重要なテーマになっています。

第29章 ハルシネーションとスケーリング則の踊り場

LLMは「事実を検索して答えている」わけではなく、確率的に言葉をつなげているにすぎません。そのため、いかにも本当らしい顔をして誤った情報を生成してしまうハルシネーション（幻覚）は、モデルの仕組みそのものに根ざした課題であり、モデルが巨大化しても完全にはなくなっていません。学習データに含まれる偏り（バイアス）や、巨大な計算資源・電力を要するコストの問題も、実用上の大きな課題として残っています。

「モデルの規模（パラメータ数やデータ量）を拡大するほど性能が向上する」という経験則を｜スケーリング則《きそく》と呼びますが、2026年現在、学習に使える良質な文章データの枯渇などを背景に、単純な規模拡大には一定の踊り場が意識されるようになってきました。業界の関心は、ひたすらモデルを大きくすることから、本書で見てきたMoEによる効率化、CoTによる推論時の工夫、Mambaのような新アーキテクチャ、マルチモーダル化、外部ツールを使いこなすエージェント（じぶんで判断してツールを使いながらタスクを遂行するAI）化といった、質的な進化へと軸足を移しつつあります。

第30章 これから機械学習と付き合っていく私たちへ

ここまで見てきたように、今のAIブームは決して一つの発明が起こしたものではありません。線形回帰という素朴な統計、アンサンブル学習という集合知の発想、パーセプトロンという脳の模倣、誤差逆伝播法という数学的発明、CNNという画像認識の工夫、RNNからTransformerへの系列処理の進化、そしてRLHFやMoE、CoT、Mamba、Constitutional AIといった仕上げと安全性の技術——これらが積み重なった結果として、今のLLMがあります。

一つひとつの技術は、それぞれ単純な発想から生まれています。「損失を測って少しずつ動かす」「文脈に応じて注目先を変える」「得意な専門家にだけ聞く」「考える時間を長く与える」「原則に沿っているか自分で確認する」——複雑に見える最新のAIも、こうした素朴なアイデアの積み重ねでできています。この本が、そのつながりを見通すための地図になれば幸いです。

---

巻末用語集

※1 学習率：勾配降下法などで、パラメータを一度にどれだけ動かすかを決める歩幅。大きすぎると最適な点を通り越してしまい、小さすぎると学習に時間がかかりすぎる。

※2 交差検証：データを複数のグループに分け、順番に検証用として使い回しながらモデルの性能を評価する手法。限られたデータをより有効に活用できる。

※3 スタッキング：複数のモデルの予測結果を、さらに別のモデル（メタモデル）に学習させて統合する、高度なアンサンブル学習の手法。

※4 活性化関数：ニューラルネットワークの層と層の間に挟む非線形の関数。これがあることで、単純な直線的な計算の積み重ねでは表現できない、複雑なパターンを学習できるようになる。

※5 AdaGrad・RMSprop：パラメータごとに更新頻度に応じて学習率を自動調整する最適化手法の系譜。この発想はAdamにも取り込まれている。

※6 バッチ正規化：各層に入ってくるデータの分布を、学習中に毎回一定に整えることで、学習を安定させ高速化する手法。

※7 GPU：Graphics Processing Unitの略。もともとは画像処理用に開発された演算装置だが、大量の並列計算を得意とする性質がニューラルネットワークの学習に適しており、深層学習の実用化を支えた。

※8 ドロップアウト：学習中に一部のニューロンをランダムに無効化し、特定のニューロンへの過度な依存を防ぐことで過学習を抑える手法。

※9 位置エンコーディング：Transformerが単語の並び順の情報を扱うために、各トークンの埋め込みに位置の情報を加算する仕組み。

※10 自己回帰：直前までの自分自身の出力を次の入力の一部として使いながら、一語ずつ文章を生成していく方式。

※11 温度（テンパラチャー）：文章生成時に、どれだけ意外性のある単語を選びやすくするかを調整するパラメータ。低いと手堅く、高いと創造的だが不安定になる。

※12 コンテキストウィンドウ：モデルが一度に読み書きできる文章量の上限。この範囲を超えた情報は原則として参照できない。

※13 DPO（直接選好最適化）：RLHFのように別途の報酬モデルを訓練せず、人間の選好データから直接モデルのパラメータを調整する、より単純な事後学習の手法。

※14 プルーニング（枝刈り）：ニューラルネットワークの中で影響の小さい重みやニューロンを削除し、モデルのサイズと計算量を削減する軽量化手法。

※15 グループドクエリアテンション（GQA）：複数のクエリで一部のキー・バリューを共有することで、KVキャッシュのサイズを削減し、推論を効率化するアーキテクチャ上の工夫。

※16 モンテカルロ木探索：ある局面から手を打ってはランダムにシミュレーションを繰り返し、その勝率をもとに有望な手を絞り込んでいく探索アルゴリズム。囲碁AIなどで広く使われている。