このページでは、教師あり・教師なし・強化学習の違い、ニューラルネットワークと誤差逆伝播法、ディープラーニングやファインチューニングなどAIの基本用語がわかります。
-
記号の書き方(このメモのルール):
- 本来は上に線を引いて表す「否定」「補集合」は、論理なら ¬A、集合なら Aᶜ と書く
- 2乗などのべき乗は 2³、σ² のように書く。log の底は log₂ のように書く
-
一言で言うと:
- コンピュータにデータから学ばせる方法(機械学習)と、それを深くしたディープラーニングの話。
3つの学び方(教師あり・教師なし・強化学習)→ 脳をまねた仕組み(ニューラルネットワーク)→ 層を深くする(ディープラーニング)
覚え方の軸
- 学び方は「正解をどう与えるか」で3つ:
- 正解つき(教師あり:回帰・分類)、正解なし(教師なし:クラスタリング・次元削減)、報酬(強化学習:試行錯誤)
- ニューロンは「入力×重みの合計が閾値を超えたら1」
- 重みの調整は誤差逆伝播法:
- 出力と正解の誤差が小さくなるよう、出力層 → 入力層の向きに調整する
- ニューラルネットワークを多層にしたのが DNN=ディープラーニング:
- 計算の大部分は行列計算なので GPU を使う
機械学習とディープラーニング
- AI(Artificial Intelligence:人工知能):
- 人間の「知能」を実現するための技術
- 機械学習:
- AIを実現するアプローチの1つ。コンピュータを教育する方法の総称
- 特定のタスク(判別、分類、予測など)のために、「大量のデータ」と「データを解析して、タスクの実行方法を学習できるアルゴリズム」でコンピュータをトレーニングする
- 機械学習の学び方
| 学び方 | やり方 | 用途 |
|---|---|---|
| 教師あり学習 | 入力と正解がセットになったトレーニングデータを与え、未知のデータでも正解を出せるようにする | 回帰(過去の実績から未来を予測)、分類・判別 |
| 教師なし学習 | 大量の入力データだけを与え、コンピュータ自身にデータの特徴や規則を見つけさせる | クラスタリング(似たものでグループ化)、次元削減(意味をなるべく残して、少ない次元の情報にする。データの圧縮や可視化) |
| 強化学習 | 試行錯誤を通じて、「価値(報酬)を最大にする行動」を学ぶ | 将棋や碁のソフト、株の売買など |
- 代表的なアルゴリズム
- 回帰:
- 線形回帰、ベイズ線形回帰
- 分類・判別:
- ロジスティック回帰、決定木
- 次元削減:
- 主成分分析
- 回帰:
- 強化学習の3つの構成要素:
- 環境、エージェント(学習者)、行動。ある環境の中のエージェントに、どの行動をとれば価値が最大になるかを学ばせる
- マルコフ決定過程:
- マルコフ過程をもとに、各状態で報酬が与えられるようにした確率モデル。強化学習の「環境」の最も基本的なモデル。最終的に最も高い報酬が得られる状態遷移の並び(シーケンス)を見つける
- 過学習(過適合):
- 学習データにだけ最適化されてしまい、未知のデータに対する精度が下がる現象
- ニューラルネットワーク:
- 脳の神経回路網をまねた数理モデル。入力層と出力層の間に、中間層(隠れ層)をもつ
- ニューロン(脳の神経細胞)を数理モデルにした形式ニューロンを並べて組み合わせる
- 大量の学習用データを与え、出力と正解(目標値)の誤差が最小になるように信号線の重みを自動で調整する
- 形式ニューロン:
- 入力x₁〜xₙにそれぞれ重みw₁〜wₙを掛けて合計し、閾値θを超えたら1、超えなければ0を出力する
- 式:
- Σxᵢwᵢ>θ なら y=1、Σxᵢwᵢ≦θ なら y=0
- 例:
- 入力(1,0,1)、重み(0.5,0.3,0.4)、閾値0.8
- 合計=1×0.5+0×0.3+1×0.4=0.9 → 0.8を超えるので出力 1
- 誤差逆伝播法(バックプロパゲーション):
- 最適な重みに調整するためのアルゴリズム。出力層から入力層に向かって順に、各重みの誤差が小さくなるよう調整していく
- 学習を重ねて重みが最適化されると、ニューラルネットワークは正解にたどり着くためのルール(例:犬と猫を区別する目の付けどころ)を自分で学べるようになる。学習用データが多いほど精度が高くなる
- パーセプトロン:
- 入力層と出力層の2層だけのもの。単純パーセプトロンともいう
- 一般に「ニューラルネットワーク」というと、3層の多層パーセプトロンを指す
- 出力層のニューロンの数:
- 解く問題に合わせて決める。クラス分類なら、分けたいクラスの数にするのが一般的
- ディープラーニング(深層学習):
- 機械学習をさらに発展させたもの。ニューラルネットワークを多層化し、中間層とニューロンを増やした DNN(Deep Neural Network:ディープニューラルネットワーク)で、膨大なデータを処理して、より複雑な判断ができるようにする
- 基盤モデル:
- 学習済みのモデル
- ファインチューニング:
- 基盤モデルに独自のデータを追加で学習させ、重みを微調整して、新しい目的に特化したモデルにすること。自社業務向けのモデルを、ゼロから作るより簡単・安く作れる
その他のAI関連の用語
- エキスパートシステム:
- 特定分野の専門知識をもとにルールベースの推論を行い、専門家と同じレベルの問題解決をする
- バックトラック法(後戻り法):
- 場合分けをして深さ優先で探索し、解が見つからなければ1つ前の場合分けに後戻りする。しらみつぶしの探索を、組織的に効率よく行う技法
- 遺伝的アルゴリズム(GA:Genetic Algorithm):
- 生物の進化をまねた方法。解の候補を遺伝子に見立て、突然変異・交配・とう汰を繰り返して、より良い解に近づける
混同しやすいペア
- 教師あり学習(正解つき。回帰・分類)/教師なし学習(正解なし。クラスタリング・次元削減)/強化学習(報酬で試行錯誤)
- 分類(教師あり。決まった正解のグループに振り分ける)/クラスタリング(教師なし。似たものどうしでグループを作る)
- マルコフ過程(直前の状態で次が決まる)/マルコフ決定過程(それに報酬を加えたもの。強化学習の環境)
- 入力層/中間層(隠れ層)/出力層
- 単純パーセプトロン(2層)/多層パーセプトロン(3層。一般的なニューラルネットワーク)/DNN(さらに多層。ディープラーニング)
- 誤差逆伝播法(出力層 → 入力層の向きに重みを調整)
- 過学習(学習データにだけ合いすぎる)
- 基盤モデル(学習済みのモデル)/ファインチューニング(追加学習で特化させる)
- エキスパートシステム(ルールで推論)/ディープラーニング(データから学ぶ)/遺伝的アルゴリズム(進化をまねる)