Google Cloud Platformによる機械学習システム構築
Google Cloud Platformによる機械学習システム構築
リックテレコム
著者：吉川隼人
はじめに
目次
GCPのセットアップ
GCPのアカウント作成
プロジェクトの作成
サンプルコードを使うために
Cloud SHellの使い方
Google Cloud Storageの使い方
Datalabの使い方
サンプルコードのダウンロード
Chapter1 機械学習とは
1-1 機械学習の概念
1-1-1 機械学習と人工知能
Column 人工知能の種類
1-1-2 機械学習を関数に例える
1-1-3 識別の境界線
1-1-4 パーセプトロンの学習則
1-1-5 ニューラルネットワークは何が違うのか
1-2 scikit-learnの基礎
1-2-1 scikit-learnとは
1-2-2 学習と推論
1-2-3 サポートベクターマシン
1-2-4 ランダムフォレスト
1-3 TensorFlowの基礎
1-3-1 Define and Runの概念
1-3-2 グラフとセッション
1-3-3 tf.layersによるニューラルネットワーク構築
1-4 KerasでCNN実装
1-4-1 CNNとは？ 何が優れているのか
1-4-2 Kerasと高レベルAPI
1-4-3 KerasでCNN実装
Chapter2 機械学習システム
2-1 機械学習システムの全体像
2-1-1 モデル以外のフローと目的の違い
2-1-2 データの流れを考える
2-1-3 安定したシステム
2-2 評価とチューニング
2-2-1 運用中の評価の必要性
2-2-2 コンフュージョンマトリックス
2-2-3 PrecisionとRecall
2-2-4 グリッドサーチ
2-3 GCPのサーバーレス環境
2-3-1 サーバーレスとは
2-3-2 Cloud Functions
2-3-3 GHCPのサーバーレスプロダクト
2-3-4 環境の選択
Chapter3 データの取得と表示
3-1 データの取得に必要な構成
3-1-1 データの取得方法
3-1-2 データの蓄積
3-1-3 リアルタイムかバッチか
3-2 Google App Engineでアプリ開発
3-2-1 機能に集中したシステム開発
3-2-2 GAEアプリケーションの作成
3-2-3 入力を受け付ける構成
3-2-4 Datastoreへの保存
3-3 BigQueryとの連携
3-3-1 BigQuery
3-3-2 BigQuery APIの利用
3-3-3 GAEからBigQuery APIを利用する
3-3-4 GAEからデータの保存
3-3-5 クエリの実行
3-4 Firebaseによるリアルタイム監視
3-4-1 Firebaseとは
3-4-2 Realtime Database
3-4-3 ブラウザからの操作
3-4-4 Firebase APIの利用
Chapter4 データの前処理
4-1 データの前処理に必要な構成
4-1-1 前処理で何を行うか
4-1-2 SQLによる前処理
4-1-3 DataprepやBIツールの活用
4-2 Cloud Dataflowによるパイプライン処理
4-2-1 Cloud Dataflow
4-2-2 簡単なパイプライン
4-2-3 パイプラインを伝わるデータとTransfrom
4-2-4 パイプラインの分岐
4-2-5 GroupByKeyで複数の要素をまとめる
4-3 Cloud Dataflowで画像の前処理
4-3-1 画像の前処理
4-3-2 GCSへのアクセス
4-3-3 TFRecord形式の保存
4-4 Google App Engineとの連携
4-4-1 Dataflow Templates
4-4-2 テンプレートの登録
4-4-3 APIでテンプレート実行
4-4-4 GAEのCron Serbviceで定期実行
Chapter5 学習と推論の環境
5-1 学習と推論の運用フェーズ課題
5-1-1 学習の課題
5-1-2 推論の課題
5-2 ML Engineによるモデル学習
5-2-1 ML Engineを使った学習
5-2-2 Kerasモデルの学習
5-2-3 学習の自動化
Column Scale Tierについて
5-3 Online Predictionによる推論環境構築
5-3-1 Online Predictionとは
5-3-2 学習済みモデルの作成
5-3-3 モデルの登録
5-3-4 APIによる推論実行
5-4 モデルとデータのバージョニング
5-4-1 バージョニングとは
5-4-2 モデルのバージョニング
5-4-3 データのバージョニング
Appendix 付録
A Python2の基本的な使い方
A-1 print
A-2 変数
A-3 リスト、タプル
A-4 辞書型
A-5 フロー制御
A-6 関数
A-7 ライブラリ
索引