はじめに

本書を手にとっていただきありがとうございます。

まずはじめに、“AI(人工知能)”と聞いて、みなさんは何を思い浮かべるでしょうか。

SF映画に出てくるような知能や感情を持ったロボット、人間と同等に会話する宇宙船に搭載されたAIコンピューター、スマートフォンに組み込まれている音声アシスタント、他にも様々なAIがこの世の中で活躍しています。身近なところでは、Emailの自動スパムメール判定も裏側ではAIが動いています。

近年では企業でのAIシステムの導入が増えてきており、「時間はかかるが人間がやるまでもない」タスクの実行に取って代わる存在として活気づいています。みなさんの中にも、AIを使って面倒くさいタスクを自動化したり、面白いサービスを作って世の中にリリースしてみたいと思っている方も多いのではないでしょうか。

しかしながら、そのAIで使用されている技術の中身は、難しい数式や非常に複雑な仕組みが使われています。完璧に理解するのはその道のエキスパートでもない限り、時間も労力もかかってしまい、挫折してしまう人も多いのでは、と感じています(私もその一人です)。では、もしも専門知識を持っていないエンジニアが簡単にAIモデルを作れるとするとどうでしょう。AIを作ってみたいけど、何から始めたら良いのか分からない方も多いのではないかと思います。

そう思って本書を手にとって頂いたあなたは正解です。必ずしも難しい数式から入門する必要はありません。AIの仕組みの基本さえ理解していれば、今では誰でも簡単にAIを作ることができる時代に突入していることを本書を通じて実感することでしょう。

昨今の機械学習やディープラーニングの技術はめざましく進歩し、自然言語処理や画像認識精度は驚くほど高くなってきています。特に、世界的先進企業であるGoogle/Apple/Facebook/Amazon/Microsoftなどでは日々データサイエンティストのような専門家が難しい研究を重ね、多くのAIプロダクトをリリースしています。
そして、我々はそれらの技術を簡単に利用することができるようになっています。機械学習やディープラーニングは、独自に研究をする時代から簡単に誰でも利用・開発できる時代にパラダイムシフトしているのです。高度な専門知識を持たずとも、機械学習やディープラーニングを使ったサービスは誰でも構築することができるようになっているのです。
これまでは導入障壁が高いと思われていたAIを手軽に実現できるサービスがある、こんな機会を逃すわけにはいきません。本書では、そのようなサービスの中でも特に簡単に、スピーディーに、しかも高精度な画像予測モデルを構築することができる、Googleの”Cloud AutoML Vision”というプロダクトを利用し、企業でも胸を張ってサービス導入できるレベルのAIモデルを構築することを目的として執筆しました。

では、“企業でも導入できるレベル”とは、どの程度なのでしょうか。本書で目指すのは99%の精度ではなく95%程度の精度を目指します。導入するシステムの要件によっては高い精度でないと使い物にならないと判断する場合もあるでしょう。しかしながら、実際のビジネスでの利用シーンを考えてみると、95%程度の精度でも十分なケースもあることは事実です。例えば、少々判定が間違っていても実際のサービスの運営にはあまり害ないケースも少なくないのではないかと思います。

本書は機械学習の専門家向けには執筆されていません。一般的なソフトウェアエンジニアが、簡単に、しかも高速にAIをサービスに導入する上で必要最小限の知識で実現できるレベルの話のみが出てきます。これまで機械学習やディープラーニングを勉強しようとして挫折した方でも、問題なく読み進めることができる内容になっています。

本書で実現すること

本書を通じて、最終的には入力された画像に対して、それが何の画像であるかを予測するWebサービスを構築します。
例えば、犬の画像を入力しその画像がどの犬種であるか、花の画像を入力しその花の名前を予測する、などといったサービスが作れるようになります。しかも、専門知識はほとんど必要ありません。手順に従って作業を行うだけで、高精度な予測モデルの作成ができます。

しかし、専門知識は必要ないといっても、全くないのと少しあるのとでは大きな違いが出てきます(実際に何も知らなくてもモデルはできてしまいますが)。そこで、会社の上司や同僚に導入交渉する際の材料にできるよう、少しだけ専門的な内容を盛り込んでサンプルモデルを構築していけるような流れになっています。
難しい数式や仕組みは必要最小限に抑え、機械学習やディープラーニングで使用される指標は何か? どういう風に読み解けば良いのか? を分かりやすく説明します。必要最小限の知識を持つことで、そのシステムを本当にリリースしてよいかの判断ができるようになります。

さらに細かく学んでみたい読者向けに最終章では少し専門的な観点を盛り込んで説明しているので、興味があれば目を通してみてください。もちろん、最終章だけ読み飛ばして頂いても結構です。

本書で得た知識により、AIの世界がより身近に感じられ、さらには実際のサービス導入までされることを願ってやみません。

最後に、本書執筆の機会を与えて頂いた出版社の方々、会社の上司・同僚、そして何よりも執筆で忙しい時期の生活を支えてくれた妻に感謝の意を表します。本当にありがとうございました。
それでは、最先端のAIの世界へようこそ。

2019年7月 衛藤剛史

Google Cloud関連を学ぶおすすめ書籍

ランキングも確認する

出典:出版社HP

Amazon

Yahoo!

Rakuten

CONTENTS

Chapter1 AI・機械学習・ディープラーニングとは

1 AI・機械学習・ディープラーニングとは
AI(Artificial Intelligence)
機械学習
ディープラーニング(深層学習)
2 AI・機械学習・ディープラーニングを使った事例
迷惑メールのスパム判定
商品レコメンド
Object Detection(物体検出)
レントゲンや内視鏡の画像か病気であるかを判定する
株価や価格情報の上昇下落予測をする
3 教師あり学習とは
4 画像認識導入の例
アパレル系での自動ラベリング
不動產系
Webフリーマーケット系
5 AI・機械学習・ディープラーニングを実現するまでの道のり
6 AIの民主化
7 専門家でなくてもAIは作れる
8 本書でのゴール

Chapter2 Cloud AutoML
1 Cloud AutoMLとは
2 Cloud Vision APIとMachine Learning Engineの中間に位置するAutoML
3 Cloud AutoML Visionに適した画像
4 Cloud AutoML Visionの費用
●トレーニング費用
●ヒューマンラベリング費用
●分類予測(Online Prediction)の費用
●その他費用
5 Cloud AutoML Visionを使ってモデル構築する流れ

Chapter3 開発環境の構築
1 本書のサンプルで使用する開発環境
2 Google Cloud Platform(Google)のアカウント登録
●登録・ログインの手順
●Google Cloud Platformの無料トライアルの登録
3 Google Cloud Platform(GCP)でCloud AutoML Visionを設定する
GCP Projectを作成する
Cloud AutoML Visionを有効化する
4 pythonのインストール
5 gcloud/gsutilコマンドラインツールのインストール
6 gcloudでGCPアカウントにログイン

Chapter4 とりあえず予測モデルを作成してみよう
1 教師用画像データセットとは
2 オープンソースの画像をダウンロードする
3 教師用データセットの作成
4 Cloud Storageバケットを作成する
5 データセットをCloud Storageにアップロードする
CSVファイルを作成する
6 Cloud AutoML Visionで予測モデルを作成する
●Train/Validation/Testについて
●Model typeについて
●Training budgetについて
7 モデルに対して予測を行う(GUI)
8 モデルに対して予測を行う(Python)
サービスアカウントの作成
pythonの設定
●スクリプトの作成
APIの実行
●REST APIを使用する

Chapter5 作成したモデルを評価する
1 学習の評価について
2 評価指標の見方
真偽と陰陽(True Positive/False Positive/True Negative/False Negative)
Precision(適合率)とRecall(再現率)
PR曲線/AUC
Confusion Matrix(混同行列)
3 ラベルごとの評価
4 精度が高い画像と低い画像

Chapter6 モデルをチューニングして再トレーニングする
1 原因を探る
2 ラベルの訂正
3 モデルを再トレーニングする
4 カテゴリーの細分化
5 モデルを再トレーニングする
●AutoMLでTrailerラベルを作成する
●既存のCarラベルから明らかにTrailerである画像のラベルを変更する
●Carラベルを補填する
●Trailer画像をダウンロードする
●Cloud Storageにダウンロードした画像をアップロードし、追加学習データセットを作成する
●AutoML Visionに追加画像をインポートする
●AutoML Visionで再トレーニングする
6 モデルに対して予測を行う(Web Console)
7 評価指標の比較
8 番外編 課金をしてトレーニングをする
9 補足: Data Argumentation(データの水増し)

Chapter7 ウェブやアプリのサービスに組み込む
1 アプリケーションについてと準備
2 作成したモデルをアプリケーションに接続する
準備
環境構築
Flaskを試してみる
3 ウェブサイトアプリケーションで使用する
ソースコードを準備する
ローカルアプリケーションで動作を確認する
ソースコードの解説
GCPでAppEngineを作成する
アプリケーションをAppEngineにデプロイする
4 モデルの切り替え・複数モデルの使用
5 スマホアプリで使用する
Firebaseプロジェクトの作成、モデルトレーニング
アプリへの組み込み
6 最後の片付け(GCPプロジェクトの削除)

Chapter8 機械学習・ディープラーニングの裏側
1 機械学習の基礎理論を学ぶ
2 機械学習のデータ、評価指標
3 Training/Validation/Test
4 真偽と陰陽
5 Accuracy/Precision/Recall
6 AUC(Area Under Curve)
7 Confusion Matrix
8 未学習・過学習・バイアス・バリアンス
9 線形回帰とロジスティック回帰
10 ニューラルネットワーク
11 畳み込みニューラルネットワーク
12 最近のニューラルネットワーク

Google Cloud関連を学ぶおすすめ書籍

ランキングも確認する

出典:出版社HP

Amazon

Yahoo!

Rakuten

はじめに

何もインストールされていない素の仮想コンピューターや仮想ネットワークの上に自分で構築するといったクラウドの使い方は時代遅れになってきました。用意されているさまざまなサービスをいかに組み合わせて、短期間で目的のシステムを構築できるのかが重要視されています。
Google Cloud (旧名称Google Cloud Platform=GCP)にはさまざまなサービスがあり、これらを活用することで、開発・運用・保守の短縮化・低コスト化・安定化が可能です。

本書は、2巻構成でGoogle Cloudの「AI・機械学習」「ビッグデータ」「コンテナ」の機能と使い方を解説します。本巻ではこの中で「AI・機械学習」に焦点を当てます。AI・機械学習は自分で一から作るのが困難な分野です。モデルを構築するのに専門知識が必要なだけでなく、数多くのデータを用意したり、それを学習させたりと、大変な労力がかかります。しかしGoogle CloudのAI・機械学習サービスを使えば、こうした複雑さを解決できます。すでに学習済みのモデルを使うことはもちろん、推論によって、データから最適なモデルを自動で作ることもできます。

本巻では、Google Cloudが提供するさまざまなAI・機械学習のサービスを使うことで、ブラウザから操作したり、APIを呼び出したりするだけで、「音声認識」「将来予測」「顧客のグループ化」の3つの課題を実際に解決していく具体的な方法を示します。
すべての課題はハンズオン形式。AI・機械学習というと学習のためのデータを用意するところが大きな壁になりますが、本巻では、Google Cloudでビッグデータとして提供されているサンプルデータを利用することで、実際に試せる構成としました。
実際にやってみると、 複雑なAI・機械学習が、ほとんどコードを書くことなく実現できることに、きっと驚かれるでしょう。
必要なのは、Google Cloudアカウントを作成することだけ。90日間無料で試せます。 是非、皆さん体験して、Google Cloudの手軽さを味わってください。
なお、本書は日経クロステックに連載されたグーグルの技術者による記事を基に、最新のサービスに合わせてハンズオンを構成しています。「AI・機械学習編」のオリジナルの執筆陣はグーグル・クラウド・ジャパンの脇阪洋平氏、葛木美紀氏、吉川隼人氏でした。
筆者代表 大澤 文孝
2021年4月

Google Cloud関連を学ぶおすすめ書籍

ランキングも確認する

出典:出版社HP

Amazon

Yahoo!

Rakuten

目次

第1章 Google Cloudの基本
1.1 Google Cloudの利点
1.1.1 アンマネージドサービスとマネージドサービス
1.1.2 マネージドサービスの活用
1.2 Google Cloudの考え方
1.2.1 リソースとサービス
1.2.2 組み合わせて使われる基本的なサービス
1.2.3 プロジェクトとサービスとの関係
1.2.4 リージョンとゾーン
1.3 Google Cloudを使うには
1.3.1 事前準備
1.3.2 90日間300ドル分無料トライアルの登録
コラム 間違えて閉じてしまったときは
コラム 有料アカウントにアップグレードするには
1.4 プロジェクトの作成
1.4.1 プロジェクトを作成する
1.4.2 プロジェクトの切り替え
1.5 APIの有効化と認証情報
1.5.1 APIの有効化
1.5.2 認証情報
1.6 Cloud Shell
1.6.1 Cloud Shellとは
1.6.2 Cloud Shellを使うには
コラム エディタ機能とファイルのアップロード/ダウンロード機能
コラム Cloud Shellの初期化
1.7 プロジェクトの削除

第2章 AI・機械学習サービスの概要
2.1 3種類のAPI
2.2 機械学習API
2.2.1 画像に関する機械学習API
2.2.2 音声に関する機械学習API
2.2.3 自然言語に関する機械学習API
2.3 Cloud AutoML
2.3.1 Cloud AutoMLの動き
2.3.2 Cloud AutoMLで提供されるサービス
2.4 Al Platform
2.4.1 AI Hub
2.4.2 Al Platform Notebooks
2.4.3 Al Platform Training
2.4.4 Al Platform Prediction
2.4.5 Al Platform Pipelines
2.4.6 Cloud TPU
2.5 アイデアを気軽に試せるGooale Cloud

第3章 Cloud Speech-to-Text APIを体験する
3.1 音声認識の方法とデータソース
3.1.1 短い音声ファイルの音声認識
3.1.2 長い音声ファイルの音声認識
3.1.3 ストリーミング入力の音声認識
3.2 Cloud Speech-to-Text APIを利用するための準備
コラム Google Colaboratoryについて
3.3 プロジェクトの作成とAPI利用のための準備
3.3.1 利用するAPIを有効化する
3.3.2 サービスアカウントを作成する
3.3.3 サービスアカウントキーの作成とダウンロード
3.4 Google Colaboratoryの準備
3.4.1 Google Colaboratoryから接続するGoogleドライブの準備
3.4.2 Google Colaboratoryで新規ノートブックを作る
3.4.3 ライブラリのインストール
3.4.4 Googleドライブのマウント
コラム Google Colaboratoryの操作
3.4.5 サービスアカウントキーを環境変数に設定する
3.5 Googleドライブに置いたファイルを変換する例
3.5.1 音声ファイルの準備
コラム LINEAR16形式が正しいかどうかを試す
3.5.2 Gooaleドライブの音声ファイルをテキスト変換するプログラムの例
コラム よくあるエラーへの対処法
コラム Cloud Speech-to-Text APIのサンプル
コラム 開発PCやサーバーなどGoogle Colaboratory環境以外で実行するには
3.6 Cloud Storageに置いたファイルを変換する例
3.6.1 音声ファイルをCloud Storageに配置する
3.6.2 Cloud Storageに置いたファイルを変換するプログラム
コラム 後始末
3.7 Cloud Speech-to Text APIのまとめ

第4章 Cloud AutoMLで機械学習を体験する
4.1 AutoMLの特徴と活用できる場面
4.2 AutoML Tablesを使ってタクシーの乗車料金を予測する例
4.4.1 プロジェクトの作成とAPIの有効化
4.4.2 データセットにデータをインポートする
4.4.3 モデルを作成してトレーニングする
4.4.4 モデルの精度を評価する
4.4.5 決定係数を確認する
4.4.6 Feature Importanceを確認する
4.4.7 トレーニング状況を確認する
4.3 モデルをデプロイする
コラム オンライン予測とバッチ予測
4.4 予測を実行する
4.4.1 予測の実行
4.4.2 結果の考察
コラム後始末
4.5 Cloud AutoMLのまとめ

第5章 BiaQuery MLで機械学習を体験する
5.1 BigQuery MLが対応するモデルと機能
5.2 Googleアナリティクスの訪問データから顧客をグループ化する例
5.2.1 プロジェクトの作成
5.2.2 分析するWebサイト訪問データの準備
コラム 「標準SQL」と「レガシーSQL」
5.3 モデルを作成してトレーニングする
5.4 モデルの精度を評価する
5.4.1 学習状態の確認
5.4.2 評価の確認
5.5 モデルを使って予測する
コラムデータポータルで調べる
コラム後始末
5.6 AutoML TablesとBigQuery MLの使い分け

第6章 Cloud AIの導入・運用時に心得ておくべきこと
6.1 機械学習プロジェクトの流れ
6.2 製造業での活用事例
6.2.1 外観検査に機械学習を導入する
6.2.2 AutoML Visionを用いた外観検査のシステム構成例
6.2.3 学習に使うデータセットを管理する
6.2.4 出来上がったモデルをエッジ向けに保存する
6.3 まとめAppendix A Cloud Storageのバケットを作成する
コラム コマンドでバケットを作成する

本書は執筆時点の情報に基づいており、お読みになったときには変わっている可能性があります。また、本書を発行するにあたって、内容に誤りのないよう、できる限りの注意を払いましたが、本書の内容を適用した結果生じたこと、また、適用できなかった結果について、著者、監修者、出版社ともに一切の責任を負いませんのでご了承ください。

Chapter 1

第1章 Google Cloud の基本
Google Cloudは、Googleが提供するクラウドサービスです。この章では、Google Cloudの概要や特徴、そして、本書を読み進めるに当たって必要となるGoogle Cloudアカウントの作り方や基本操作について説明します。

1.1 Google Cloudの利点
Google Cloudとは、Googleが提供するクラウドサービスの総称です。仮想コンピュータやストレージ、ネットワークなど、さまざまなサービスをクラウド上に自在に構築して、時間や容量単位での「使っただけの支払い」で利用できます。
Google Cloudを利用するのに必要なのは、ChromeなどのWebブラウザだけです。仮想コンピュータの作成や起動、Google Cloud上での仮想的なネットワークの構築などは、すべて、ブラウザから行えます(図 1-1)。
[メモ] Google Cloudは、操作するためのAPIを公開しているため、ブラウザ以外に、純正のコマンドラインツール(gcloudコマンド)、サードパーティ製の各種ツールなどを使っても操作できます。

図1-1 Google Cloud はすべてブラウザから操作できる

1.1.1 アンマネージドサービスとマネージドサービス
Google Cloudには、「仮想サーバー」や「ディスク」、「ネットワーク」など、いわゆるインフラ環境で 用いる素のサービスと、「ストレージ」「データベース」「ビッグデータの分析」「機械学習」「ゲームサーバー」など、あらかじめ初期設定や構成が済んだものを貸し出すサービスとがあります。
前者を「アンマネージドサービス」、後者を「マネージドサービス」と言います。マネージド(managed) とは、「管理されている」という意味で、Google Cloudによって運用・管理されているもののことです(図 1-2)。

図1-2 アンマネージドサービスとマネージドサービス

ブラウザ操作やAPI呼び出しですぐに使える
アンマネージドサービスの場合、Google Cloudが用意するのはインフラとなる機器だけなので、それらを構成(仮想的に接続)したり、ソフトウエアをインストールしたりするのはユーザーの仕事です。対してマネージドサービスの場合は、必要な機能のインストールが終わった状態で、すぐに使えます。
マネージドサービスのほとんどは、Webブラウザからの操作やAPIからの呼び出しに対応しています。例えば、「ブラウザからストレージに対してファイルのアップロードやダウンロードをする」「翻訳したいテキストをAPIで送信すると、結果が戻ってくる」などです。
こうしたマネージドサービスを使うと、本来なら、自分でセットアップしたりバージョンアップしなければならないところを、Google Cloudに任せられるのです。

1.1.2 マネージドサービスの活用
Google Cloudを利用するとき、可能な限り運用・管理を任せられるマネージドサービスを活用するのが理想です。そうすれば、高度な機能を少しの開発で実現できるからです。
本書では、こうしたマネージドサービスを使って、さまざまな開発をしていく手法を解説します。

機械学習 機械学習を使うには、目的の予測結果が出るような「機械学習モデル」を作る必要があります。そしてモデルを作ったあとは、物事を覚え込ませる「学習」という作業が必要です。例えば、画像から「車」や「ネコ」 などの物体検出をしたい場合、物体検出できる機械学習モデルを作ったうえで、そのモデルに対して、あらかじめ、「車」や「ネコ」の大量の写真を学習させておかなければなりません。
Google Cloudの機械学習サービスでは、「すでに学習済みのモデル」が多数、提供されています。そのためユーザーが学習という操作をしなくても、分析したい画像データを送るだけで、結果がすぐにわかります。
画像ならともかく、「翻訳」や「音声認識」といった、もっと多くの学習が必要となる場合、自力で作るのは相当難しいのが実情です。しかしGoogle Cloudなら、「翻訳のAPI」「音声認識のAPI」が、マネージドサービスとして提供されているため、それらを呼び出すだけで、手軽に機械学習を活用できます。
もちろん、ときにはカスタムな学習をしなければならないこともあります。その場合でもクラウドなので、学習に必要な計算リソースを必要に応じて増減できます。短時間で学習させたいなら、(お金はかかりますが)高性能なコンピュータをたくさん使って解決することもできるのです。

ビッグデータ
例えばビッグデータを扱う場合、巨大なストレージを用意し、分析基盤を自ら用意するのは大変です。しかしGoogle Cloudなら、BigQueryというマネージドサービスを使うことで、簡単にビッグデータを操作できます。
データのバックアップやストレージが不足したときの増強などについて考える必要はありません。これらはGoogle Cloudが自動でスケールしてくれます。

コンテナ運用
また負荷分散のために、複数台のサーバーを運用するような場合、サーバー1台1台を管理するのはたいへんです。そこで近年は、コンテナ化してKubernetesのようなオーケストレーションツールで運用するのが主流です。
しかしKubernetes自体を管理するのがなかなか大変です。Google Cloudなら、Kubernetesをマネージドサービスとして提供してくれるGKE (Google Kubernetes Engine)というマネージドサービスがあり、それを使うことで運用・管理の手間を省き、かつ、安定した運用ができます。

1.2 Google Cloudの考え方
本書を読み進めるにあたって必要となる、Google Cloudに関する最低限の知識・考え方を、ここで説明します。

1.2.1 リソースとサービス
Google Cloud上には、数多くのコンピュータやディスク、そして、仮想化技術を用いた仮想コンピュータや仮想ネットワークなど、さまざまな各種リソースが存在し、データセンター上で運用されています。
こうした基本的なリソースを利用するソフトウエアを組み合わせ、「仮想マシン」「仮想ストレージ」「データベース」「ビッグデータ」「機械学習」など、特定の機能として利用できるようにしたものが「サービス」です。
Google Cloudプロダクトのページを見るとわかるように、Google Cloudには、さまざまなサービスが提供されています。開発者は、これらのサービスを組み合わせることで、自身で一つずつソフトウエアをインストールして構成して運用することなく、高度なシステムを実装できます(図1-3)。
【Google Cloudプロダクト】 https://cloud.google.com/products

図1-3 Google Cloud プロダクト

1.2.2 組み合わせて使われる基本的なサービス
Google Cloudには、システムを構築する際、よく使われる基本的なサービスが、いくつかあります。細かい部分はさておき、Google Cloudを始めるに当たっては、それぞれの意味や役割、そして、略語を知っておくと役立ちます。
1. Google Compute Engine (GCE)
仮想マシンです。LinuxやWindows ServerなどのOSをインストールし、さまざまなソフトウエアを稼働させるのに使います。「1.6 Cloud Shell」で説明するCloud Shellの機能は、この仮想マシンの一種です。
2. Google Virtual Private Cloud (VPC)
仮想ネットワークです。GCEなどのリソースを接続するネットワークです。
3. Google Cloud Storage (GCS)
汎用ストレージです。各種サービスのデータを保存するときに使います。たとえば、各種ログの出力先、機械学習の学習データの置き場、BigQueryとやりとりするデータの置き場などとして、よく使われます。
4. BigQuery
ビッグデータを保存したり分析したりするサービスです。いくつかのデモ用のデータも登録されていて、例えば機械学習で、デモ用のデータを読み込んで処理させたいときなどにも使います。

Google Cloud関連を学ぶおすすめ書籍

ランキングも確認する

出典:出版社HP

Amazon

Yahoo!

Rakuten

はじめに

本書は、Google App Engine (GAE)でアプリケーションを「正しく」開発したい方のための入門書です。 GAEは、Google Cloud Platform (GCP)が提供する、Webアプリケーション開発のためのプラットフォームです。GCPの中でも最も長い歴史があり、GCPを代表するサービスの1つです。スケーラビリティの高いWebアプリケーションを手軽に構築できる点が多くのファンを引きつけており、人気の高い多数のWebサービ スの基盤として利用されています。何かしらのWebアプリケーションを開発した経験があれば、GAE上でのアプリ開発はそれほど難しくありません。アプリの開発から公開まで、特別な手間はまったくかかりません。しかしながら、誰もがGAEを活用したアプリ開発を「正しく」行えるというわけではありません。そのためには、GCP全般に対する基礎知識が重要になります。

GCPには、数あるクラウドサービスの中でも、Googleの先端技術を取り入れたサービスが利用できるという特徴があります。優れたGAEアプリケーションを作るには、関連するGCPのサービスを理解して、最大限に活用することが求められます。本書では、ただ単にWebアプリケーションを作るのではなく、GAE上で提供するWebアプリケーションを「正しく開発する」ということにフォーカスを当てています。そのため、GAEだけではなく、開発に必要なGCPのサービスについても詳しく説明しています。「GAEとは何か」「GCPとは何か」 「Googleが目指すクラウドサービスは何か」ということを知ることが大切です。

筆者は、GAEが登場した頃からのヘビーユーザーで、今も変わらず使い続けています。そして、GAEがどのように進化してきたのかを見てきました。GAE単体のサービスから始まり、GCPのサービスとして統合された後にGAE Flexが登場し、さらには、最新バージョンのGAE 2ndへと進化しました。今やGAEは、Webアプリ ケーション開発の最高のソリューションになったと感じています。
「GAEにかかわって10年以上の経験から得たノウハウをわかりやすく伝えたい」「より多くの人にGAEの素晴らしさを感じてもらいたい」、そんな想いの下に本書を執筆しました。本書を手にしたみなさんがGAEア プリケーションを「正しく」開発できる、そのための手助けになれば幸いです。
2020年春
小林明大

謝辞
本書の執筆にあたり、たくさんの方々の協力を得て、原稿を書き上げることができました。多忙の中、監修を引き受けていただいた中井悦司さん、執筆初期の頃からレビュー、アプリケーションのデバッグに多大な協力していただいいた白川舞さん、クライアント画面の作成を全面的に手伝っていただいた石川孝之さん、アプリケーション開発の的確なアドバイスと画像提供をしてくれた宮山龍太郎さん、五十嵐毅さん、本当にありがとうございました。執筆に至らないところだらけの筆者を、優しく、厳しく支えてくれた技術評論社の編集部にお礼を申し上げます。
最後に執筆に専念している中、いつも暖かく応援をしてくれた妻に感謝しています。

推薦の言葉(監修:中井悦司)

「もしかしたらこれは、マイクロサービスを実装するための最適な入門書ではないだろうか?」
監修者として、本書の原稿を一読した際の私の感想です。本書で扱うサンプルアプリケーションは、1つのプロセスで実行される簡単な掲示板システムですが、機能ごとにAPIが分かれており、バックエンドには、GCSやCloud Datastoreといったスケーラビリティの高いGCPのサービスが活用されています。さらには、Cloud Tasksを用いた非同期タスクの実装方法までもが解説されています。マイクロサービスアーキテクチャーを正しく実装するうえでは、クラウドが提供するスケーラブルな基盤を活用することが必須となりますが、そのための基礎知識が凝縮された内容です。
GAEは、当初より、マイクロサービスの実装を意識したサービスでしたが、最新のGAE 2ndで一つの完成形を実現したようにも思われます。GAEの入門書であると同時に、マイクロサービスの実践入門として、クラウド時代のソフトウェアエンジニアを目指すすべての方々に本書をお勧めしたいと思います。

対象読者
本書の対象読者は、プログラミング言語のPythonを使ってGoogle App Engine (GAE) アプリを作成したい人です。GAEの入門書ではありますが、プログラミング言語の入門書ではありません。本書の理解を深めるためには、次の技術を理解していることが望ましいです。

●Pythonの基本構文
●基本的なLinuxコマンド
●HTML、CSS、JavaScriptの基本知識
●WebAPIの基本知識やJSONフォーマット

本書の読み方

本書では、各章ごとに用意した機能単位の「Exampleアプリケーション(以降、アプリ)」と、各章ごとに機能を追加していく 「GuestBookアプリ」を作成します。
Examplet GuestBookアプリもそれぞれ個別のGCPプロジェクトを使用しますので、間違えないようにしてください。アプリ作成は、先に練習として機能単位のExampleアプリを作成し、次に実習としてGuestBook アプリに機能を追加します。Exampleアプリを先に作成することでピンポイントで使い方を学び、アプリを拡張することで理解を深めることができます。
アプリがどのように変化していくのかは 「第5章 Webアプリケーション概要」で細かく説明します。最初は、2つのアプリと2つのGCPプロジェクトを使用するということだけ頭に入れておいてください。
Exampleアプリは各章ごとに独立した機能単位の練習用の小さなアプリです。GuestBookアプリは第4章から第10章までを通して完成する1つのアプリです。各章ごとに機能を追加していきます。各章で作成した、「Exampleアプリ」と「GuestBookアプリ」はGitHubで完成版を提供しています。各章で作成したアプリケーションの詳細について、GitHubのreadme.mdを参照してください。

開発環境はブラウザだけ
学習に必要な環境は次のとおりで、Googleアカウントとパソコンだけです。

■ 学習に必要なもの
●Googleアカウント
●Chromeがインストール済のPC(OS指定なし)

本書ではWebブラウザ(Chromeを推奨)上で実行するクラウドシェルというLinuxターミナルに似たインターフェースを使って開発します。そのためパソコンのOSは指定ありません。WindowsでもMacでもLinuxのUbuntuでもChromeBookでも対応できます。またコードエディターと呼ばれるブラウザベースの開発ツールを使うので、JavaやPythonなどのプログラミング言語のインストールやPyCharm、Eclipseなどのような開発ツールのセットアップも必要ありません。

GitHub
本書で解説している「Exampleアプリーション」と「GuestBookアプリケーション」の完成版をGitHubで公開しています。下記のURLを参照し、当該ファイルを適宜ダウンロードしてください。
https://github.com/hidecheck/gae_basics_webapp

参考文献
・『プログラマのためのGoogle Cloud Platform入門 サービスの全体像からクラウドネイティブアプリケーション構築まで』阿佐志保(著)、中井悦司(著/監修)、翔泳社、2017年
・Flask Web Development : Developing Web Applications with Python Miguel Grinberg
(著)、O’Reilly Media、2018年
・GAE公式ドキュメント (https://cloud.google.com/appengine/docs/?hl=j)
・GCP公式ドキュメント (https://cloud.google.com/docs/overview/?hl=ja)
・GCP誕生から10年、その進化の歴史を振り返(https://ascii.jp/elem/000/001/757/1757103/)
・Google Cloud Next 2019の重要発表トップ6まとめ(https://jp.techcrunch.com/2019/04/11/2019-0410-the-6-most-important-announcements-from-google-cloud-next-2019))
・GCPのストレージサービスについてまとめてみた。(https://www.apps-gcp.com/gcp-storage-service/)

Google Cloud関連を学ぶおすすめ書籍

ランキングも確認する

出典:出版社HP

Amazon

Yahoo!

Rakuten

目次

はじめに

第1章　Google Cloud Platform
1.1 Google Cloud Platform とは
1.1.1 Googleのネットワークインフラストクラチャー
1.1.2 リージョンとゾーン
1.2 GCPの歴史
1.2.1 GCP年表
1.2.2 2008年GCPの幕開け――Google App Engineの登場
1.2.3 2010年 Google Cloud Storageの登場
1.2.4 2011年 BigQuery　の衝撃
1.2.5 2012年 Google Compute Engineの登場
1.2.6 2013年FGoogle Cloud Platformi に統一
1.2.7 2014年GKEのリリース
1.2.8 2014年の企業買収とその成果
1.2.9 2015年 Cloud Datalabのリリース
1.2.10 2016年 Cloud Machine Learning Engineの登場
1.2.11 2017年~2018年 進化するGCPのAI
1.2.12 2019年 AI Platformの登場
1.2.13 2018年~2019年 マルチクラウドコンテナとサーバーレスコンテナ
1.3 なぜGCPなのか

第2章 Google App Engine
2.1 Google App Engineの種類
2.2 Google App Engineの特徴
2.2.1 2008年、第1世代のGAEの登場
2.2.2 2016年、GAEフレキシブル環境の登場
2.2.2.1 コンテナランタイムが異なる
2.2.2.2 スタンダード環境に比べてスピンアップが遅い
2.2.3 2018年第2世代のGAEの登場
2.2.3.1 GAE 2ndで対応するプログラミング言語とライブラリ
2.2.3.2 ローカルファイルシステムにアクセス
2.2.3.3 外部ネットワークへのアクセス
2.2.3.4 クラウドクライアントライブラリ
2.2.4 閉じていたGAEの環境の変化
2.3 GAEの目指すところ

第3章 開発環境の構築
3.1 GAEアプリケーションの開発環境を準備する
3.1.1 Google App Engineアプリケーションの開発環境
3.2 GCPプロジェクトとは
3.2.1 Google Cloud Identity & Access Management (IAM)
3.2.2 プロジェクトとアプリケーションは1対1
3.3 GCPプロジェクトを作成する
3.3.1 GuestBookアプリケーション用のGCPプロジェクトを作成する
3.4 Google Cloud Shellとは
3.4.1 クラウドシェルの使い方
3.5 コードエディターとは
3.5.1 コードエディターを使う
3.5.2 Python3の環境を用意する
3.5.2.1 仮想環境を用意する
column 「なぜ仮想環境を使うのか」
3.5.3 2回目以降の初期設定
3.5.3.1 クラウドシェルの注意事項
column 「マイクロサービスの場合」

第4章 GAEアプリケーション作成
4.1 最初のGAEアプリケーションを作成する
4.1.1 アプリの作成練習
4.1.1.1 作業フォルダと仮想環境の確認
4.1.1.2 [手順1] app.yamlの作成
4.1.1.3 [手順2] requirements.txtの作成
4.1.1.4 [手順3] 依存関係のインストール
4.1.1.5 [手順4] main.pyの作成
4.1.2 アプリケーションを実行する
4.1.3 動作確認
4.2 アプリケーションのデプロイ
4.2.1 デプロイの方法
4.2.1.1 [手順1] デプロイ先のGCPプロジェクトの確認
4.2.1.2 [手順2] デプロイする
4.2.2 動作確認
4.3 デプロイバージョンを管理する
4.3.1 新しいバージョンをデプロイする
4.3.2 トラフィック量を調整する
4.4 [実習] アプリケーションの作成
4.4.1 アプリケーション作成の手順
4.4.1.1 作業フォルダと仮想環境の確認
4.4.1.2 [手順1] app.yamlの作成
4.4.1.3 [手順2] requirements.txtの作成
4.4.1.4 [手順3] 依存関係のインストール
4.4.1.5 [手順4] main.pyの作成
4.4.2 動作確認
4.4.3 解答
4.5 アプリ作成のまとめ
4.6 課金上限を設定する
4.6.1 設定方法

第5章 Webアプリケーション概要
5.1 モダンなWebアプリケーション
column 「サーバーサイドレンダリングとクライアントサイドレンダリング 」
5.2 Web APIとは
5.2.1 RESTful とは
5.3 本書で作成するWebアプリについて
5.3.1本書で作成する Web API

第6章 FlaskによるHTTPリクエストの処理
6.1 Flaskフレームワーク
6.1.1 WSGI規格
6.2 テンプレートの利用
6.2.1 Jinja2を使う練習
6.2.1.1 開発環境の確認
6.2.1.2 [手順1] インポートモジュールの確認
6.2.1.3 [手順2] テンプレートファイルの作成
6.2.1.4 [手順3] レンダリング
6.2.2動作確認
6.3 [実習] Jinja2を使う
6.3.1 実習の手順
6.3.1.1 開発環境の確認
6.3.1.2 [手順1] インポートモジュールの確認
6.3.1.3 [手順2] テンプレートファイルの作成
6.3.1.4 [手順3] レンダリング
6.3.2動作確認
6.4 エラーページのカスタマイズ
6.4.1 エラーハンドリングの練習
6.4.1.1 開発環境の確認
6.4.1.2 [手順1] エラーハンドリング用のビュー関数を作成する
6.4.1.3 [手順2] WSGIアプリケーションにエラー用ビュー関数を登録する
6.4.1.4 main.py
6.4.1.5 動作確認
6.5 [実習] エラーハンドリング
6.5.1 実習の手順
6.5.1.1 開発環境の確認
6.5.1.2 [手順1] インポートモジュールの確認
6.5.1.3 [手順2] エラーハンドリングをするためのビュー関数を作成する
6.5.1.4 [手順3] WSGIアプリケーションにエラー処理用の関数を登録する
6.5.1.5 main.py
6.5.2動作確認
6.6 フォーム処理
6.6.1 WTFormsの練習
6.6.1.1 開発環境の確認
6.6.1.2 [準備] ライブラリをインストールする
6.6.1.3 [手順1] インポートモジュールの確認
6.6.1.4 [手順2] フォームを定義
6.6.1.5 [手順3] フォームのレンダリング
6.6.1.6 [手順] POSTメソッドの許可
6.6.1.7 [手順5] フォームデータのバリデート
6.6.1.8 [手順6] バリデートに成功したデータの利用
6.6.1.9 [手順1] バリデートに失敗した際のエラーのレンダリング
6.6.2動作確認
6.6.3 Exampleプロジェクトのクリーンアップ
6.7 Web APIの追加
6.8 GETメソッド[練習1] 6.8.1 list APID PEH Elli
6.8.1.1 開発環境の確認
6.8.1.2 [手順1] インポートモジュールの確認
6.8.1.3 [手順2] リクエストの処理の追加
6.8.2動作確認
6.9 [実習] GETメソッド1
6.9.1 実習の手順
6.9.1.1 開発環境の確認
6.9.1.2 [手順1] インポートモジュールの確認
6.9.1.3 [手順2] リクエストの処理の追加
6.9.1.4 [手順3] index.htmlの作成
6.9.2 動作確認
6.9.2.1 クラウドシェルで確認
6.10 POSTメソッドの練習
6.10.1 insert APIの作成手順
6.10.1.1 開発環境の確認
6.10.1.2 [手順1] インポートモジュールの確認
6.10.1.3 [手順2]リクエストの処理の追加
6.10.2 動作確認
6.11 [実習] POSTメソッド
6.11.1 実習の手順」
6.11.1.1 開発環境の確認
6.11.1.2 [手順1]リクエストの処理の追加
6.11.2 動作確認
6.11.2.1 クラウドシェルで確認
6.12 GETメソッド[練習2] 6.12.1 get APIの作成手順
6.12.1.1 開発環境の確認
6.12.1.2 [手順] リクエストの処理の追加
6.12.2 動作確認
6.13 [実習] GETメソッド2
6.13.1 実習の手順
6.13.1.1 開発環境の確認
6.13.1.2 [手順1] インポートモジュールの確認
6.13.1.3 [手順2] リクエストの処理の追加
6.13.2 動作確認
6.13.2.1 クラウドシェルで確認

第7章 ログ
7.1 アプリケーションログ
7.1.1 ログを出力する3つの方法
7.2 Python logging モジュールを使ったログ出力
7.2.1 Python logging モジュールを使ったログ出力の練習
7.2.1.1 開発環境の確認
7.2.1.2 [手順1] インポートモジュールの確認
7.2.1.3 [手順2] ログの出力
7.2.2 ローカル環境で確認
7.2.2.1 ログ出力の練習(続き)出力レベルの変更
7.2.2.2 Exceptionのログ出力
7.2.2.3 main.pyの修正個所
7.2.3 デプロイして確認
7.3 [実習]ログ出力
7.3.1 実習の手順
7.3.1.1 開発環境の確認
7.3.1.2 [手順1] インポートモジュールの確認
7.3.1.3 [手順2] ログの出力
7.3.2動作確認
7.3.3解答
7.4 Logging Client Libraries を使ったログ出力
7.4.1 Logging Client Libraries を使ったログ出力の方法の練習
7.4.1.1 開発環境の確認
7.4.2 [準備] Logging Client Librariesのインストール
7.4.2.1 [手順1] インポートモジュールの確認
7.4.2.2 [手順2] ログの出力
7.4.2.3 [手順3] 404エラーハンドラの修正
7.4.2.4 main.py
7.4.3動作確認
7.5 Cloud Logging Handlerを使ったログの出力
7.5.1Cloud Logging Handler を使ったログの出力の練習
7.5.1.1 [手順1] インポートモジュールの確認
7.5.1.2 [手順2] ロギングハンドラーの設定
7.5.1.3 [手順3] ログの出力
7.5.1.4 main.py
7.5.2動作確認
7.5.3 Exampleプロジェクトのクリーンアップ

Google Cloud関連を学ぶおすすめ書籍

ランキングも確認する

出典:出版社HP

Amazon

Yahoo!

Rakuten

第8章 Cloud Datastoreを使う
8.1 Cloud DatastoreとCloud Firestore
8.1.1 Cloud Firestoreとは
8.1.2Realtime Databaseとネイティブモード
8.1.3 Cloud DatastoreとDatastoreモード
8.1.4 Datastoreの特徴
8.1.4.1 NoSQL
8.1.4.2 スキーマレス
8.1.4.3 フルマネージドサービス
8.1.5 DatastoreとRDBの比較
8.1.5.1 クエリの違い
8.1.5.2 スケーラビリティの違い
8.1.6 Datastoreの構成
8.1.6.1 エンティティの構成要素
8.2 Datastoreにデータを保存する
8.2.1 Google Cloud Client Libraryのインストール
8.2.2 データの保存方法
8.2.3 データ保存の練習
8.2.3.1 開発環境の確認
8.2.3.2 [準備] ライブラリのインストール
8.2.3.3 [手順1] インポートモジュールの確認
8.2.3.4 [手順2] Datastoreに保存する
8.2.3.5 [手順3] レスポンスデータを返す
8.2.4動作確認
8.2.5[補足1] Entityオブジェクトのプロパティ設定方法
8.2.6[補足2] キーを指定してデータを保存する
8.3 [実習] データの保存
8.3.1insert APIの作成
8.3.2 実習の手順
8.3.2.1 開発環境の確認
8.3.2.2 [準備] ライブラリのインストール
8.3.2.3 [手順1] インポートモジュールの確認
8.3.2.4 [手順2] ds.pyファイルを作成する
8.3.2.5 [手順3] Datastoreに保存する
8.3.2.6 [手順4] レスポンスデータを返す
8.3.3 動作確認
8.3.3.1 クラウドシェルで確認
8.4 Datastoreからデータを取得する
8.4.1 クエリ
8.4.2データの取得方法
8.4.3データ取得の練習
8.4.3.1 開発環境の確認
8.4.3.2 [手順1] インポートモジュールの確認
8.4.3.3 [手順2] Datastoreからデータを取得する
8.4.3.4 [手順3] レスポンスデータを返す
8.4.4動作確認
8.4.5 [補足] 検索条件を指定する
8.4.5.1 プロパティを使って検索
8.5 [実習] データの取得
8.5.1 list APIの作成
8.5.2 実習の手順
8.5.2.1 開発環境の確認
8.5.2.2 [手順1] インポートモジュールの確認
8.5.2.3 [手順2] Datastoreからデータを取得する
8.5.2.4 [手順3] レスポンスデータを返す
8.5.3動作確認
8.5.3.1 クラウドシェルで確認
8.6 データを1件取得する
8.6.1 Keyを使ったデータ取得方法
8.6.2 Keyを使ったデータ取得の練習
8.6.2.1 開発環境の確認
8.6.2.2 [手順1] インポートモジュールの確認
8.6.2.3 [手順2] キーを使ってDatastoreからデータを取得する
8.6.2.4 [手順3] レスポンスデータを返す
8.6.3動作確認
8.7 [実習] Keyを使ったデータ取得
8.7.1get APIO PELE
8.7.2 実習の手順
8.7.2.1 開発環境の確認
8.7.2.2 [手順1] インポートモジュールの確認
8.7.2.3 [手順2] キーを使ってDatastoreからデータを取得する
8.7.2.4 [手順3] レスポンスデータを返す
8.7.3 動作確認
8.7.3.1 クラウドシェル で確認
8.8 Datastoreからデータを更新する
8.8.1データの更新方法
8.8.2 データ更新の練習
8.8.2.1 開発環境の確認
8.8.2.2 [手順1] インポートモジュールの確認
8.8.2.3 [手順2] データを更新する
8.8.2.4 [手順3] レスポンスを返す
8.8.3動作確認
8.9 [実習] データの更新
8.9.1 update APIO PELL
8.9.2 実習の手順
8.9.2.1 開発環境の確認
8.9.2.2 [手順1] インポートモジュールの確認
8.9.2.3 [手順2] Datastoreを更新する
8.9.2.4 [手順3] レスポンスデータを返す
8.9.3 動作確認
8.9.3.1 クラウドシェルで確認
8.10 Datastoreからデータを削除する
8.10.1 データの削除方法
8.10.2 データ削除の練習
8.10.2.1 開発環境の確認
8.10.2.2 [手順1] インポートモジュールの確認
8.10.2.3 [手順2] データを削除する
8.10.2.4 [手順3] レスポンスを返す
8.10.3 動作確認
8.11 [実習] データの削除
8.11.1 delete APIの作成
8.11.2 実習の手順
8.11.2.1 開発環境の確認
8.11.2.2 [手順1] インポートモジュールの確認
8.11.2.3 [手順2] データを削除する
8.11.2.4 [手順3] レスポンスデータを返す
8.11.3 動作確認
8.11.3.1 クラウドシェルで確認
8.12 実習をローカル環境で動かす
8.12.1 サービスアカウント
8.12.1.1 なぜローカル環境では動作しないのか
8.12.1.2 ローカル環境で動かすには
column 「デフォルトサービスアカウントの権限は強過ぎる」
column 「データストアエミュレーター」

第9章 エンティティグループ
9.1 エンティティグループとは
9.1.1 アンセスターパス
9.2 エンティティグループを作成する
9.2.1 エンティティグループの作成方法
9.2.2 エンティティグループの作成練習
9.2.2.1 開発環境の確認
9.2.2.2 [手順1] インポートモジュールの確認
9.2.2.3 [手順2] エンティティグループを作成する
9.2.2.4 [手順3] レスポンスを返す
9.2.2.5 動作確認
9.3 [実習]エンティティグループの作成
9.3.1 comment APIO PELJE
9.3.2 実習の手順
9.3.2.1 開発環境の確認
9.3.2.2 [手順1] インポートモジュールの確認
9.32.3 [手順2] エンティティグループを作成する
9.3.2.4 [手順3] レスポンスデータを返す
9.3.3 動作確認
9.3.3.1 クラウドシェルで確認
9.4 エンティティグループを取得する
9.4.1 エンティティグループの取得方法
9.4.2 エンティティグループの取得練習
9.4.2.1 開発環境の確認
9.4.2.2 [手順1] インポートモジュールの確認
9.4.2.3 [手順2] エンティティグループを取得する
9.4.2.4 [手順3] レスポンスを返す
9.4.2.5 動作確認
9.5 [実習] エンティティグループを取得する
9.5.1 listCommentAPIの作成
9.5.2 実習の手順
9.5.2.1 開発環境の確認
9.5.2.2 [手順1] インポートモジュールの確認
9.5.2.3 [手順2] エンティティグループを作成する
9.5.2.4 [手順3] レスポンスデータを返す
9.5.3 動作確認
9.5.3.1 クラウドシェルで確認

第10章 Google Cloud Storageを使う
10.1 Google Cloud Storageとは
10.1.1 GCSのコンポーネント
10.1.1.1 バケット
10.1.1.2 オブジェクト
10.1.2 ストレージクラス
10.1.3 アクセス制御
10.1.3.1 GCSのIAMの役割
10.1.4 アクセス制御リスト
10.2 実践GCS
10.2.1 GCSの練習
10.2.1.1 [手順1] バケットを作成する
10.2.1.2 [手順2] ファイルをアップロードする
10.2.1.3 [手順3] バケット内のファイルを一般公開する
10.2.2 動作確認
10.3 GAEからGCSを操作する
10.3.1 GCSを操作するための準備
10.3.1.1 [準備] Google Cloudクライアントライブラリのインストール
10.4 GCSにファイルをアップロードする
10.4.1 アップロードの方法
10.4.2 GCSにファイルをアップロードする練習
10.4.2.1 開発環境の確認
10.4.2.2 [手順1] インポートモジュールの確認
10.4.2.3 [手順2] アップロード画面の作成
10.4.2.4 [手順3] GCSにアップロードする
10.4.2.5 main.py
10.4.3 動作確認
10.5 [実] GCSにファイルをアップロードする
10.5.1 [実習]の手順
10.5.1.1 開発環境の確認
10.5.1.2 [準備O」 バケットを作成する
10.5.1.3 [準備2] ライブラリをインストールする
10.5.1.4 [手順1] インポートモジュールの確認
10.5.1.5 [手順2] アップロード画面の作成
10.5.1.6 [手順3] GCSにアップロードする
10.5.2 動作確認
10.6 GCSからファイルを取得する
10.6.1 オブジェクト取得の方法
10.6.2 GCSからファイルを取得する練習
10.6.2.1 開発環境の確認
10.6.2.2 [手順1] インポートモジュールの確認
10.6.2.3 [手順2] 画像一覧画面の作成
10.6.2.4 [手順3] GCSからファイルを取得する
10.6.2.5 main.py
10.6.3 動作確認
10.7 [実習] GCSからファイルを取得する
10.7.1 実習の手順
10.7.1.1 開発環境の確認
10.7.1.2 [手順1] インポートモジュールの確認
10.7.1.3 [手順2] 画像一覧画面の確認
10.7.1.4 [手順3] GCSから画像を取得する
10.7.2 動作確認
column 「データの取得方法」

Google Cloud関連を学ぶおすすめ書籍

ランキングも確認する

出典:出版社HP

Amazon

Yahoo!

Rakuten

Google Cloud関連を学ぶおすすめ書籍

ランキングも確認する

出典:出版社HP

Amazon

Yahoo!

Rakuten

【2021最新 -Google Cloud Platformおすすめ本 – 独学での勉強にも!】も確認する

まえがき

GCP (Google Cloud Platform) vs. AWS(Amazon Web Services)、GCP vs. Azureという戦いが始まろうとしている。この3強のいずれが勝者となるのか、または住み分けができるのか、はたまた3強以外のクラウドプロバイダが登場し市場を席巻するのか、現時点では予測できない。GCPは、そのユニークな生い立ち・特徴から、AWSやAzureと異なる新しい市場を形成するのではないかという期待感を抱かせる。ぜひとも実際にGCPに触れ、その魅力を感じてほしいと思い、本書を執筆するに至った。

近年、GCPはエンタープライズシステムへの対応を急速に進めており、企業の情報システムでの大規模な採用事例も増えつつある。先行したほかのクラウドサービスと同様に、将来的には企業における情報システムサービスの標準プラットフォームとして採用される可能性もあり、動向から目が離せなくなってきている。一方で、エンタープライズシステムを支えるITインフラとしての機能や特徴に関する情報がまだまだ十分とはいえない。多くの企業情報システム担当者にとっては、その先進性や高度なサービスが気にはなるものの、「では、自社のインフラとして使えるのか?」を検討しづらい状況なのではないだろうか。

本書では、主にエンタープライズシステムへの応用を視野に、GCPの活用を検討するために必要な基本的な知識の習得をサポートすることを目的としている。対象読者は、ユーザー企業の情報システム部門のご担当者だけでなく、システム企画部門や、サービスを開発・運営する事業部門のご担当者など、クラウドサービスに関心を持たれる人たちを広く想定している。特に、AWSなどほかの主要なクラウドサービスの経験があり、GCPの基本的な知識を体系立ててつかみたい人に活用していただけると思う。GCPを利用する上で、本書がその一助となれば幸いである。
第1章では、エンタープライズ分野でクラウドサービスのデファクトスタンダードとしての地位を確立したAWSとの比較を通して、GCPの設計思想を解説する。第2章以降では、実際にGCPを利用しようと考えている方に向けて、カテゴリーごとの各サービス機能を紹介する。第9章以降では、企業においてGCPの導入に取り組む仮想的なシナリオを基に、考慮すべきポイントや設計の流れを説明する。

謝辞
本書を執筆するに当たってサポートをいただいた皆様に深く感謝致します。日経BP社の松山貴之様、中山秀夫様、その他編集者の皆様には、辛抱強く原稿をお待ちいただき誠にありがとうございました。また、GCPサービスについて貴重なアドバイスを下さったグーグル株式会社の古屋裕規様、福田潔様にも感謝申し上げます。

なお、本書の記述は著者陣の個人的な見解に基づいています。GoogleTMおよび著者が所属する会社とは一切関係ありません。また、本書は公開された情報に基づいて記述しており、NDA情報に関するものは含まれていません。

目次/ CONTENTS

まえがき
第1章 Google Cloud Platformの特徴
1-1 GCPが注目を集める理由
1-1-1 ニーズがGCPに追いついた
1-1-2 エンタープライズ向け機能が備わった
1-1-3 AI向けサービスの充実
1-2 AWSやAzureにはないGCPの特徴
1-2-1 Googleの各種サービスが稼働しているインフラ
1-2-2 GCPは革新的なテクノロジー
1-2-3 優れたIaaS性能
1-3 現時点のGCPの懸念点
1-3-1 商用ライセンス製品への対応
1-3-2 日本語での24時間365日のサポート
1-3-3 企業での実績
1-4 AWSとGCPの大まかな違い
1-4-1 サービスをけん引するAWS、テクノロジーをけん引するGCP
1-4-2 一般的なニーズに応えるAWS、特殊なニーズを満たすGCP
1-4-3 ラインアップをそろえるAWS、選択肢がシンプルなGCP
1-4-4 基盤エンジニアのAWS、ソフトウエアエンジニアのGCP

第2章 コンピューティングサービス
2-1 コンピューティングサービスの種類
2-2-1 コンピューティングサービスで提供される環境
2-2 Compute Engine
2-2-1 オンプレミス環境からの移行
2-2-2 マシンタイプの種類
2-2-3 ブートディスクの種類
2-2-4 ディスクタイプの種類
2-2-5 確約利用割引と継続利用割引
2-2-6 プリエンプティブルVM
2-2-7 Compute Engineの基本機能
2-3 App Engine
2-3-1 StandardとFlexible
2-3-2 Blue-Greenデプロイ
2-3-3 Cronサービスとタスクキュー
2-3-4 セキュリティスキャン
2-3-5 App Engineの基本機能
2-4 Kubernetes Engine
2-4-1 Kubernetesクラスター
2-4-2 Google Container Registry
2-4-3 Kubernetes Engineの基本機能
2-5 Cloud Functions(ベータ版)

第3章 ストレージサービス
3-1 ストレージサービスの種類と使い分け
3-1-1 ストレージサービスの種類
3-1-2 ストレージサービスの使い分け
3-2 Cloud Storage
3-2-1 バケットとオブジェクト
3-2-2 ストレージクラス
3-2-3 Cloud Storageの基本機能
3-3 Bigtable
3-3-1 Bigtableの生い立ち
3-3-2 ストレージタイプの選択
3-3-3 Bigtableの基本機能
3-4 Datastore
3-4-1 オブジェクト指向データベース
3-4-2 コンシステンシー
3-4-3 スキーマ設計
3-4-4 Datastoreの基本機能
3-5 Cloud SQL
3-5-1 ジェネレーション
3-5-2 Cloud SQLの基本機能
3-6 Spanner
3-6-1 マルチリージョンサポート
3-6-2 設計上の制約
3-6-3 Spannerの基本機能

Google Cloud関連を学ぶおすすめ書籍

ランキングも確認する

出典:出版社HP

Amazon

Yahoo!

Rakuten

第4章　ネットワーキングサービス
4-1 ネットワーキングサービスの種類
4-2 VPC
4-2-1 VPCネットワークとサブネットワーク
4-2-2 外部IPアドレス
4-2-3 ネットワーク通信制御
4-2-4 VPCネットワークピアリング
4-2-5 限定公開のGoogleアクセス
4-2-6 VPCネットワークにおける注意点
4-3 Cloud Load Balancing
4-3-1 HTTP(S)負荷分散
4-3-2 ネットワーク負荷分散
4-4 Cloud CDN
4-5 Cloud DNS
4-6 Cloud Interconnect

第5章 ビッグデータサービス
5-1 ビッグデータサービスの種類と使い分け
5-1-1 フェーズ別のサービス分類
5-2 Cloud Pub/Sub
5-2-1 Cloud Pub/Subの基本概念
5-2-2 Cloud Pub/Subのメッセージライフサイクルと内部処理
5-2-3 システム設計する上での考慮事項
5-2-4 Cloud Pub/Subの基本機能
5-2-5 Cloud Pub/Subの主な利用方法
5-3 BigQuery
5-3-1 BigQueryの基本概念
5-3-2 システム設計する上での考慮事項
5-3-3 BigQueryの基本機能
5-3-4 BigQueryの主な利用方法
5-4 Cloud Dataflow
5-4-1 Cloud Dataflowの基本概念
5-4-2 システム設計する上での考慮事項
5-4-3 Cloud Dataflowの基本機能
5-4-4 Cloud Dataflowの主な利用方法
5-5 Cloud Dataproc
5-5-1 Cloud Dataprocの基本概念
5-5-2 システム設計する上での考慮事項
5-5-3 Cloud Dataprocの基本機能
5-5-4 Cloud Dataprocの主な利用方法
5-6 Cloud Datalab
5-6-1 Cloud Datalabの基本概念
5-6-2 Cloud Datalabを利用する上での考慮事項
5-6-3 Cloud Datalabの基本機能
5-6-4 Cloud Datalabの主な利用方法

第6章　機械学習サービス
6-1 機械学習関連サービスの概要
6-2 学習済みAPI
6-2-1 Cloud Natural Language API
6-2-2 Cloud Translation API
6-2-3 Cloud Speech API
6-2-4 Cloud Vision API
6-2-5 Cloud Video Intelligence API(ベータ版)
6-2-6 利用における考え方
6-3 独自モデル作成支援サービス
6-3-1 Cloud Machine Learning Engine
6-3-2 Cloud AutoML (アルファ版)

第7章 アカウント管理・請求管理
7-1 アカウント/請求管理の概要
7-2 請求アカウント管理
7-2-1 請求管理のための機能
7-3 Cloud IAMによるアカウント管理
7-3-1 Cloud IAMの基本概念
7-3-2 Cloud IAMで用いるアカウント
7-3-3 Cloud IAMによるアクセス制御
7-3-4 Cloud IAMによるポリシー適用
7-3-5 サービスアカウント
7-4 GCPにおける監査証跡

第8章 運用監視サービス
8-1 運用監視サービスの種類と使い分け
8-2 Stackdriverの基本概念
8-2-1 基本階層とプレミアム階層
8-2-2 StackdriverアカウントとGCPプロジェクト
8-3 運用監視業務を行うためのStackdriver
8-3-1 共通機能
8-3-2 コンピューティングサービスの運用監視
8-3-3 ストレージサービスの運用監視
8-3-4 ネットワーキングサービスの運用監視
8-3-5 ビッグデータサービスの運用監視
8-3-6 AWS環境監視
8-4 効率的なアプリケーション開発を実現するStackdriver
8-4-1 Error Reporting
8-4-2 Trace
8-4-3 Debugger

第9章　シナリオ「GCPを活用したWebシステムの設計/構築」
9-1 Lift&Shift方式で移行
9-1-1 Lift&Shift方式を採用した理由
9-1-2 移行後の構成
9-1-3 検討すべきポイント
9-2 マネージドサービスを活用
9-2-1 運用の課題
9-2-2 新アーキテクチャー

第10章 シナリオ「GCPを活用したハイブリッドクラウド環境の構築」
10-1 導入前の検討内容
10-1-1 役割分担と権限運用
10-1-2 ネットワーク構成とセキュリティ
10-2 システムアーキテクチャー
10-2-1 アカウント管理
10-2-2 権限設定
10-2-3 プライベートクラウド環境との接続方法
10-2-4 ネットワーク構成
10-2-5 インターネットとの通信制御
10-2-6 プライベートクラウドとの通信制御

第11章　シナリオ「Webサイトと業務システムのデータ統合/分析を小さく始める」
11-1 データをためる場所を作る
11-2 分析のための環境を用意する
11-3 データの入力から加工、蓄積までの流れを作る
11-4 アプリケーションのログを集約する

Appendix 機械学習サービスの使い方
A-1 学習済みAPIの基本的な使い方
A-2 Cloud Machine Learning Engineの基本的な使い方
●本書の内容には十分な注意を払いましたが、本書のご利用や記載している内容を適用した結果生じたことについて、著者、出版社とも一切の責任を負いませんのでご了承下さい。
●本書に記載してある会社名および製品名は各社の商標および登録名です。また、本書ではTMなどは省略しています。
●本書の内容は、執筆時点の情報の基づいており、お読みになるときには変わっている可能性があります。掲載している画面は2018年3月時点のものです。

Google Cloud Platformの特徴
Google Cloud Platform

Google Cloud関連を学ぶおすすめ書籍

ランキングも確認する

出典:出版社HP

Amazon

Yahoo!

Rakuten

業務で使えるデータ基盤構築

【2021最新 -Google Cloud Platformおすすめ本 – 独学での勉強にも!】も確認する

はじめに

2012年頃に「データサイエンティスト」というワードが華々しく登場し、あわせて 「ビッグデータ」という言葉にも注目が集まり早10年が過ぎようとしています。さらに IoT (Internet of Things:モノのインターネット)やAI(Artificial Intelligence:人工知能)の台頭により、これからのビジネスにデータ活用は不可欠であるという共通認識も形成され始めていると感じます。データがますます重要になっていく一方で、データ活用を支える「インフラ」であるデータ基盤に注目が集まる機会は多くありません。多くの場合、データの保管能力や処理能力にのみ焦点が当たりがちですが、データの重要性が認識されるに従い、データ基盤に求められる要件も増加の一途をたどっています。たとえば、データの管理やセキュリティ、より高度な分析である機械学習に関する要件といったものが挙げられます。すべての要件に関する知識を押さえることは難しく、体系だったデータ基盤に関する説明を目にする機会もあまりありません。

本書は、非常に広い概念を含む「データ基盤」を、Googleが提供するクラウドインフラのサービスであるGoogle Cloud上でどのように構築するのか説明していきます。Google Cloudで構築するデータ基盤の最も大きな特徴は、マネージドサービスとして提供されておりスケーラブルであることです。マネージドサービスであるため、データ基盤の運用における負荷は削減され、本来の目的であるデータ活用に対してより多くの時間を割くことができます。また、スケーラブルであるため、データ基盤の規模が小さいときから拡大していっても同じような構成をとり続けることができます。これらの特徴から、Google Cloudによるデータ基盤はその立ち上げから、大規模な実運用までを一貫してカバーできます。また、データ活用に対するエコシステムも整っているため、データ基盤上に蓄えられたデータの活用までもカバーできます。

本書の構成

本書は全部で11章から構成されています。
それぞれの章は独立しており、各章を自身の好きな順番で読み進めることができます。1章では、データ基盤の全体像とGoogle Cloudで提供されているサービスとデータ基盤のコンポーネントとの関係性を説明しています。多くの方はまず1章を一読されたあとに、興味のある章を読み進めていくことをお勧めします。
続いて、以下で示すデータ基盤における一般的な概念や要求、課題について説明し、それらをカバーするGoogle Cloud上のプロダクトやソリューションについて説明するという流れをとっています。

●データウェアハウス(2章、3章)
●データレイク (4章) ETL処理(5章)
●データパイプライン(6章)
●セキュリティ(7章)
●データ集約(8章)
●ビジネスインテリジェンス(9章)
●リアルタイム分析(10章)
●発展的な分析(11章)

本書全般を通じた注意事項
本書はGoogle Cloudの基礎的な説明については割愛しています。本書で説明している内容を追随するには、Google Cloudのアカウントを用意する必要があります。本書を通じて、以下のような事前設定や知識、作業環境が必要となります。
●Googleアカウントの取得
●Google Cloudプロジェクトの作成-注1
●Google Cloud上の請求アカウントの設定-注2
●Cloud Shell-注3もしくはgcloud コマンドラインツール-注4設定済みのローカル環境

Google Cloudには、毎月一定の使用量が無料になるAlways Free (特定のプロダクト のみ)や新規アカウント作成者に$300分の無料クレジットの付与-注5といったプログラムが提供されています。本書で提供するサンプルの多くはAlways Freeの無料枠に収まるものですが、Always Freeでカバーされていないプロダクトも一部含まれています。
予期せぬコストの発生を回避するためにも、サンプルを実行する前には、各プロダクトの価格やAlways Freeの適用範囲を確認することをお勧めします。また、サンプルの実行後には速やかに環境を削除することも忘れないようにしてください。
データ基盤を構築、管理する技術領域全般をデータエンジニアリングと呼びます。データエンジニアリングを駆使し、ビジネスに価値をもたらすのがデータエンジニアと呼ばれる比較的新しい専門職です。データ活用を進めるという観点では、データ基盤が重要であるのと同じくらい、データエンジニアの存在も重要となります。データ基盤やデータエンジニアの存在により、データサイエンティストやアナリストは、信頼性のあるデータに対して、効率的な分析を行うことができるようになります。
本書に掲載しているスクリーンショットはすべて執筆時点のものです。Google Cloud は、ユーザーの利便性を向上させるため次々と新しい機能を追加しています。そのため、掲載しているGoogle Cloudの各サービスの画面のスクリーンショットと実際の画面に差異が生じている場合もありますのでご注意ください。

サンプルコード

本書では、Pythonのプログラム、シェル上のコマンド、SQLなどがサンプルコードとして登場します。サンプルコード
はhttps://github.com/ghmagazine/gcpdataplatformbook上に公開しています。必要に応じてダウンロードして利用してください。

注1 https://cloud.google.com/resource-manager/docs/creating-managing-projects?hl=ja
(本文に戻る)
注2 https://cloud.google.com/billing/docs/how-to/modify-project?hl=ja
(本文に戻る)
注3 https://cloud.google.com/shell?hl=ja
(本文に戻る)
注4 https://cloud.google.com/sdk/gcloud?hl=ja
(本文に戻る)
注5 https://cloud.google.com/free?hl=ja
(本文に戻る)

Google Cloud関連を学ぶおすすめ書籍

ランキングも確認する

出典:出版社HP

Amazon

Yahoo!

Rakuten

目次

はじめに
第1章 データ基盤の概要
1.1 データ基盤に取り組む意義
1.2 データ基盤とは
1.2.1 データ基盤に対する要求の変遷
1.2.2 データ基盤の全体像
1.3 Google Cloud上で構築するデータ基盤
1.3.1 クラウド環境のメリット
1.3.2 GCP上で提供されるデータ基盤に関連したプロダクト
1.4 まとめ

第2章 BigQueryのコンセプトと利用方法
2.1 DWHとは
2.2 Googleのデータ処理を支える技術
2.2.1 オープンソースデータ処理技術とGoogleの技術
2.2.2 BigQuery – Google社内で使われてきたデータウェアハウス/データレイク
2.3 BigQueryの内部アーキテクチャを理解する
2.3.1 BigQueryの内部構造
2.4 DWHとしてのBigQueryの基本操作
2.4.1 BigQueryサンドボックスの利用
2.4.2 クエリを実行する。
2.4.3 クエリの応用
2.5 BigQueryユーザー向けのクエリの最適化
2.5.1 必要なカラムのみ選択する
2.5.2 パーティション分割・クラスタ化を利用するクエリ
2.5.3 クエリ結果のキャッシュと明示的なテーブル指定による永続化を利用する
2.5.4 クエリプランの可視化
2.6 まとめ

第3章 データウェアハウスの構築
3.1 データウェアハウスに求められるさまざまな要件
3.2 高可用性、Disaster Recovery計画
3.2.1 可用性のしくみ
3.2.2 メンテナンス、クラスタアップデート
3.2.3 Disaster Recovery計画
3.3 用途別の影響隔離
3.3.1 スロットスケジューリングのしくみ
3.3.2 課金体系の選択 – オンデマンド課金とBigQuery Reservations
3.4 サイジング
3.4.1 サイジング – オンデマンド課金の場合
3.4.2 サイジング – BigQuery Reservationsの場合
3.4.3 ストレージのサイジング
3.5 目的環境別の影響隔離
3.6 テーブルを設計する。
3.6.1 パーティション分割・クラスタ化
3.6.2 マテリアライズドビューの利用
3.7 データの投入
3.8 バックアップとリストア
3.8.1 BigQueryにおけるデータリストア – タイムトラベル機能
3.9 BigQueryにおけるトランザクションとパーティションを用いたDMLの 最適化
3.10 DMLをまとめる/パーティションの利用
3.11 外部接続の最適化 – Storage APIの利用とBI Engineの利用
3.11.1 Notebookの場合やHadoop/Sparkコネクタの場合
3.11.2 BIツールの場合
3.12 データマートジョブの設計最適化
3.12.1 データマート作成クエリの最適化
3.12.2 データマート作成ジョブの流れの最適化
3.13 まとめ Column マルチクラウドでのクラウドデータ基盤の利用

第4章 データレイクの構築
4.1 データレイクとは
4.2 Hadoopとは
4.3 Google Cloudで構築するデータレイク

4.4 Google Cloudのおもなデータレイク関連のサービス
4.4.1 Cloud Storage(データレイク)
4.4.2 Dataproc(データ処理)
4.4.3 BigQuery (DWH/データレイク)
4.4.4 Dataproc Hub(機械学習)
4.4.5 Data Catalog(メタデータ管理)
4.5 Google Cloudでデータレイクを中心としたデータ分析基盤を構築する ことのメリット
4.5.1 インフラコストの最適化
4.5.2 運用コストの削減
4.5.3 スケーラビリティとアジリティの獲得
4.5.4 安定したクエリ実行環境の獲得
4.5.5 フルマネージドなデータ分析環境を使用した、全社でのデータ利活用の促進
4.6 オンプレミス環境からGoogle Cloudへのデータレイクの移行
4.7 まとめ

第5章 ETL/ELT処理
5.1 ETL/ELTとは、
5.2 ETL/ELT処理を実施するサンプルシナリオ
5.3 サンプルシナリオ実施用の環境の構築
5.4 Big Query TOELT
5.4.1 BigQueryの作業用テーブルの作成とユーザー行動ログのロード
5.4.2 テーブルの結合、集計とその結果の挿入
5.4.3 作業用テーブルの削除
5.5 BigQuery TDETL
5.5.1 dauテーブルの再作成
5.5.2 一時テーブルの作成とデータ集計結果の挿入
5.6 Dataflow TOETL
5.6.1 dauテーブルの再作成
5.6.2 環境準備とプログラムの作成
5.6.3 Dataflowのジョブの実行
5.6.4 Dataflowの本番環境で考慮する点
5.7 Dataproc TOETL
5.7.1 dauテーブルの再作成
5.7.2 環境準備とプログラムの作成
5.7.3 Dataprocワークフローテンプレートの作成と実行
5.7.4 Dataprocの本番環境で考慮する点
5.8 サンプルシナリオ実施用の環境の破棄
5.9 その他のETL/ELT処理の実施方法
5.10 ETLとELTの各手法の使い分け
5.11 まとめ
Column Apache BeamとDataflowの関係は?

第6章 ワークフロー管理とデータ統合
6.1 Google Cloudのワークフロー管理とデータ統合のためのサービス
6.2 Cloud Composerの特徴
6.2.1 コンポーネント
6.2.2 DAGとワークフロー管理
6.3 Cloud Composerでのワークフロー管理
6.3.1 プロジェクトの設定
6.3.2 DAGの作成
6.3.3 タスクの概要
6.3.4 DAGの登録と実行
6.3.5 本番環境の勘所
6.4 Cloud Data Fusionの特徴
6.4.1 ノード
6.5 Cloud Data Fusionでのワークフロー管理
6.5.1 プロジェクトのセットアップとインスタンスの作成
6.5.2 パイプライン作成の準備
6.5.3 パイプラインの作成
6.5.4 パイプラインの実行
6.5.5 スケジュールの設定
6.5.6 メタデータとデータリネージの確認
6.6 Cloud ComposerとCloud Data Fusionの比較と使い分けのポイント
6.7 まとめ
Column Google Cloudにおけるジョブオーケストレーションの選択肢

第7章 データ分析基盤におけるセキュリティとコスト管理の設計
7.1 Google Cloudのセキュリティサービス
7.2 Google Cloudのリソース構成とエンタープライズ向けの管理機能
7.3 IAMを利用したBigQueryのアクセス制御
7.3.1 プロジェクト単位のアクセス制御
7.3.2 データセット単位のアクセス制御
7.3.3 テーブル単位のアクセス制御
7.3.4 カラム単位のアクセス制御
7.3.5 承認済みビューの活用
7.4 IAMとAccess Control List (ACL)を利用したCloud Storageのアクセス制御
7.5 VPC Service Controlsを利用したアクセス制御とデータ持ち出し防止
7.5.1 サービス境界でのGoogle Cloudリソースの分離
7.5.2 承認済みのCloud VPNまたはCloud Interconnectへのサービス境界の拡張
7.5.3 インターネットからのGoogle Cloud リソースへのアクセス制御
7.6 監査
7.6.1 Cloud Loggingでの監査
7.6.2 Cloud Loggingの利用方法
7.6.3 Cloud Loggingのエクスポート
7.6.4 Cloud Loggingの集約シンクによる監査対応
7.6.5 INFORMATION_SCHEMAでの監査
7.6.6 Cloud Asset Inventoryを利用したアセットの監査
7.7 Security Command Centerを利用したデータリスクの検知と自動修
7.8 組織のポリシーサービスの適用
7.9 アクセス管理とコスト管理の設計
7.9.1 プロジェクト分割のベストプラクティス
7.9.2 コストの制限
7.10 まとめ
Column データ暗号化とデータ損失防止

第8章 BigQueryへのデータ集約
8.1 BigQueryへデータ集約を行うメリット
8.2 BigQueryへのデータ集約の方法
8.3 BigQuery Data Transfer Service (BigQuery DTS)
8.3.1 BigQuery DTSが対応しているデータソース
8.3.2 Amazon S3からBigQueryへのデータ転送
8.3.3転送に利用するデータの配置
8.3.4 AWS上の設定
8.3.5 BigQuery DTSの設定
8.3.6 BigQuery DTSを利用するうえでのポイントや注意
8.3.7 転送設定の削除
8.4 BigQueryへのデータパイプライン構築
8.4.1 簡易データパイプラインの課題
8.4.2 データパイプライン構築のためのGoogle Cloud上のソリューション
8.5 サービス間連携によるBigQueryへのデータ連携
8.5.1 Google アナリティクス 360からBigQueryへのデータエクスポート
8.5.2 FirebaseからBigQueryへのデータエクスポート
8.6 まとめ
Column BigQueryのデータ取り込み方法の使い分け
Column Firebaseを用いたデータ分析の活用方法

第9章 ビジネスインテリジェンス
9.1 BIとBIツール
9.1.1 BIとは
9.1.2 BIツールに求められること
9.1.3 Google Cloudで利用できるおもなBIツール
9.2 コネクテッドシート
9.2.1 データへのアクセス
9.2.2 ピボットテーブルでの分析
9.2.3 グラフの作成とダッシュボードとしての活用
9.3 データポータル
9.3.1 データへのアクセス
9.3.2 グラフの作成
9.3.3 ダッシュボード
9.4 Looker
9.4.1 Lookerの機能概要
9.4.2 ダッシュボード構築の基本的な流れ
9.4.3 データへの接続設定
9.4.4 ビューとモデルの定義
9.4.5 Gitに変更をPush
9.4.6 Exploreとグラフの作成
9.4.7 ダッシュボードの作成
9.4.8 アクセス制御
9.4.9 アクションへつなげるLookerの機能
9.5 BIツールと親和性の高いBigQueryの機能
9.5.1 BigQuery BI Engine
9.5.2 マテリアライズドビュー
9.6 まとめ

第10章 リアルタイム分析
10.1 リアルタイム分析とユースケース
10.2 リアルタイム分析基盤に求められるもの
10.3 Google Cloudを利用したリアルタイム分析基盤のアーキテクチャ
10.4 Pub/Sub
10.4.1 Pub/Subとは
10.4.2 メッセージの重複と順序
10.4.3 Pub/Sub Lite
10.5 Dataflow
10.5.1 パイプライン
10.5.2 Dataflowにおけるストリーミング処理
10.5.3 テンプレート
10.5.4 Dataflow SQL
10.5.5 Apache Beamノートブック
10.6 BigQuery
10.6.1 ストリーミング挿入
10.6.2 マテリアライズドビューとBI Engine
10.7 リアルタイムタクシーデータを用いたリアルタイム分析基盤の構築
10.7.1 タクシーのリアルタイム位置情報の取得用サブスクリプションの作
10.7.2 Dataflowで1分集計値をリアルタイムにBigQueryに格納
10.7.3 セッションウィンドウを使った処理
10.7.4 Lookerでリアルタイム集計値を可視化
10.7.5 環境の削除
10.8 まとめ Column Dataflowのアーキテクチャと分散処理におけるコンピュート、ストレージ、メモリの分離

第11章 発展的な分析
11.1 Google Cloudによる発展的な分析
11.2 BigQueryによる地理情報分析
11.2.1 地理情報分析とは
11.2.2 BigQuery GISによる地理情報分析の基本
11.2.3 BigQuery GISによる位置情報の集計処理
11.2.4 BigQuery GISの活用のまとめ
11.3 BigQuery上での機械学習
11.3.1 Google Cloudで提供される機械学習系サービス
11.3.2 BigQuery ML
11.3.3 BigQuery MLで実現できる機械学習
11.3.4 2項ロジスティック回帰による分類
11.4 AutoML Tables
11.4.1 AutoML Tablesの利用の流れ
11.4.2 モデルのエクスポート
11.4.3 AutoML Tablesのモデルの詳細
11.4.4 BigQuery MLD 50 AutoML Tables OFIJA
11.4.5 BigQuery MLを使うべきかAutoML Tablesを使うべきか
11.5 Al Platformを活用したデータサイエンスと機械学習
11.5.1 AI Platform Notebooksを用いた分析イテレーション
11.6 まとめ
Column Pub/Subのアーキテクチャ
索引
著者紹介

データ基盤の概要
データ基盤は、データ活用のためのインフラストラクチャと言えます。データ基盤を正しく取り扱えるようになるために、データ基盤への要求の変遷(とコンポーネント)を正しく理解する必要があります。本章では、データ基盤に対する要求を整理し、データ基盤とは何か、どのようなコンポーネントが含まれているのかといったことを説明します。本章を読むことで、データ基盤の全体像を理解し、続く章での説明をより深く理解することができます。

Google Cloud関連を学ぶおすすめ書籍

ランキングも確認する

出典:出版社HP

Amazon

Yahoo!

Rakuten

【2021最新 -Google Cloud Platformおすすめ本 – 独学での勉強にも!】も確認する

はじめに

本書を手に取っていただき、ありがとうございます。本書は自他共に認めるGoogle Cloud Platform(以下、GCP) マニアである筆者が、GCPをぜひ皆さんに使っていただきたいと考えて執筆したものです。GCPでは2016年11月に日本リージョンが開設されており、2017年以降は日本におけるGCPの新たな飛躍の年として位置づけられることでしょう。

現在では、「クラウドファースト」という言葉が先進的に捉えられた時代はもう終わりに近づき、「クラウドネイティブ」が当たり前になってくる時代になりつつあります。すでにネットサービスやスタートアップ企業においては、オンプレでサーバーを構築することなどはほとんどない状態です。これからの時代、Googleに限らず何らかのクラウドサービスを利用することは必須となっており、技術者のみならず経営者までもこれを理解し、クラウドを前提とした柔軟かつ迅速な経営判断が求められる時代になってきています。

この「クラウドネイティブ」時代にクラウドインフラを提供する会社は、将来的には世界で限られた数社になってくるであろうと予想されます。その筆頭候補として挙げられるのが、皆さんがご存知のGoogle、Amazon、Microsoftの3社になると言われています。どこか一社が飛び抜けてということはなく、おそらくこの3社はそれぞれの特徴により棲み分けられ、利用されていくことになるでしょう。そんな中での基本的な戦略としては、どこか一社に絞るその前に、クラウドサービスの初期費用が不要な特徴を活かし、まずはある程度各サービスに触れてみて特徴を把握することが肝要かと筆者は考えます。その上で特定の一社に絞って(ぜひGoogleを)利用するもよし、各社をうまく並行して使いこなすもよし、それぞれの方向性で利用していくのがよいと思います。

本書では、GCPの機能・操作法や他のクラウドとの比較など、ひととおり解説してありますので、本書でGCPの基本・特徴については理解できる内容になるよう努めております。ぜひGCPを理解し、触ってみて、今後のクラウドネイティブ時代を生きる一助としていただければ幸甚です。
2019年3月吉日
クラウドエース株式会社
取締役会長 吉積 礼敏

本書の想定読者

本書は、「GCPを使ってみたいけど使い方がよく分からない」方から、「ある程度使っているけれども使いこなせてはないかも?」というクラウドに関して初級から中級の技術者の方を対象にしています。GCPに触れたことのない方には、まずは触ってみて体感すること、次に基礎的なことを押さえて効果的によりたくさんのプロダクトを活用できるようになること、の一助になればと考えています。なお、TCP/IPやOSなどのインフラの基本的な内容については割愛しておりますので、システムに関する最低限の技術的な知識は各種専門書籍等をご参照ください。

Googleについて

本書を手に取った方に、今さら「Googleとはどのような企業か」について説明するまでもないと思いますが、超巨大企業として様々な顔を持つ会社ですので、むしろその捉え方は人によって異なる場合も出てくるかもしれません。本書では、原則としてGCPを提供している会社としてGoogleを扱っていきますが、そのための共有を前提とするため、一応この会社のプロフィールを簡単にご紹介しておきます。

Google(グーグル)はAlphabet(アルファベット)に2015年8月に名称変更された持ち株会社の最大の子会社で、「世界中の情報を整理し、世界中の人々がアクセスできて使えるようにすること」を目標に1998年に設立された会社です。検索エンジンのシェアをベースに、広告を出すことで収益の大部分を上げていますが、GmailやYouTubeなど 大量のコンピューティングリソースを必要とするインターネットサービスを多数提供しています。
Googleはその目標どおりに情報処理に非常に力を入れており、大量のコンピューティングリソースへの投資を行っています。データセンターやハードウェア、ネットワーク まで自前で構築してしまうというのが特徴で、自作の特殊な構造のサーバーを利用しています。またその規模は、サーバーの製造販売業者ではないにもかかわらず、自社で利用するサーバーの費用だけで世界のサーバー製造販売業者と肩を並べるほどの規模になっていると言われています。
さらに近年では、AlphaGoという名称のコンピューターが、機械学習の分野でも大量のデータによる学習や機械同士の対戦による学習でどんどん強くなり、囲碁の世界チャ ンピオンに勝つなど、機械学習・AIの領域などでも目覚ましい躍進を遂げています。
なお、GCPは、様々な分野のサービスを取り込みながら拡大・拡張・改善を常に繰り返しているサービスです。本書執筆後にもどんどん更新が入ることも予想されますので、最新情報についてはできる限りGoogleの公式文書を参照するように努めてください。

Google Cloud関連を学ぶおすすめ書籍

ランキングも確認する

出典:出版社HP

Amazon

Yahoo!

Rakuten

目次

はじめに
本書の想定読者
Googleについて

第1章
Google Cloud Platformとは?
1.1 Googleが提供するクラウド基盤
1.2 Google Cloud Platform概要
Column>数台のサーバー故障なら放っておいても大丈夫!?
1.3 GCPの歴史
1.4 Why Google?
1.5 GCPの使いどころ
1.5.1 ビッグデータ」
1.5.2 機械学習
1.5.3 キャンペーンなどのスパイク
1.5.4 運用保守担当者不在
1.5.5 グローバル展開

第2章 GCPの基本を知ろう
2.1 GCPの基本概念
2.2 リージョン、ゾーン
2.2.1 リージョン、ゾーンの選び方
2.3 無料トライアルの登録とプロジェクトの作成
2.3.1 管理コンソールへのアクセス
2.3.2 無料トライアルの登録
2.3.3 プロジェクトの作成
2.4 管理コンソールの基礎
2.4.1 基本的な操作方法
2.4.2 基本メニューの説明
2. 5GCPのコンポーネント一覧
Column> サービスのリリース段階
2.6 SDKコマンドライン基礎
2.6.1 SDKコンポーネント群一覧
2.6.2 SDKコマンドの基本
2.7 Cloud IAM
2.7.1 Cloud IAMの概要
2.7.2 Cloud IAMの特徴
2.7.3 Cloud IAMの基本概念
2.7.4 Cloud IAMの基本操作
2.8 課金について
2.8.1 基本的な考え方
2.8.2 課金の種類
2.8.3 GCEマシンタイプの課金時間は1秒単位(最小1分)
2.8.4 継続利用による割引
2.8.5 トラフィック料金
2.8.6GCP利用料計算ツール
2.8.7 例を使ったGCP利用料の試算
2.9 セキュリティ
2.9.1 SSAE16 / ISAE 3402 Type II
2.9.2 SOC2/SOC 3
2.9.3 ISO 27001
2.9.4 FISMA Moderate
2.9.5 PCI DSS v3.0
2.9.6 HIPAA
2.10 参考資料

第3章 GCPの基本サービスを学ぼう
3.1 Google Compute Engine (GCE)
3.1.1概要
3.1.2 GCEの仕組み
3.1.3 基本的な操作
3.2 Google Cloud Storage (GCS)
3.2.1 GCSの機能
3.2.2 課金体系
3.2.3 アクセス制御 3.3 Google App Engine (GAE)
3.3.1 Google App Engine Standard Environment (GAE SE)
3.4 Big Query
3.4.1 概要
3.4.2 BigQueryの特徴
3.4.3 BigQueryの料金体系
3.4.4 様々なデータ取り込み方法
3.4.5 課金についての注意事項
3.4.6 基本概念
3.4.7 BigQueryのアクセス制御
3.4.8 始め方
3.4.9 基本的な操作 3.5 Google Cloud SQL
3.5.1 概要 3.5.2 始め方
3.5.3 一般的な注意事項

第4章高度なサービスを知ろう(その1)
4.1 Kubernetes Engine (GKE)
Column> Docker とコンテナ
4.1.1 Kubernetes Engineの特徴
4.1.2 Kubernetes Engineを始めてみよう
4.1.3 Kubernetes Engineのクラスタサイズを変更・修正する
4.2 ネットワーキング
4.2.1 VPCネットワーク
4.2.2 外部IPアドレス
4.2.3 ネットワークサービス
4.2.4 ハイブリッド接続
4.2.5 Network Service Tiers
4.2.6 ネットワークセキュリティ
4.3 Bigtable
4.3.1 Bigtableの特徴
4.3.2 アクセス権の制御
4.3.3 最適な用途
4.3.4 パフォーマンスについての注意点
4.3.5 Bigtableの始め方
4.3.6 Bigtableのまとめ
4.4 Datastore
4.4.1 データ構成
4.4.2 登録と更新
4.4.3 整合性(Consistency
4.4.4 インデックス
4.4.5 データ取得
4.4.6 トランザクション
4.4.7 管理ツール
4.5 Stackdriverモニタリング
4.5.1 Stackdriverとは
4.5.2 Stackdriverを使ってみよう
4.5.3 Stackdriverアカウントの作成
4.5.4 インスタンスにStackdriverエージェントをインストール
4.5.5 Webサイト (nginx)のHTTP監視設定(Uptime Check)
4.5.6 Webサイト (nginx) を停止し、アラート通報をメールで受信
4.5.7 ダッシュボードの表示
4.6 Stackdriverモニタリング
4.6.1 Stackdriver Logging (google-fluentd)のインストール
4.6.2 ログの確認と検索
4.6.3 ログをBigQueryへエクスポート

第5章 高度なサービスを知ろう(その2)
5.1 Deployment Manager 5.2 Cloud Pub/Sub
5.2.1 パブリッシャーとサブスクライバーについて
5.2.2 Cloud Pub/Subを使ってみよう
5.2.3 Cloud Pub/Subの活用イメージ
5.3 Cloud Dataflow
5.3.1 Apache Beam
5.3.2 データ処理パイプライン
5.3.3 Cloud Dataflowの特徴
5.4 Dataproc
5.5 Cloud Launcher
5.6 Cloud Functions
5.6.1 イベント駆動のサーバーレスアプリケーション実行基盤
5.6.2 トリガーによる動作の開始
5.6.3 Functions(関数)の作成
5.6.4 チュートリアル
5.7 その他のサービス
5.7.1 Spanner
5.7.2 Endpoints
5.7.3 Genomics
5.7.4 IoT Core
5.7.5 Dataprep
5.7.6 Datalab

第6章 機械学習
6.1 機械学習の基本
6.1.1 機械学習の一般的な知識
6.1.2 GCPにおける機械学習への取り組み
6.2 TensorFlow
6.2.1 TensorFlowのAPI階層について
6.3 Cloud Machine Learning Engine
6.3.1 Cloud Machine Learning Engineとは
6.3.2 トレーニングのための準備
6.3.3 ローカルトレーニングの実行
Column> TensorBoardによる学習状況の可視化
6.3.4 Cloud Machine Learning Engineを使用したトレーニング
6.3.5 トレーニングモデルをデプロイして予測に使用する
6.3.6 複雑なモデルのトレーニングをGPUで高速化する
6.3.7 料金について

第7章 GCPで使えるAPIの紹介
7.1 APIs Explorerで簡単にトライ
7.2 Vision APIを使ってみる
7.2.1 Vision APIとは
7.2.2 APIs ExplorerからVision APIを使う
7.2.3ラベル処理以外の機能
7.2.4 Vision APIまとめ
7.3 Translate APIを使ってみる
7.3.1 Translate APIとは
7.3.2 APIリクエストパラメータ
7.3.3 APIs ExplorerからTranslate APIを使う
7.3.4 Translate APIまとめ
Column> 自動翻訳はどんどん進化する!
7.4 Speech APIを使ってみる
7.4.1 Speech APIとは
7.4.2 リクエストの種類
7.4.3 APIリファレンス
7.4.4 APIs ExplorerからSpeech APIを使う
7.4.5 Speech APIまとめ
Column> 加速するSpeech AP
7. 5Video Intelligence APIを使ってみる
7.5.1 Video Intelligence APIとは
7.5.2 APIリファレンス
7.5.3 APIs ExplorerからVideo Intelligence APIを使う
7.5.4 Video Intelligence APIまとめ

第8章 AWSユーザーへ
8.1 AWS/GCPのサービス対応と比較
8.1.1 AWS/GCPのサービス対応表
8.1.2 両社のIaaSサービスの概要比較
8.2 AWS/GCPON
8.3 AWSからインスタンスの移行
8.3.1 VM-Migration Serviceとは
8.3.2 GCPの管理コンソールでCredentialを設定
8.3.3 EC2インスタンスにAgentをインストール
8.3.4GCEインスタンスを選択してインスタンスを起動
8.4 Amazon S3からの引越し

第9章 GCPのまとめと今後の展望
9.1 GCPのよい点・悪い点
Column> 1秒単位の課金に!
9.2 今後の展開
Column> これからGCPの勉強をする方へ
Google Cloud Platform
とは?

ようこそ Google Cloud Platform(GCP) の世界へ! 第1章では、その概要と歴史、そして使いどころなどをまずはオーバービューしたいと思います。

Google Cloud関連を学ぶおすすめ書籍

ランキングも確認する

出典:出版社HP

Amazon

Yahoo!

Rakuten