Compass note

未踏の地へ踏み出すコンパス的エンジニアノート

GCP BigQuery を調べてみた。

Big Query とはペタバイト級のデータを扱うデータウェアハウス

BigQuery とは、Google Cloud Platform 上で動作する、ペタバイト規模のフルマネージド データ ウェアハウスです。

データ アナリストやデータ サイエンティストは、サーバーを設定、管理することなく、大規模なデータセットに対するクエリやフィルタの実行、結果の集計、複雑な操作の実行が可能です。

コマンドライン ツール(Cloud Shell にインストール済み)またはウェブ コンソールを使用して、GCP プロジェクトに格納されているデータを管理、照会できます。

BigQuery コンソールの操作

gcloud config set project:デフォルトのプロジェクトを設定

BigQuery で特定のプロジェクトを bq コマンドラインツールのデフォルトとして設定したい場合はgcloud config set projectを使います。

BIgQuery のクエリ発行に要する年間ランニングコストの見積もり方

  1. bq query -dry_run により、クエリで読み取られるバイト数を特定
  2. その結果のバイト数から Pricing Calculator を使用して見積もる
  3. BigQuery の年間ランニングコストを見積もることができる。
    Amazonチャージ