#bq_sushi #17 BigQueryのデータパイプラインってどうしてる？

BigQuery リリース振り返り 2021-04

@na0fu3y

BigQuery リリース振り返り 2021-04

Naofumi Yamada @na0fu3y

h:25

BQ FUN Slackワークスペースを運営してます

BigQuery リリース振り返り 2021-04

カバー範囲

BigQuery リリース振り返り 2021-04

UI

  • 新Cloud Consoleがプレビュー🎉
BigQuery リリース振り返り 2021-04

UI

  • BigQuery管理リソースグラフ（Reservations利用者向け）がプレビュー🎉
BigQuery リリース振り返り 2021-04

SQL

GA🎊

  • 高精度計算のためのBIGNUMERIC型
  • JSON文字列の配列を処理するJSON_(EXTRACT_STRING|QUERY|VALUE)_ARRAY関数
  • データセットを作成、設定、削除する(CREATE|ALTER|DROP) SCHEMAステートメント
BigQuery リリース振り返り 2021-04

SQL

プレビュー🎉

  • テーブルから列を削除するALTER TABLE DROP COLUMNステートメント
  • 大きなテーブルのランダムなサブセットをクエリするTABLESAMPLE句
BigQuery リリース振り返り 2021-04

SQL

プレビュー🎉

  • パーティションの詳細を確認するINFORMATION_SCHEMA.PARTITIONSビュー
  • テーブルの再作成に使用できるDDLステートメントDDLがINFORMATION_SCHEMA.TABLESビューに追加
BigQuery リリース振り返り 2021-04

リージョン

  • アイオワ（us-central1）リージョンが利用可能に🎊
  • ワルシャワ（europe-central2）リージョンで利用可能に🎊
BigQuery リリース振り返り 2021-04

性能改善

  • マテリアライズドビューがGAに🎊
    • 異なるデータセットとプロジェクト内でも作成可能に
    • 追加の集計関数、CROSS/LEFT JOIN UNNEST、INFORMATION_SCHEMA、顧客管理の暗号鍵もサポート
  • DATETIME列のクラスター化テーブルがGAに🎊
BigQuery リリース振り返り 2021-04

性能改善

  • Cloud Storageへのクエリがクエリ結果のキャッシュ対象に🎊
  • 以下のBigQueryフィールドの最大長が128文字から300文字に増加🎊
    • テーブルの列名、列のエイリアス名、ユーザー定義の関数名
BigQuery リリース振り返り 2021-04

データ読み込み

  • Storage Read APIのネットワーク課金が2021年第3四半期の初めから開始
  • Parquet形式の読み込み改善
    • Enum論理型はSTRING または BYTES に変換されるように🎊
    • LIST論理型でスキーマ推定できるように🎊
BigQuery リリース振り返り 2021-04

データ書き込み

  • Storage Write APIがプレビューに🎉
  • Parquet形式でのテーブルデータのエクスポートをプレビュー🎉
BigQuery リリース振り返り 2021-04

BI Engine

  • BI Engine SQL インターフェースを使って、他のBIツールと統合可能に
BigQuery リリース振り返り 2021-04

Data Transfer Service

  • Cloud Storageからの転送の最小ファイル有効期間1時間の要件が廃止
  • Cloud Storageからの定期的な転送の最小間隔が1時間から15分に短縮
  • VPC Service Controlsで完全サポート
BigQuery リリース振り返り 2021-04

個人的、今後に期待⌛

  • Omni、Data QnAのパブリックプレビュー
  • Looker、Dataformの統合
  • Feature Store
BigQuery リリース振り返り 2021-04

引用元

リリースノート

画像