Google Certified Professional Data Engineer Exam (Professional-Data-Engineer日本語版) - Professional-Data-Engineer日本語 Exam Practice Test

BigQuery テーブル内の特定のパーティションをクエリするにはどうすればよいでしょうか?

Google Data Studio 360 で大規模なチーム向けの重要なレポートを作成します。レポートでは、データソースとして Google BigQuery を使用します。視覚化では 1 時間未満のデータが表示されないことに気付きました。どうすればよいでしょうか。

ケーススタディ1 - Flowlogistic
会社概要
Flowlogisticは、物流およびサプライチェーン分野におけるリーディングプロバイダーです。世界中の企業が資源を管理し、最終目的地まで輸送できるよう支援しています。同社は急速に成長を遂げ、鉄道、トラック、航空機、海上輸送など、サービス提供範囲を拡大しています。
会社概要
同社は地域密着型のトラック運送会社として創業し、その後、他の物流市場へと事業を拡大しました。しかし、インフラの更新が遅れたため、注文や出荷の管理・追跡がボトルネックとなっていました。業務改善のため、Flowlogisticは小包レベルでリアルタイムに出荷を追跡する独自の技術を開発しました。しかし、Apache Kafkaをベースとした既存の技術スタックでは処理量に対応できないため、この技術を導入することができませんでした。さらに、Flowlogisticは注文と出荷に関する詳細な分析を行い、最適なリソース配分方法を検討したいと考えています。
解決策のコンセプト
Flowlogisticはクラウドを使用して2つのコンセプトを実現したいと考えています。
* 自社独自の技術を活用したリアルタイム在庫追跡システムにより、積荷の位置をリアルタイムで表示する。
* 構造化データと非構造化データの両方を含むすべての注文と出荷ログの分析を実行して、リソースを最適に展開する方法、情報を拡大する市場を決定します。
彼らはまた、予測分析を用いて、出荷の遅延が発生する時期をより早く把握したいと考えている。
既存の技術環境
Flowlogisticアーキテクチャは単一のデータセンターに存在します。
* データベース
2つのクラスターに8台の物理サーバーを配置
- SQL Server - ユーザーデータ、在庫、静的データ
物理サーバー3台
- Cassandra - メタデータ、メッセージの追跡
10台のKafkaサーバー - メッセージ集約とバッチ挿入の追跡
* アプリケーションサーバー - 顧客向けフロントエンド、注文/税関向けミドルウェア
20台の物理サーバーに分散された60台の仮想マシン
- Tomcat - Javaサービス
- Nginx - 静的コンテンツ
- バッチサーバー
* 収納機器
- 仮想マシン(VM)ホスト向けiSCSI
- ファイバーチャネルストレージエリアネットワーク(FC SAN) - SQLサーバーストレージ
- ネットワーク接続ストレージ(NAS)のイメージストレージ、ログ、バックアップ
* Apache Hadoop/Sparkサーバー10台
- コアデータレイク
- データ分析の作業負荷
* その他サーバー20台
- Jenkins、監視、バスティオンホスト、
ビジネス要件
* 拡張可能な生産環境を備え、信頼性が高く再現性のある環境を構築する。
分析のためにデータを一元化されたデータレイクに集約する
* 過去のデータを使用して、将来の出荷に関する予測分析を実行します。
独自の技術を用いて、世界中のすべての貨物を正確に追跡します。
* 新しいリソースを迅速に提供することで、ビジネスの俊敏性とイノベーションのスピードを向上させる
クラウドにおけるパフォーマンスを考慮したアーキテクチャの分析と最適化
* 他のすべての要件を満たしている場合は、クラウドに完全移行する
技術要件
ストリーミングデータとバッチデータの両方を処理する
* 既存のHadoopワークロードを移行する
* 会社の変化するニーズに対応できるよう、アーキテクチャが拡張性と柔軟性を備えていることを確認する。
可能な限りマネージドサービスを利用する
* データの転送時および保存時の暗号化
* 本番データセンターとクラウド環境の間にVPNを接続する SEOステートメント 当社は急速に成長してきたため、インフラストラクチャをアップグレードできないことが、さらなる成長と効率性を阻害しています。当社は世界中に商品を輸送することには効率的ですが、データの移動には非効率的です。
顧客がどこにいて、何を発送しているのかをより簡単に把握できるように、情報を整理する必要があります。
CTO声明
ITはこれまで当社にとって優先事項ではなかったため、データ量の増加に伴い、テクノロジーへの投資が十分ではありませんでした。IT管理を担当する優秀なスタッフはいますが、彼らはインフラ管理に追われ、データの整理、分析ツールの構築、CFOの追跡テクノロジーの実装方法の検討といった、本当に重要な業務に時間を割くことができません。
最高財務責任者(CFO)声明
当社の競争優位性の一つは、出荷や納品の遅延に対して自らにペナルティを課している点です。
出荷状況の常時把握は、当社の収益と利益に直接影響します。さらに、サーバー環境の構築に資金を投入したくありません。
FlowlogisticのCEOは、顧客基盤に関する迅速な洞察を得て、営業チームが現場でより的確な情報に基づいた営業活動を行えるようにしたいと考えています。営業チームは技術的な知識が乏しいため、BigQueryレポートの作成を簡素化する可視化ツールを購入しました。しかし、テーブル内の膨大なデータ量に圧倒され、必要なデータを見つけるためのクエリに多額の費用を費やしています。
あなたは彼らの問題を最も費用対効果の高い方法で解決したいと考えています。どうすれば良いでしょうか？

お客様は、オンデマンド課金モデルでBigQueryプロジェクトを実行しており、データを取り込む変更データキャプチャ(CDC)プロセスを実行しています。CDCプロセスは、10分ごとに1GBのデータを一時テーブルにロードし、その後、10TBのターゲットテーブルにマージします。
このプロセスはスキャン負荷が非常に高いため、予測可能なコストモデルを実現するためのオプションを検討する必要があります。BigQuery Monitoring から収集した使用状況情報に基づいて BigQuery の予約を作成し、その予約を CDC プロセスに適用する必要があります。どうすればよいですか？

運送会社は、リアルタイムでApache Kafkaストリームに送信される荷物追跡データを保有しています。このデータはその後BigQueryにロードされます。貴社のアナリストは、BigQuery内の追跡データに対してクエリを実行し、荷物のライフサイクルにおける地理空間的な傾向を分析したいと考えています。テーブルは当初、取り込み日パーティショニングで作成されました。時間の経過とともに、クエリ処理時間が増加しています。すべてのデータを新しいクラスタリングテーブルにコピーする必要があります。どうすればよいでしょうか？

メディアストリーミングサービスであるモバイルアプリケーション向けに、新しいストレージシステムをデプロイしています。最適なシステムは Google Cloud Datastore だと判断しました。エンティティには複数のプロパティがあり、そのうちのいくつかは複数の値を取ることができます。たとえば、エンティティ「Movie」では、プロパティ「actors」とプロパティ「tags」は複数の値を持ちますが、プロパティ「date released」は持ちません。一般的なクエリでは、actor=<actorname> のすべての映画を date_released で並べ替えるか、tag=Comedy のすべての映画を date_released で並べ替えます。インデックス数の組み合わせ爆発を回避するにはどうすればよいでしょうか？

貴社のデータ資産は、BigQuery、Pub/Sub、およびCompute Engine上で稼働するPostgreSQLインスタンスに保存されています。複数のドメインと多様なチームがデータを使用しているため、組織内のチームは既存のデータ資産を容易に発見できません。開発と構成の手間を最小限に抑えつつ、データの発見性を向上させるソリューションを設計する必要があります。どのような対策を講じるべきでしょうか？

特定の条件が満たされた場合に、ウィンドウのコンテンツをいつ出力するかを決定するデータフローの概念は何ですか?

あなたは数日かけて、カンマ区切り値(CSV)ファイルからデータを読み込み、Google BigQueryのテーブルCLICK_STREAMに格納しました。列DTには、クリックイベントのエポックタイムが格納されます。
便宜上、すべてのフィールドをSTRING型として扱うシンプルなスキーマを選択しました。
さて、あなたのサイトを訪問したユーザーのウェブセッションの継続時間を計算し、そのデータ型をTIMESTAMPに変更したいとします。将来のクエリの計算コストを上げずに、移行作業を最小限に抑えたいと考えています。どうすればよいでしょうか？

ストリーミング エンジンと水平オートスケーリングを有効にした Dataflow ストリーミング パイプラインを実行しています。ワーカーの最大数を 1000 に設定しています。パイプラインの入力は、Cloud Storage からの通知を含む Pub/Sub メッセージです。パイプラインの変換処理の 1 つで CSV ファイルを読み込み、CSV の各行に対して要素を出力します。ジョブのパフォーマンスが低く、パイプラインは 10 個のワーカーしか使用しておらず、オートスケーラーが追加のワーカーを起動していないことに気づきました。パフォーマンスを向上させるにはどうすればよいでしょうか？

ケーススタディ1 - Flowlogistic
会社概要
Flowlogisticは、物流およびサプライチェーン分野におけるリーディングプロバイダーです。世界中の企業が資源を管理し、最終目的地まで輸送できるよう支援しています。同社は急速に成長を遂げ、鉄道、トラック、航空機、海上輸送など、サービス提供範囲を拡大しています。
会社概要
同社は地域密着型のトラック運送会社として創業し、その後、他の物流市場へと事業を拡大しました。しかし、インフラの更新が遅れたため、注文や出荷の管理・追跡がボトルネックとなっていました。業務改善のため、Flowlogisticは小包レベルでリアルタイムに出荷を追跡する独自の技術を開発しました。しかし、Apache Kafkaをベースとした既存の技術スタックでは処理量に対応できないため、この技術を導入することができませんでした。さらに、Flowlogisticは注文と出荷に関する詳細な分析を行い、最適なリソース配分方法を検討したいと考えています。
解決策のコンセプト
Flowlogisticはクラウドを使用して2つのコンセプトを実現したいと考えています。
* 自社独自の技術を活用したリアルタイム在庫追跡システムにより、積荷の位置をリアルタイムで表示する。
* 構造化データと非構造化データの両方を含むすべての注文と出荷ログの分析を実行して、リソースを最適に展開する方法、情報を拡大する市場を決定します。
彼らはまた、予測分析を用いて、出荷の遅延が発生する時期をより早く把握したいと考えている。
既存の技術環境
Flowlogisticアーキテクチャは単一のデータセンターに存在します。
* データベース
2つのクラスターに8台の物理サーバーを配置
- SQL Server - ユーザーデータ、在庫、静的データ
物理サーバー3台
- Cassandra - メタデータ、メッセージの追跡
10台のKafkaサーバー - メッセージ集約とバッチ挿入の追跡
* アプリケーションサーバー - 顧客向けフロントエンド、注文/税関向けミドルウェア
20台の物理サーバーに分散された60台の仮想マシン
- Tomcat - Javaサービス
- Nginx - 静的コンテンツ
- バッチサーバー
* 収納機器
- 仮想マシン(VM)ホスト向けiSCSI
- ファイバーチャネルストレージエリアネットワーク(FC SAN) - SQLサーバーストレージ
- ネットワーク接続ストレージ(NAS)のイメージストレージ、ログ、バックアップ
* Apache Hadoop/Sparkサーバー10台
- コアデータレイク
- データ分析の作業負荷
* その他サーバー20台
- Jenkins、監視、バスティオンホスト、
ビジネス要件
* 拡張可能な生産環境を備え、信頼性が高く再現性のある環境を構築する。
分析のためにデータを一元化されたデータレイクに集約する
* 過去のデータを使用して、将来の出荷に関する予測分析を実行します。
独自の技術を用いて、世界中のすべての貨物を正確に追跡します。
* 新しいリソースを迅速に提供することで、ビジネスの俊敏性とイノベーションのスピードを向上させる
クラウドにおけるパフォーマンスを考慮したアーキテクチャの分析と最適化
* 他のすべての要件を満たしている場合は、クラウドに完全移行する
技術要件
ストリーミングデータとバッチデータの両方を処理する
* 既存のHadoopワークロードを移行する
* 会社の変化するニーズに対応できるよう、アーキテクチャが拡張性と柔軟性を備えていることを確認する。
可能な限りマネージドサービスを利用する
* データの転送時および保存時の暗号化
* 本番データセンターとクラウド環境の間にVPNを接続する SEOステートメント 当社は急速に成長してきたため、インフラストラクチャをアップグレードできないことが、さらなる成長と効率性を阻害しています。当社は世界中に商品を輸送することには効率的ですが、データの移動には非効率的です。
顧客がどこにいて、何を発送しているのかをより簡単に把握できるように、情報を整理する必要があります。
CTO声明
ITはこれまで当社にとって優先事項ではなかったため、データ量の増加に伴い、テクノロジーへの投資が十分ではありませんでした。IT管理を担当する優秀なスタッフはいますが、彼らはインフラ管理に追われ、データの整理、分析ツールの構築、CFOの追跡テクノロジーの実装方法の検討といった、本当に重要な業務に時間を割くことができません。
最高財務責任者(CFO)声明
当社の競争優位性の一つは、出荷や納品の遅延に対して自らにペナルティを課している点です。
出荷状況の常時把握は、当社の収益と利益に直接影響します。さらに、サーバー環境の構築に資金を投入したくありません。
Flowlogistic はリアルタイム在庫追跡システムを展開しています。追跡デバイスはすべてパッケージ追跡メッセージを送信しますが、これらのメッセージは Apache Kafka クラスターではなく、単一の Google Cloud Pub/Sub トピックに送信されます。サブスクライバーアプリケーションは、リアルタイムレポート用にメッセージを処理して、履歴分析のために Google BigQuery に保存します。パッケージデータを時系列で分析できるようにしたい場合、どの方法を採用すべきでしょうか？

貴社はクラウドストレージに数千枚の画像を保存しています。データアナリストは、画像コンテンツを分析した上でこれらの画像を分類し、その結果を他のBigQueryデータセットと統合できる構造化された形式で保存する必要があります。アナリストが最小限のコーディングでこのタスクを実行できるソリューションが必要です。どうすればよいでしょうか？

現在、トランザクションデータはオンプレミスのPostgreSQLデータベースに保存されています。データ環境を最新化するために、トランザクションワークロードを実行し、分析ニーズを単一のデータベースでサポートしたいと考えています。データベース管理システムを変更することなくGoogle Cloudに移行し、コストと複雑さを最小限に抑える必要があります。どうすればよいでしょうか？

あなたは、オンライン小売業者の顧客サービスを効率化するためにチャットボットを導入しようとしています。チャットボットは、テキストと音声の両方の問い合わせに対応できる必要があります。ローコードまたはノーコードのオプションを探しており、キーワードに対する回答をチャットボットに簡単に学習させたいと考えています。どうすればよいでしょうか？