Sparkジョブの実行時間が予想よりも長くなっています。データエンジニアがSpark UIを使用して、特定のステージにおけるタスクの最小、中央、最大実行時間を確認すると、タスク完了までの最短時間と中央値はほぼ同じであるのに対し、最長時間は最短時間の約100倍になっていることに気づきました。
全体的な仕事の所要時間の増加を引き起こしている状況は何ですか?

• A. 一部のクラスタノードがソースデータとは異なるリージョンにあることによるネットワーク遅延
• B. アタッチされたボリュームのストレージが小さすぎるために発生したスピルです。
• C. 不適切なスレッド プールの割り当てによって発生したタスク キュー。
• D. 外部システムからデータを取得中に資格情報の検証エラーが発生しました。
• E. Spark パーティションのサブセットに割り当てられたデータが増えることで発生するスキュー。

データエンジニアは、分析と可視化のために、クラウドオブジェクトストレージからUnity Catalogで管理されるテーブルに大量の画像ファイル(JPEGとPNG)を取り込みたいと考えています。これらの画像を段階的にテーブルに取り込むために推奨される構成と方法は2つありますか？(2つ選択してください。)

• A. ファイルをボリュームに移動し、SQL エディターで読み取ります。
• B. Auto Loader を使用し、cloudFiles.format を "BINARYFILE" に設定します。
• C. Auto Loader を使用し、cloudFiles.format を "IMAGE" に設定します。
• D. pathGlobFilter オプションを使用して、画像ファイルのみを選択します (例: "*.jpg、*.png")。
• E. Auto Loader を使用して、cloudFiles.format を "TEXT" に設定します。

データ エンジニアリング チームは Databricks プロジェクトで共同作業を行っていますが、各チーム メンバーは変更をメイン ブランチにマージする前に、コードを個別に開発してテストする必要があります。
すべての作業がバージョン管理され、CI/CD パイプラインに統合できることを保証しながら、偶発的な上書きやブランチ切り替えの問題を回避したいと考えています。
データエンジニアはどのようにコラボレーションを実現すべきでしょうか?

• A. 各チーム メンバーは、同じリモート Git リポジトリにマップされた独自の Databricks Git フォルダーを作成し、個人用フォルダー内の独自の開発ブランチで作業します。
• B. チーム メンバーは、Databricks CLI を使用して Git リポジトリのクローンを作成し、クラスターの Web ターミナルから Git 操作を実行します。
• C. チーム メンバーは、ワークスペースの共有フォルダー内でノートブックを直接編集し、バージョン管理のために定期的に変更を Git フォルダーにコピーします。
• D. すべてのチーム メンバーは同じ Databricks Git フォルダーで作業し、その共有フォルダー内で直接 Git 操作 (プル、プッシュ、コミット、ブランチ切り替え) を実行します。

プラットフォームエンジニアは、すべてのワークスペースにおけるSKU階層別に分類されたリソース消費量をレポートする必要があります。エンジニアは、system.billing.usageシステムテーブルを使用してクエリを作成することにしました。製品ごとの日次使用量を正確に返すSQLクエリはどれですか？

• A.
  
• B.
  
• C.
  
• D.
  

データエンジニアは、組織のデータ保持ポリシーを永続的に遵守するために、Databricks の Delta テーブルで削除されたファイルを(デフォルトの 7 日間ではなく)15 日間継続的に保持するようにする必要があります。削除されたファイルのこの保持期間を正しく設定するコード スニペットはどれですか。

• A. spark.sql("ALTER TABLE my_table SET TBLPROPERTIES
  ('delta.deletedFileRetentionDuration' = 'interval 15 days')")
• B. spark.conf.set("spark.databricks.delta.deletedFileRetentionDuration", "15 days")
• C. spark.sql("VACUUM my_table RETAIN 15 HOURS")
• D. from delta.tables import *
  deltaTable = DeltaTable.forPath(spark, "/mnt/data/my_table")
  deltaTable.deletedFileRetentionDuration = "interval 15 days"