Databricks-Certified-Professional-Data-Engineer Korean Exam Training Practice Tests (Databricks Certified Professional Data Engineer Exam (Databricks-Certified-Professional-Data-Engineer Korean Version))]

Question 1

데이터 엔지니어가 S3 버킷에 저장된 환자 진료 기록 데이터를 일괄 처리하는 시스템을 설계하고 있습니다. 이 시스템은 encounter_id, patient_id, encounter_date, diagnosis_code, treatment_cost 열을 가진 Delta 테이블(patient_encounters)을 생성합니다. 이 테이블은 patient_id와 encounter_date를 기준으로 자주 조회되므로 빠른 처리 속도가 요구됩니다. 또한, 세분화된 접근 제어가 필수적입니다. 엔지니어는 유지 관리를 최소화하고 성능을 향상시키고자 합니다.
데이터 엔지니어는 patient_encounters 테이블을 어떻게 생성해야 할까요?

A. Unity Catalog에 관리형 테이블을 생성합니다. 접근 제어를 위해 Unity Catalog 권한을 구성하고, 예측 최적화를 활용하여 쿼리 성능을 향상시키고 유지 관리를 간소화합니다. B. Unity Catalog에 관리형 테이블을 생성합니다. 접근 제어를 위해 Unity Catalog 권한을 구성하고, 최적의 성능을 위해 OPTIMIZE 및 VACUUM 명령이 매일 실행되도록 작업을 예약합니다. C. Unity Catalog에 외부 테이블을 생성하고 데이터 파일의 S3 위치를 지정합니다. 테이블 속성을 통해 예측 최적화를 활성화하고 접근 제어를 위해 Unity Catalog 권한을 구성합니다. D. Hive Metastore에 관리형 테이블을 생성합니다. 접근 제어를 위해 Hive Metastore 권한을 구성하고, 예측 최적화를 활용하여 쿼리 성능을 향상시키고 유지 관리를 간소화합니다.

Correct Answer: A

Explanation: Only visible for TrainingDump members. You can sign-up / login (it's free).

Question 2

데이터 엔지니어링 팀은 Databricks Lakehouse Monitoring을 사용하여 Delta 테이블의 핵심 열에 대한 percent_null 지표를 추적합니다.
프로필 메트릭 테이블(prod_catalog.prod_schema.customer_data_profile_metrics)에는 시간별 percent_null 값이 저장됩니다.
팀의 목표는 다음과 같습니다.
* percent_null의 일일 평균값이 3일 연속 5%를 초과할 경우 알림을 발생시킵니다.
* 문제가 지속되는 동안 알림이 스팸처럼 전송되지 않도록 하십시오.
옵션:

A. WITH daily_avg AS (
SELECT DATE_TRUNC( ' DAY ' , window.end) AS day,
AVG(percent_null) AS avg_null
FROM prod_catalog.prod_schema.customer_data_profile_metrics
GROUP BY DATE_TRUNC( ' DAY ' , window.end)
)
SELECT day, avg_null
FROM daily_avg
ORDER BY day DESC
LIMIT 3
Alert Condition: ALL avg_null > 5 for the latest 3 rows
Notification Frequency: Just once B. SELECT AVG(percent_null) AS daily_avg
FROM prod_catalog.prod_schema.customer_data_profile_metrics
WHERE window.end > = CURRENT_TIMESTAMP - INTERVAL ' 3 ' DAY
Alert Condition: daily_avg > 5
Notification Frequency: Each time alert is evaluated C. SELECT SUM(CASE WHEN percent_null > 5 THEN 1 ELSE 0 END) AS violation_days FROM prod_catalog.prod_schema.customer_data_profile_metrics WHERE window.end > = CURRENT_TIMESTAMP - INTERVAL ' 3 ' DAY Alert Condition: violation_days > = 3 Notification Frequency: Just once D. SELECT percent_null
FROM prod_catalog.prod_schema.customer_data_profile_metrics
WHERE window.end > = CURRENT_TIMESTAMP - INTERVAL ' 1 ' DAY
Alert Condition: percent_null > 5
Notification Frequency: At most every 24 hours

Correct Answer: A

Explanation: Only visible for TrainingDump members. You can sign-up / login (it's free).

Question 3

PySpark에서 ETL 코드에 DataFrame.transform을 사용하는 모듈식 및 테스트 가능한 방법을 보여주는 접근 방식은 무엇입니까?

A. def transform_data(input_df):
# transformation logic here
return output_df
test_input = spark.createDataFrame([(1, " a " )], [ " id " , " value " ]) assertDataFrameEqual(transform_data(test_input), expected) B. def upper_value(df):
return df.withColumn( " value_upper " , upper(col( " value " )))
def filter_positive(df):
return df.filter(df[ " id " ] > 0)
pipeline_df = df.transform(upper_value).transform(filter_positive) C. def upper_transform(df):
return df.withColumn( " value_upper " , upper(col( " value " )))
actual = test_input.transform(upper_transform)
assertDataFrameEqual(actual, expected) D. class Pipeline:
def transform(self, df):
return df.withColumn( " value_upper " , upper(col( " value " )))
pipeline = Pipeline()
assertDataFrameEqual(pipeline.transform(test_input), expected)

Correct Answer: B

Explanation: Only visible for TrainingDump members. You can sign-up / login (it's free).

Question 4

팀의 주니어 데이터 엔지니어가 다음 코드 블록을 구현했습니다.

뷰 `new_events`에는 `events Delta` 테이블과 동일한 스키마를 가진 레코드 배치가 포함되어 있습니다. `event_id` 필드는 이 테이블의 고유 키 역할을 합니다.
이 쿼리가 실행될 때, 기존 레코드와 동일한 event_id를 가진 새 레코드는 어떻게 처리됩니까?

A. 병합되었습니다. B. 삭제되었습니다. C. 업데이트되었습니다. D. 삽입됩니다. E. 그들은 무시당합니다.

Correct Answer: E

Explanation: Only visible for TrainingDump members. You can sign-up / login (it's free).

Question 5

현재 활성화된 클러스터의 모든 노드에 노트북 수준의 범위로 Python 패키지를 설치하는 방법은 무엇입니까?

A. 노트북 설정 스크립트에서 source env/bin/activate를 실행합니다. B. 클러스터 UI를 사용하여 PyPi에서 라이브러리 설치 C. 노트북 셀에서 사용 및 Pip 설치 D. 노트북 셀에서 사용 및 설치

Correct Answer: C

Explanation: Only visible for TrainingDump members. You can sign-up / login (it's free).

Question 6

Databricks Auto Loader의 기본 실행 모드를 설명하는 문장은 무엇입니까?

A. 웹훅 트리거를 통해 소스 디렉터리에 새 데이터가 도착할 때마다 Databricks 작업이 실행됩니다. 새 데이터는 데이터에서 추론된 규칙을 사용하여 대상 테이블에 자동으로 병합됩니다. B. 새 파일은 입력 디렉터리 목록을 통해 식별되며, 새 파일은 대상 Delta Lake 테이블에 점진적으로 그리고 멱등적으로 로드됩니다. C. 새 파일은 입력 디렉터리를 나열하여 식별하고, 대상 테이블은 소스 디렉터리의 모든 유효한 파일을 디렉터리 쿼리하여 구체화합니다. D. 클라우드 공급업체별 큐 스토리지 및 알림 서비스가 구성되어 새로 도착하는 파일을 추적합니다. 새 파일은 대상 Delta Lake 테이블에 점진적으로 그리고 비활성 상태로 저장됩니다.

Correct Answer: B

Explanation: Only visible for TrainingDump members. You can sign-up / login (it's free).

Question 7

마케팅팀은 영업팀과 집계 테이블 형태로 데이터를 공유하려고 하지만, 두 팀에서 사용하는 필드 이름이 일치하지 않고, 마케팅 관련 필드 중 일부는 영업팀의 승인을 받지 못했습니다.
다음 중 간결성을 강조하면서 상황을 해결하는 방법은 무엇입니까?

A. 현재 운영 파이프라인에 병렬 테이블 쓰기 기능을 추가하여 마케팅 테이블의 요구 사항에 따라 달라지는 새로운 판매 테이블을 업데이트합니다. B. 마케팅 테이블에서 영업팀에서 승인한 필드만 선택하여 뷰를 생성하고, 영업 명명 규칙에 따라 표준화해야 하는 필드 이름에는 별칭을 지정합니다. C. 필요한 스키마로 새 테이블을 생성하고 Delta Lake의 DEEP CLONE 기능을 사용하여 한 테이블에 커밋된 변경 사항을 해당 테이블에 동기화합니다. D. CTAS 문을 사용하여 마케팅 테이블에서 파생 테이블을 생성하고, 변경 사항을 전파하기 위해 프로덕션 JON을 구성합니다.

Correct Answer: B

Explanation: Only visible for TrainingDump members. You can sign-up / login (it's free).

Question 8

아래 쿼리를 사용하여 Delta Lake 테이블이 생성되었습니다.

다음 질문을 고려해 보세요.
DROP TABLE prod.sales_by_store -
워크스페이스 관리자가 이 명령문을 실행하면 어떤 결과가 발생할까요?

A. COMMIT 명령이 실행될 때까지 아무 일도 일어나지 않습니다. B. 해당 테이블은 카탈로그에서 제거되지만 데이터는 저장소에 남아 있습니다. C. Delta Lake에서 운영 데이터 삭제를 방지하므로 오류가 발생합니다. D. 데이터는 삭제된 것으로 표시되지만 타임 트래블을 통해 복구할 수 있습니다. E. 해당 테이블은 카탈로그에서 제거되고 데이터는 삭제됩니다.

Correct Answer: E

Explanation: Only visible for TrainingDump members. You can sign-up / login (it's free).

Question 9

데이터 아키텍트는 두 개의 구조화된 스트리밍 작업이 하나의 브론즈 델타 테이블에 동시에 데이터를 기록하는 시스템을 설계했습니다. 각 작업은 Apache Kafka 소스의 서로 다른 토픽을 구독하지만, 동일한 스키마를 사용하여 데이터를 기록합니다. 디렉터리 구조를 단순하게 유지하기 위해 데이터 엔지니어는 두 스트림이 공유하는 체크포인트 디렉터리를 중첩하기로 결정했습니다.
제안된 디렉토리 구조는 아래와 같습니다.

주어진 시나리오에서 이 체크포인트 디렉터리 구조가 유효한지 여부를 설명하는 문장은 무엇이며, 그 이유는 무엇입니까?

A. 예; Delta Lake는 무제한 동시 쓰기 작업을 지원합니다. B. 아니요, Delta Lake 테이블에 쓰기 작업을 수행할 수 있는 스트림은 하나뿐입니다. C. 아니요, 각 스트림마다 자체 체크포인트 디렉터리가 필요합니다. D. 예, 두 스트림 모두 하나의 체크포인트 디렉토리를 공유할 수 있습니다. E. 아니요; Delta Lake는 트랜잭션 로그에서 스트리밍 체크포인트를 관리합니다.

Correct Answer: C

Explanation: Only visible for TrainingDump members. You can sign-up / login (it's free).

Question 10

다음 코드는 기존 워크로드에서 Databricks 노트북으로 마이그레이션되었습니다.

코드는 성공적으로 실행되어 논리적으로 올바른 결과를 제공하지만, 약 1GB의 데이터를 추출하고 불러오는 데 20분 이상이 소요됩니다.
다음 중 이러한 행동에 대한 가능한 설명은 무엇입니까?

A. 클론하는 대신, `%sh pip install` 명령어를 사용하여 Python 코드가 클러스터의 모든 노드에서 병렬로 실행될 수 있도록 해야 합니다. B. %sh는 드라이버 노드에서 셸 코드를 실행합니다. 이 코드는 워커 노드나 Databricks 최적화 Spark의 이점을 활용하지 않습니다. C. Databricks 환경에서 Python은 항상 Scala보다 느리게 실행됩니다. run.py 스크립트를 Scala로 리팩토링해야 합니다. D. %sh는 Git을 수집 및 설치하기 위해 클러스터 재시작을 트리거합니다. 지연 시간의 대부분은 클러스터 시작 시간과 관련이 있습니다. E. %sh는 파일 이동 작업을 분산 처리하지 않습니다. 마지막 코드 줄을 %fs를 사용하도록 업데이트해야 합니다.

Correct Answer: B

Explanation: Only visible for TrainingDump members. You can sign-up / login (it's free).

Question 11

신입 데이터 엔지니어가 silver_device_recordings라는 Lakehouse 테이블에 대한 로직을 구현하는 작업을 진행하고 있습니다.
원본 데이터는 고도로 중첩된 JSON 구조에 100개의 고유 필드를 포함하고 있습니다.
silver_device_recordings 테이블은 여러 필드를 기준으로 매우 선택적인 조인을 수행하는 데 사용될 것이며, 머신 러닝 팀에서도 관련 필드를 기준으로 필터링하는 데 활용될 것입니다. 총 15개의 필드가 필터링 및 조인 로직에 자주 사용될 것으로 예상됩니다.
데이터 엔지니어는 테이블 스키마를 선언하기 전에 이러한 중첩 필드를 처리하는 최적의 접근 방식을 결정하려고 합니다.
다음 중 Delta Lake와 Databricks에 대한 정보를 정확하게 제시하여 그들의 의사 결정 과정에 영향을 미칠 수 있는 것은 무엇입니까?

A. Databricks에서 사용하는 Tungsten 인코딩은 문자열 데이터 저장에 최적화되어 있습니다. JSON 문자열 쿼리에 대한 새로운 네이티브 지원이 추가되어 문자열 유형이 항상 가장 효율적입니다. B. Delta Lake는 기본적으로 테이블의 처음 32개 열에 대한 통계를 수집합니다. 이러한 통계는 선택적 쿼리를 실행할 때 데이터 건너뛰기에 활용됩니다. C. Delta Lake는 데이터 저장에 Parquet을 사용하기 때문에 Dremel 인코딩 정보를 사용한 중첩 구조를 Delta 트랜잭션 로그에서 직접 참조할 수 있습니다. D. Databricks의 스키마 추론 및 진화 기능은 추론된 유형이 하위 시스템에서 사용되는 데이터 유형과 항상 정확하게 일치하도록 보장합니다.

Correct Answer: B

Explanation: Only visible for TrainingDump members. You can sign-up / login (it's free).

Databricks Certified Professional Data Engineer Exam (Databricks-Certified-Professional-Data-Engineer Korean Version) - Databricks-Certified-Professional-Data-Engineer Korean Exam Practice Test