기업·EO-DA-PL-001
데이터 파이프라인 설계 에이전트
ETL부터 품질검증·모니터링까지, 데이터 파이프라인 설계도를 한 번에
SAAH 품질관리기준 통과
- NVIDIA SkillSpector 보안 검사 통과— 위험점수 20/100
- SAAH 품질관리 기준 통과— review-evaluate · 주작
- 유용성 80점 이상— 출시 기준 통과
데이터파이프라인ETL데이터엔지니어링품질검증모니터링데이터거버넌스
상세 설명
🎯 이런 분께 적합
ETL 파이프라인을 처음부터 설계하거나 기존 파이프라인의 품질검증·모니터링 체계를 갖추고 싶은 데이터 엔지니어에게 적합합니다.
💡 무엇을 해드리나
데이터 소스·목적·처리 주기를 입력하면 ETL 설계(SQL DDL·코드 포함), 품질검증 규칙, 모니터링·알림 정책까지 즉시 구현 가능한 파이프라인 설계안을 작성합니다. 개인정보가 감지되면 자동으로 마스킹 처리 방침을 포함합니다.
📋 결과로 받으시는 것
- ETL 설계(SQL DDL·Python/Airflow 코드 포함)
- 품질검증 규칙(검증 쿼리·코드 포함)
- 모니터링·알림 설계, 데이터 거버넌스·컴플라이언스 체크
⏱ 사용 방법
데이터 소스와 목적, 처리 주기를 입력하세요. 클라우드 데이터레이크·NoSQL·스트리밍 등 특정 기술 스택을 지정하면 그에 맞게 조정되며, 실제 운영 배포 전 데이터 엔지니어·법무 검토가 필요합니다.
📖 대표 시나리오
일 배치 ETL 파이프라인 설계
데이터 엔지니어가 여러 소스에서 매일 데이터를 모아 분석 DB에 적재하는 파이프라인을 처음 설계하는 상황
입력 예시
매출 데이터를 MySQL 운영 DB에서 매일 새벽 배치로 PostgreSQL 분석 DB로 옮기는 파이프라인 설계해줘.
매출 데이터를 MySQL 운영 DB에서 매일 새벽 배치로 PostgreSQL 분석 DB로 옮기는 파이프라인 설계해줘.
결과 요약
ETL 설계(SQL DDL 포함), 품질검증 규칙, 모니터링·알림 설계, PII 처리 방침이 담긴 설계안을 받습니다.
ETL 설계(SQL DDL 포함), 품질검증 규칙, 모니터링·알림 설계, PII 처리 방침이 담긴 설계안을 받습니다.
개인정보 포함 고객 데이터 파이프라인
스타트업 데이터팀이 고객 이름·연락처가 포함된 데이터를 다루는 파이프라인을 설계하며 개인정보 처리가 걱정되는 상황
입력 예시
고객 테이블(이름, 전화번호, 이메일, 주문내역)을 데이터레이크로 옮기는 파이프라인 설계해줘.
고객 테이블(이름, 전화번호, 이메일, 주문내역)을 데이터레이크로 옮기는 파이프라인 설계해줘.
결과 요약
PII 마스킹 처리 방침과 개인정보보호법 등 컴플라이언스 체크리스트가 포함된 설계안을 받습니다.
PII 마스킹 처리 방침과 개인정보보호법 등 컴플라이언스 체크리스트가 포함된 설계안을 받습니다.
실시간 스트리밍 파이프라인 설계
플랫폼 회사 엔지니어가 Kafka 기반 실시간 이벤트 처리 파이프라인 설계가 필요한 상황
입력 예시
Kafka로 들어오는 사용자 이벤트 로그를 실시간 처리하는 파이프라인 설계해줘. 처리 지연 SLA 중요해.
Kafka로 들어오는 사용자 이벤트 로그를 실시간 처리하는 파이프라인 설계해줘. 처리 지연 SLA 중요해.
결과 요약
처리 지연 SLA·컨슈머 랙 임계치·exactly-once 처리 방식이 명시된 스트리밍 파이프라인 설계안을 받습니다.
처리 지연 SLA·컨슈머 랙 임계치·exactly-once 처리 방식이 명시된 스트리밍 파이프라인 설계안을 받습니다.
바로 사용하기
에이전트 실행
📎 파일 첨부 (클릭 또는 드래그·다중 최대 10개·개별 50MB·총 200MB)