데이터 엔지니어(Back & Pipeline)

[안내 사항]

본 직무는 대규모 분석 인프라 환경 구축보다는, 외부 데이터 입수/가공 프로그램 개발 및 배치 스케줄링 관리에 집중된 포지션입니다.

[채용 개요]

우리 팀은 다양한 외부 소스로부터 산재된 데이터를 수집하고, 이를 가공하여

서비스의 근간이 되는 핵심 데이 터베이스로 정형화하는 고도화된 데이터 파이프라인을 구축하고 있습니다.

데이터 제공처마다 데이터 포맷과 인터페이스 환경이 다르기 때문에, 상황에 맞는 특화된 입수 프로그램 설계 부터 안정적인 배치(Batch) 처리 및 스케줄링 시스템 구축이 우리 업무의 핵심입니다. 더불어, 정형화가 까다 로운 비정형 데이터 처리나 파이프라인 효율화가 필요한 영역에는 LLM 등 AI 기술을 적재적소에 유연하게 접목하여 문제를 해결해 나가고 있습니다.

다양한 인프라 환경과 인터페이스를 넘나들며 확장 가능한 데이터 아키텍처를 함께 완성해 나갈 집요하고 논 리적인 엔지니어를 찾습니다.

[주요업무]

맞춤형 데이터 입수 및 파이프라인 개발: 외부 연동처의 인터페이스 환경(API, SFTP, 웹 크롤링, 파일 인 터페이스 등)을 조율하고, 각 상황에 특화된 수집 프로그램 및 데이터 파이프라인 개발
배치 및 스케줄링 시스템 운영: 대용량/다량의 데이터 입수 작업을 안정적으로 관리하기 위한 배치 처리 로직 구현 및 워크플로우 스케줄링(Airflow, AWS EventBridge 등) 최적화
AI 기반 데이터 가공 및 파이프라인 고도화: 전통적인 ETL 방식으로 해결하기 어려운 비정형 데이터 처 리, 분류, 추출 프로세스에 LLM이나 프롬프트 엔지니어링 등 AI 기술을 활용한 자동화
데이터 아키텍처 고도화 및 품질 관리: 서비스 DB와의 정합성을 보장하는 스케줄링 설계, 파이프라인 전 과정에서의 데이터 유실 방지 및 에러 핸들링 프로세스 자동화

[필수자격요건]

데이터 엔지니어, 데이터 파이프라인 등 유관 경력 3년~7년 보유자
Python 활용 능력: 데이터 수집/가공 프로그램 개발 및 배치 스케줄링 구현을 위한 Python 프로그래밍 에 능숙하신 분
AWS 기반 환경 경험: AWS 서비스(Lambda, ECS, S3, RDS 등)를 활용한 서버리스 및 클라우드 데 이터 처리 환경 구축 경험
다양한 인터페이스 연동 경험: 외부 API, 파일 전송 등 이기종 시스템 간의 데이터 연동 및 특화된 입수 프로세스를 직접 설계하고 조율해 보신 분
DB 및 데이터 모델링 이해도: RDBMS(PostgreSQL)에 대한 깊은 이해를 바탕으로 효율적인 데이터 정형화 및 스케줄링 최적화가 가능하신 분
유연한 문제 해결 역량: 고정된 방식만 고집하지 않고, 상황에 따라 전통적인 배치 방식과 최신 AI/LLM 도구를 적절히 선택하여 파이프라인을 커스텀할 수 있는 분

[우대사항]

Apache Airflow를 활용한 파이프라인 스케줄링 및 운영 경험이 있으신 분
OpenAI API, LangChain 등을 활용해 데이터를 파싱하거나 프롬프트 엔지니어링을 파이프라인에 적용 해 본 경험이 있으신 분
대규모 데이터 마이그레이션 또는 이기종 데이터 동기화 경험이 있으신 분
인프라 코드화(IaC, Terraform)를 통한 파이프라인 인프라 관리에 익숙하신 분
금융 도메인의 데이터 특성(정합성, 보안 등)을 이해하고 다뤄보신 분

[Team Culture]

Process First: 우리는 외부 연동처와의 인터페이스 조율부터 내부 개발까지, 주먹구구식이 아닌 명확 한 정의와 프로세스에 기반한 설계를 중시합니다.
Logical & Flexible: 기술적인 문제나 까다로운 데이터 연동 상황에 직면했을 때, 감정보다는 데이터와 논리에 근거하여 해결책을 찾으며 최적의 도구(배치vs AI)를 유연하게 선택합니다.
Reliability: 우리가 다루는 데이터가 서비스의 신뢰도와 직결됨을 인지하고, 스케줄링의 정확성과 높은 기준의 완성도를 추구합니다.

[조직 소개]

NICE인베스팅은 자본시장에 특화된 정보 제공과 지수(Index) 사업을 전문으로 하는, NICE평가정보(주)에서 100% 출자하여 설립한 자회사입니다.
실질적이고 신뢰할 수 있는 정보, 안정적이고 효율적인 서비스 제공을 통하여 자본시장 참여자들이 믿고 활용할 수 있는 기준과 근거를 제공하는 기업이 되는 것을 목표로 합니다.

[채용 절차]

서류전형 > 면접(실무/임원) > 처우협의/신원조회/건강검진 > 최종합격
지원서 접수: 적격자 채용 시 조기 마감될 수 있습니다.
전형 프로세스, 채용 일정 및 입사 예정 시기는 당사 사정에 따라 변경될 수 있습니다.