[강남언니] AI Research Engineer - Agent Evaluation 인턴 (체험형)

주요 업무

• 언니 AI의 정확성·안전성·근거 적절성 등 평가 기준 구체화 및 평가 데이터셋 구축·관리
• AI 에이전트의 답변과 실행 기록(trace)을 분석해 검색·도구 호출·맥락 활용 등의 실패 유형 분류
• Python으로 평가 실행과 결과 분석을 자동화하고 변경 전후 성능 비교
• LLM-as-a-judge 평가를 사람 판단과 비교해 불일치 원인·편향 분석 및 평가 방식 개선
• 평가 결과와 실패 사례를 정리해 개선 우선순위 제안, 오프라인 평가와 실제 유저 행동 지표의 관계 검증

자격 요건

• 컴퓨터공학·인공지능·통계 등 관련 분야 학습 또는 이에 준하는 학습·프로젝트 경험
• 모호한 AI 품질 문제를 구체적 평가 기준으로 바꾸고 판단이 어려운 사례를 팀과 논의할 수 있는 역량
• 집계 지표뿐 아니라 원본 대화와 개별 결과를 꼼꼼히 살펴보는 태도
• LLM의 기본 동작과 한계를 이해하고 답변 오류를 근거와 함께 설명할 수 있는 능력
• Python으로 데이터를 가공하고 API를 활용한 실험·평가 코드를 작성할 수 있는 능력

기술 · 도구 — 3개 전부

우대 사항

• ACL, EMNLP, NeurIPS 등 학회에 벤치마크·평가 관련 논문을 저자로 게재한 경험
• 벤치마크 또는 평가 데이터셋을 직접 구성해본 경험
• LLM-as-a-judge를 사람의 평가와 비교하거나 평가 오류를 분석해본 경험
• AI 라벨링 가이드 제작 또는 평가자 간 판단 차이 분석 경험
• 미용의료·헬스케어 서비스에 대한 관심 또는 이해

근무 조건

근무지

서울

경력

신입

마감

상시 채용 · 마감일 없음

처음 확인

2026-11-05