AI Engineer (Serving)
TOSS · AI Platform 팀
AI Engineer (Serving)
TOSS
22
0
0
ML_AILLMMACHINE_LEARNINGDEVOPS
미지정
정규직
사무실 근무
진행중
Seoul
22
0
0
정규직
사무실 근무
Seoul
AI Platform 팀은 토스 전반의 AI 활용을 지원하며 대규모 LLM 및 embedding 모델의 안정적인 실시간 서빙 환경을 구축하고 운영하는 역할을 담당합니다.
이 팀은 AI 기술을 빠르고 안정적으로 사용할 수 있는 플랫폼을 만들고, 서빙 프레임워크 성능 개선과 자동화, 모니터링, 오케스트레이션을 통해 AI 시스템의 확장성과 안정성을 확보하는 문제를 해결합니다.
Responsibilities
- •서빙 프레임워크(vLLM, Dynamo, Triton 등) 운영 및 성능 개선
- •대규모 LLM 및 embedding 모델의 실시간 서빙 환경 구축과 모니터링
- •시스템 성능 개선을 위한 리소스 효율성, 추론 속도, 확장성 고려
- •모델 서빙 장애 대응 및 배포 안정성 확보를 위한 오케스트레이션과 자동화
Qualifications
- •Triton, vLLM 등 서빙 프레임워크 운영 및 성능 튜닝 경험
- •GPU 및 LLM 모델 내부 동작 방식 이해 및 운영 경험
- •대규모 LLM 및 embedding 모델 서빙 환경 구축 및 모니터링 경험
- •자동화, 모니터링, 오케스트레이션 경험
- •시스템 성능 개선 및 리소스 최적화 경험
- •모델 서빙 장애 대응 및 배포 안정성 확보 경험
Preferred Qualifications
- •대규모 LLM 또는 embedding 모델 학습/서빙 최적화 및 운영 경험
- •AI/ML 모델 일반화 플랫폼 구축 경험
- •고성능 서빙 및 대규모 트래픽 환경 모델 운영 경험
ℹ️AI가 분류한 데이터입니다. 지원 전 기업 페이지에서 확인해주세요.
💬 질문 및 댓글
댓글 작성은 로그인이 필요합니다
아직 댓글이 없습니다. 첫 댓글을 남겨보세요!