1. 문제점

• 환자들의 반복적인 문의로 인해 상담 인력이 과부하 상태였음
• 기존 챗봇은 FAQ 수준의 답변만 제공, 실제 의료 데이터 기반의 정밀 응답이 어려움
• 시스템 확장성이 낮고 정확도 또한 신뢰할 수 없는 수준

2. 목표

• 의료 데이터를 벡터화하여 의미 기반 검색이 가능한 RAG 시스템 구축
• LLM 모델 통합을 통해 자연스러운 언어로 응답 제공
• HIPAA 규정을 준수하는 안전한 시스템 설계
• 동시 사용자 처리 성능 확보 및 운영 자동화

3. 주안점

• 비정형 JSON 데이터를 임베딩할 수 있는 인덱싱 파이프라인 설계
• GPU 서버 기반의 고성능 LLM 운영 환경 구축
• 로그 기반 분석 및 실시간 모니터링 시스템 연동 (ELK, Prometheus, Grafana)
• 프롬프트 조정 및 리랭킹 전략 적용으로 응답 신뢰도 향상

해당 프로젝트는 헬스케어 전문 기업이 보유한 자체 데이터베이스를 활용하여 환자 응대 자동화를 위한 LLM 기반 챗봇을 구축하는 것이 목적이었습니다. 기존 시스템은 정형화된 응답만 제공할 수 있었으며, 실제 의료 데이터를 바탕으로 환자 문의에 자연스럽고 정확하게 응답하는 시스템으로의 전환이 요구되었습니다.

저희 해당 요구에 맞춰 RAG 기반 질의응답 시스템을 설계하고, 최신 LLM(Mistral-7B)을 적용하여 자연어 질의에 대한 의미 기반 응답을 생성할 수 있는 맞춤형 AI 파이프라인을 구축했습니다.

Semantic Search, 벡터 임베딩, 프롬프트 최적화를 통해 신뢰도 높은 응답을 제공하며, Kubernetes 환경에서 확장 가능한 API로 배포되어 10,000명 이상의 동시 사용자 처리가 가능하도록 구현되었습니다.

모든 시스템은 HIPAA(미국 의료정보보호법) 규정에 맞춰 설계되어 데이터 보안 및 환자 정보 보호 요건을 만족시켰습니다.