1. 문제점

• LLM 응답 품질은 Retrieval 방식, Prompt 구성, Generator 선택에 따라 매우 달라지지만, 이를 체계적으로 실험/비교할 수 있는 툴이 부재
• 다양한 모듈 조합을 실험하려면 수작업 설정 및 수기 비교가 필요해 시간과 리소스 낭비가 큼
• 테스트 결과를 대시보드로 시각화하거나 최종 결과를 실서비스에 연결할 수 없음

2. 목표

• 모듈형 RAG 파이프라인을 구성하고 다양한 조합을 자동으로 테스트할 수 있는 플랫폼 구축
• 평가 결과를 시각적으로 제공하고, 최적 조합을 챗봇 형태로 실배포할 수 있는 자동화 연계 시스템 구축
• AWS 클라우드 기반으로 확장성과 안정성 확보

3. 주안점

• Retrieval, Reranker, Prompt, Generator 등 구성 요소별 성능 지표 정의 및 평가 로직 설계
• 테스트 자동화 및 병렬 실행 환경 구축
• 최적 조합 자동 추천 알고리즘 포함
• 결과 시각화 대시보드 및 챗봇 배포 자동화 연동

해당 프로젝트는 고객사가 자체적으로 연구·운영하는 다양한 LLM 기반 응용 시스템에서 가장 적합한 RAG 파이프라인 구성을 평가하고 최적화할 수 있도록 돕는 내부 툴을 구축하는 것이 목표였습니다.

기존에는 다양한 RAG 조합(Retrieval strategy, Re-ranker, Generator 등)을 수작업으로 실험하며 비교 분석하고 있었기에, 저희는 평가 항목을 체계화하고 자동화할 수 있는 모듈형 RAG 평가 플랫폼을 설계했습니다.

사용자가 구성한 파이프라인을 테스트하면, 시스템이 자동으로 Retrieval Precision, Response Coherency, Token Cost, Latency 등의 항목을 측정하고, 결과를 시각화된 대시보드로 제공합니다.
또한 최적 평가 결과를 기반으로 한 챗봇 인터페이스 자동 배포 기능까지 포함하여, 연구뿐 아니라 실제 서비스 적용까지 고려한 설계로 높은 만족도를 이끌어냈습니다.