1) 문제점
- 독거노인의 정서 불안 문제가 심화되고 있음
- 이를 해결하기 위한 다양한 제품이 나왔지만, 개인정보보호 문제와 성능의 한계로 판매가 부진함

2) 목표
- 정서 불안 문제를 해결하기 위한 말동무 프로그램 구현
- 개인정보 보호를 위한 On-Device 환경 구축 및 AI 구현
- STT, TTS, LLM을 통합한 사용자 상호작용 구현

3) 주안점
- 외부 인터넷 및 서버를 활용하지 않으므로, 실시간성 유지를 위한 최적화와 On-Deivce 기술을 중점으로 개발함
- STT 과정에서 정확도가 낮을 경우 대화가 불가능 하기 때문에 STT의 정확도 상승을 위한 음성 처리, STT 모델 튜닝을 중점으로 진행함

1) 포트폴리오 소개
- 독거노인의 정서 안정을 위한 말동무 AI 개발 프로젝트입니다.
- 사용자와 AI가 상호작용 하기 위해 STT, TTS, LLM을 통합하여 개발하였습니다.

2) 작업 범위
- 기획 : 노인복지회, 노인 인구가 많은 구청 등을 방문하여 조사 후 요구사항 정의, 활용 기술을 정의하여 전체 구조를 기획하였습니다.
- 개발 : 라즈베리파이 CM4를 기반으로 개발을 진행하였으며, STT, TTS, LLM을 통합하여 On-Device에서 구현하였습니다.

3) 주요 업무 : 해당 서비스의 주요 기능 및 주요 페이지
- 사용자 음성 분석, 전처리, STT를 통한 대화 내용 텍스트 전환
- 사용자 음성 텍스트를 LLM을 통해 이해, 답변 생성
- 생성된 답변을 사용자에게 전달하기 위해 TTS를 통한 음성 전환
- 상시 대기를 위한 LLM 매직 키워드 적용 (예: 친구야, 지니야 등등)
- 개인정보 보호를 위해 외부 인터넷 접근 차단을 위한 On-Device 환경 개발

4) 주안점
- 개인정보 보호를 특히 신경써서 프로젝트를 진행했습니다.
- 이를 위해 On-Device로 개발하였으며, 외부 인터넷과는 단절되어 있습니다.
- 또한 사용자(노인)의 특성상 발음이 명확하지 않을 수 있어 STT의 정확도를 개선하기 위해 음성처리, STT 모델 튜닝 등 작업을 수행하였습니다.