프로젝트 배경
발화를 통한 발음에 대한 문제점, 음성학적인 발육 비교, 음성학적 평가 등을 제공하기 위한 평가 시스템을 구축함에 있다.
보통의 Speech-to-Text(STT)의 경우, 발음된 데이터의 최적의 유사 단어와 문장을 유추하는게 보편적이지만, 발음 및 발화에 대한 문제점을 찾기 위해 원본 발음 그대로 평가하기 위한 녹음 및 분석 , 그리고 음성학적 비교방법에 대한 모델링 점수화등을 개발하여 평가시스템을 구축하는 것이 목표이다.
프로젝트 상세
1-1. 음성 분석 프로그램 프로젝트 개요
발화에 대한 음성 분석 프로그램
유아, 보호자, 언어치료사 대상으로 자연 발화에 데이터를 인식하는 것을 목표로 설정했습니다. 발화에 대한 조음 정확도, 문장길이, 속도 분석이 가능하도록 프로그램 하였습니다.
기반 기술로는 STT(sound to text), 형태소 분석, PCC/PVC 산출 등에 대한 음성 분석 프로그램을 사용합니다.
1-2. 개발 배경 및 필요성
전통 검사 도구는 시간과 비용 부담이 크다는 단점이 있습니다.
보호자, 비전문가 사용이 용이한 플랫폼 필요성 인식하였습니다. 또한, 조기진단 및 언어발달 추적용 도구의 수요가 있었습니다.
1-3. 시스템 구성 및 주요기능
STT를 통한 발화 자동 텍스트 변환이 가능하고, 형태소 분석기를 통한 문장 구조/어휘 수준을 평가할 수 있습니다. 발화 길이, 쉼, 속도 등 파라미터 추출 및 PCC/PVC 지표를 통한 음소 정확도 측정이 가능합니다.
1-4. 시스템 개발 결과
단어, 문장에 대한 발화 정량 분석지표를 적용하였으며, 한국어 최적화 형태소 기반 분석 시스템입니다. 또한, 발화를 통한 음성 분석으로 음성 인식에 대한 결과값 확인 및 추론이 가능합니다.
● 음성 기반 조음 평가
단어·문장 발화를 분석하여 발음 정확도, 오류 유형(첨가·생략·대치), 발화 속도(wpm) 측정 및 분석
● 실시간 STT 비교
발화와 음성 인식 결과(STT)를 비교해 정확도·유창성·음운 점수 산출
2-1. 음성 인식 및 프레이밍 프로그램 프로젝트 개요
음성 분석에서 모음에 의한 분석 자료가 활용도가 높습니다.
모음 식별을 위한 자료, 발화자의 성별 나이 억양 방언등의 추정 자료, 발음의 정확도 평가를 위한 근거자료, 음성 질 변화에 대한 분석 근거 자료(질병 노화 등등)를 분석하기 위한 음성 프레이밍 및 포먼트값 추출 프로그램의 수요가 있었습니다.
2-2. 개발 배경 및 필요성
음성 프레이밍과 포먼트값 추출을 위한 분석 프로그램
음성 녹음 및 음성 파일을 읽습니다. 음성 분석을 위한 적절한 단위 분할(프레이밍)을 목표로 합니다. 프레이밍 단위마다 포먼트값 추출을 통한 모음 특성을 분석합니다.
모음 식별을 위한 자료, 발화자의 성별 나이 억양 방언등의 추정 자료, 발음의 정확도 평가를 위한 근거자료, 음성 질 변화에 대한 분석 근거 자료(질병 노화 등등)의 분석을 목표로 합니다.
2-3. 시스템 구성 및 주요기능
(1)마이크 및 음성 파일을 읽기 기능
(2)음성파일을 짧은 시간으로 나누는 프레이밍
(3)FFT, LPC등 필터를 통한 주파수 특성, 포먼트 주파수 추정
(4)포먼트 추정으로 공명 주파수(F1,F2,F3) 계산 및 CSV저장
2-4. 시스템 개발 결과
포먼트 추출에 대한 CSV 파일 제공
Python 기반인 LPC/FFT 분석. 알고리즘, 실시간 시각화를 통한 음성 형태와 포먼트값 확인이 가능합니다.
포먼트값에 대한 프로그램상 출력 및 CSV파일을 저장합니다.

1. 문장 발화 분석

2. 단어 분석

3. 형태소 분석

4. 단어 조음, 형태 종합 지표 평가

5. 문장 조음, 형태 종합 지표 평가

6. 저장 음성에 대한 포먼트 값 추출

7. 녹음 음성에 대한 포먼트 값 추출

8. CSV 파일 저장