프로젝트 배경
1. 문제점: 전통적인 화학 실험 교육은 위험 물질 취급 및 비용 문제로 실습 기회가 제한됨.
2. 프로젝트 목표: 안전하면서도 몰입감 있는 화학 실험 환경을 제공하기 위해, 사용자가 실세계에서 도구를 다루는 물리적 경험과 가상 시뮬레이션을 접목한 새로운 인터페이스 개발.
3. 주안점: 정밀한 센서 데이터 처리 (액체량, 온도, 혼합 속도 등)와 이에 대응하는 실시간 그래픽 피드백 동기화, 여러 종류의 물리 도구 간 무선 통신 및 PC 연동, 실험 결과의 시각적 명료성 확보.
2. 프로젝트 목표: 안전하면서도 몰입감 있는 화학 실험 환경을 제공하기 위해, 사용자가 실세계에서 도구를 다루는 물리적 경험과 가상 시뮬레이션을 접목한 새로운 인터페이스 개발.
3. 주안점: 정밀한 센서 데이터 처리 (액체량, 온도, 혼합 속도 등)와 이에 대응하는 실시간 그래픽 피드백 동기화, 여러 종류의 물리 도구 간 무선 통신 및 PC 연동, 실험 결과의 시각적 명료성 확보.
프로젝트 성과
학술 발표 및 영향
해당 연구는 `ACM CHI 2011`에 채택되어 논문으로 발표되었으며 Tangible User Interface 분야에서 혁신적인 사례로 인용되었다
프로토타입 검증
CheMO 시스템 프로토타입을 통해 다수의 사용자 실험을 진행, 높은 학습 몰입도와 만족도를 확인하였다. 피험자들은 실제 실험을 하는 듯한 생생함을 느꼈다고 응답
핵심 기능

혼합 객체(MO) 기반 상호작용
물리적 실험 도구(비커, 시험관)에 부착된 센서로 사용자의 동작(액체 붓기, 가열 등)을 감지, 사용자는 실제 실험하듯 조작하고 시스템은 해당 동작을 인식하여 가상 반응을 생성

실시간 화학 반응 시뮬레이션
MO 비커 두 개에 서로 다른 용액을 담고 혼합하면, 센서가 부어진 양과 속도를 측정하여 컴퓨터 화면에 용액 색 변화, 연기 발생 등 화학 반응을 즉시 렌더링
진행 단계
연구 설계
2010.08.
화학교육 전문가와 협업하여 요구사항 정의 (재현할 실험 종류, 필요한 도구와 데이터 등). Tangible Interface 선행 연구 조사, CheMO의 개념 및 시스템 구성 도식화
하드웨어 인터페이스 개발
2010.09.
Arduino 및 각종 센서(pH 센서, 온도센서, 가속도계 등)를 사용하여 물리 도구 시제품 제작. PC와의 통신 프로토콜(C# 시리얼 통신) 설계, 센서 캘리브레이션 및 필터링 알고리즘 구현.
소프트웨어 시뮬레이션 개발
2011.01.
C#과 WPF/Unity3D를 활용하여 가상 실험실 화면 구현. 액체 혼합, 온도 변화 등 화학 반응 모델링을 프로그램으로 작성하고, 실시간 그래픽으로 표현
사용자 평가 및 논문화
2011.04.
대학생 대상 시스템 사용성 평가 실시, 설문과 인터뷰 통해 교육 효과 분석. 프로젝트 결과를 종합하여 학회 논문 작성 및 제출, CHI 2011에서 발표 진행
프로젝트 상세
1) 포트폴리오 소개
- 서비스 카테고리: 혼합현실(MR) · 에듀테크 · 인터랙티브 HCI
- 메인 타깃: 대학/고교 실험 수업, 과학관/박물관 체험 전시, HCI·교육공학 연구자
- 한 줄 소개: 물리 실험 도구(비커·스포이드 등)와 가상 화학 반응 시뮬레이션을 실시간으로 결합한 CheMO 혼합현실 교육 시스템
- 성과/적용: ACM CHI 2011 논문 발표, 차세대 교육용 인터페이스로 주목
2) 작업 범위 (역할 및 지원환경)
담당 역할
- 소프트웨어 아키텍처 설계/구현 총괄
- 하드웨어 연동: Arduino 기반 센서/액추에이터 입력 파이프라인 설계
- 실시간 처리: 사용자 조작 인식 → 시뮬레이션 연동 → 시각화 렌더링
- 데이터 동기화/오류 처리: 센서 보정, 노이즈 필터링, 상태 관리
지원환경
- 디바이스: Arduino + 센서가 장착된 MO(Mixed Object) 실험 도구
- 플랫폼: PC 애플리케이션(실시간 시뮬레이션/그래픽 렌더링), 온프레미스 설치형
3) 주요 업무 (핵심 기능/페이지)
MO 디바이스 입력 처리
- 액체 붓기·이동·각도 변화 등 연속적 센서 신호 수집/정규화
- 사용자의 조작 이벤트를 의미 단위 제스처로 해석
가상 화학 반응 시뮬레이션
- 혼합·농도 변화·온도/시간 변수 반영한 반응 모델 실행
- 실시간 시각화(액체 높이/색 변화, 혼합 애니메이션)로 피드백 제공
동기화/안전 가드
- 물리 객체 상태와 가상 상태의 프레임 단위 동기화
- 비정상 값/센서 드리프트 감지 시 폴백/보정 로직 적용
데모/수업 모드
- 실습 시나리오 로딩, 단계별 안내/힌트, 결과 로그 저장
4) 주안점 (중점 사항)
- 실시간성 & 정확도: 센서 노이즈를 고려한 저지연 파이프라인과 보정으로 몰입도 확보
- 물리–가상 매핑의 일관성: 사용자 조작이 예측 가능하게 시뮬레이션에 반영되도록 매핑 규칙 표준화
- 교육 효과성: 개념 이해를 돕는 **가시화(색상·높이·혼합 패턴)**와 단계별 피드백 설계
- 안전/안정성: 오동작 감지·예외 처리 및 안전 가드(최대 주입량, 비정상 상태 롤백)
- 확장성: 센서/도구 추가가 쉬운 모듈형 아키텍처로 다양한 실험 시나리오 확장 가능
- 서비스 카테고리: 혼합현실(MR) · 에듀테크 · 인터랙티브 HCI
- 메인 타깃: 대학/고교 실험 수업, 과학관/박물관 체험 전시, HCI·교육공학 연구자
- 한 줄 소개: 물리 실험 도구(비커·스포이드 등)와 가상 화학 반응 시뮬레이션을 실시간으로 결합한 CheMO 혼합현실 교육 시스템
- 성과/적용: ACM CHI 2011 논문 발표, 차세대 교육용 인터페이스로 주목
2) 작업 범위 (역할 및 지원환경)
담당 역할
- 소프트웨어 아키텍처 설계/구현 총괄
- 하드웨어 연동: Arduino 기반 센서/액추에이터 입력 파이프라인 설계
- 실시간 처리: 사용자 조작 인식 → 시뮬레이션 연동 → 시각화 렌더링
- 데이터 동기화/오류 처리: 센서 보정, 노이즈 필터링, 상태 관리
지원환경
- 디바이스: Arduino + 센서가 장착된 MO(Mixed Object) 실험 도구
- 플랫폼: PC 애플리케이션(실시간 시뮬레이션/그래픽 렌더링), 온프레미스 설치형
3) 주요 업무 (핵심 기능/페이지)
MO 디바이스 입력 처리
- 액체 붓기·이동·각도 변화 등 연속적 센서 신호 수집/정규화
- 사용자의 조작 이벤트를 의미 단위 제스처로 해석
가상 화학 반응 시뮬레이션
- 혼합·농도 변화·온도/시간 변수 반영한 반응 모델 실행
- 실시간 시각화(액체 높이/색 변화, 혼합 애니메이션)로 피드백 제공
동기화/안전 가드
- 물리 객체 상태와 가상 상태의 프레임 단위 동기화
- 비정상 값/센서 드리프트 감지 시 폴백/보정 로직 적용
데모/수업 모드
- 실습 시나리오 로딩, 단계별 안내/힌트, 결과 로그 저장
4) 주안점 (중점 사항)
- 실시간성 & 정확도: 센서 노이즈를 고려한 저지연 파이프라인과 보정으로 몰입도 확보
- 물리–가상 매핑의 일관성: 사용자 조작이 예측 가능하게 시뮬레이션에 반영되도록 매핑 규칙 표준화
- 교육 효과성: 개념 이해를 돕는 **가시화(색상·높이·혼합 패턴)**와 단계별 피드백 설계
- 안전/안정성: 오동작 감지·예외 처리 및 안전 가드(최대 주입량, 비정상 상태 롤백)
- 확장성: 센서/도구 추가가 쉬운 모듈형 아키텍처로 다양한 실험 시나리오 확장 가능

