아이언맨과 같은 공상과학영화처럼 자연스러운 제스처로 컴퓨팅 디바이스와 인터랙션할 수 있는 미래는 언제쯤 현실로 다가올 수 있을까? 우리 학부 연구진이 웨어러블 기기에서의 자연스럽고 풍부한 입력을 가능하게 하는 AI 기술을 개발했다.
이안오클리 교수 연구팀은 무선 이어폰에서의 터치 손가락 구분 시스템인 BudsID와 상용 스마트워치에서의 공중제스처 입력을 가능케 하는 SonarSelect 시스템을 개발하였다. 본 두 편의 연구 결과는 4월 26일부터 5월 1일까지 일본 요코하마에서 열린 인간-컴퓨터 상호작용 분야 세계 최고 권위의 국제학술대회인 CHI(ACM Conference on Human Factors in Computing Systems)에서 각각 ‘Earables and Hearable’ 세션과 ‘Interaction Techniques’ 세션에서 발표되었다.
BudsID는 자기장 센싱을 활용하여 착용한 자석반지로부터 터치 시 달라지는 자기장의 변화를 간단한 딥러닝을 통해 감지하여 터치한 손가락을 구분하고, 구분된 터치 손가락에 다른 기능을 매칭하는 시스템을 통해 무선 이어버드에서의 입력 표현성을 증대시켰다.
이러한 블루투스 이어폰에서의 자기장 센싱을 통한 손가락 구분 시스템은, 각각의 터치 손가락에 다른 기능 혹은 입력 키 맵핑을 통해 기존의 재생, 정지, 전화 착수신에 그쳤던 무선 이어폰 인터랙션을 미디어 컨트롤 뿐 아니라 증강 현실 기기 조작까지 확장해 나갈 수 있다.
또한, SonarSelect는 능동 소나 센싱을 활용하여 상용 스마트워치에 내장된 마이크, 스피커, 모션 센서만을 활용하여 기기 주변부의 공중 제스처를 인식하여 정밀한 포인터 조작 및 타겟 선택 시스템을 구현하였다.
이러한 스마트워치에서의 능동 소나를 이용한 공중 손가락 움직임에 따른 인터랙션 기술은 기존의 스마트워치의 작은 스크린 및 터치 시 화면 가림 문제와 같은 불편한 인터랙션을 개 선하여 3D 공간에서의 섬세한 공간 상호작용으로 이끌어 낼 수 있다.
두 논문의 주저자로 참여한 김지완 학생은 ‘본 연구들을 통한 기기 주변부 센싱 활용 웨어러블 기기에서의 인터랙션 기술 개발에 대한 연구는 미래 웨어러블 컴퓨팅 기기와의 인터랙션 방법의 혁신에 방향성을 제시할 것으로 기대한다’고 전했다.
이안 오클리 교수 연구팀은 두 프로젝트의 시스템을 모두 오픈소스로 공개하여 연구자 및 산업팀에서 해당 기술을 무료로 활용할 수 있도록 하였다.
[BudsID]
- 논문명 : BudsID: Mobile-Ready and Expressive Finger Identification Input for Earbuds
- 저자: Jiwan Kim, Mingyu Han, and Ian Oakley
- DOI : https://dl.acm.org/doi/10.1145/3706598.3714133
- 오픈소스: https://github.com/witlab-kaist/BudsID
[SonarSelect]
- 논문명 : Cross, Dwell, or Pinch: Designing and Evaluating Around-Device Selection Methods for Unmodified Smartwatches.
- 저자: Jiwan Kim, Jiwan Son, and Ian Oakley
- DOI : https://dl.acm.org/doi/10.1145/3706598.3714308
- 오픈소스: https://github.com/witlab-kaist/SonarSelect
본 연구는 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원 (2023R1A2C1004046, RS-2024-00407732)과 정보통신기획평가원-대학ICT연구센터(ITRC)의 지원 (IITP-2024-RS-2024-00436398)을 받아 수행된 연구이다.
