BBB: AI와 사람이 함께 만드는 새로운 통역 서비스
1 Overview
- BBB Korea 통역 자원봉사 앱을 리디자인한 뒤, 기존 서비스가 AI 시대에 어떤 방향으로 발전할 수 있을지 탐색한 후속 콘셉트 프로젝트입니다. 단순하고 반복적인 번역은 AI가 빠르게 처리하고 문화적 맥락과 높은 신뢰가 필요한 순간에는 사람이 개입하는 하이브리드 통역 경험을 제안했습니다.
- 최종 서비스는 통역 요청의 맥락 전달, 다자간 대화와 수어 통역, 사용 이력 기반 언어 가이드, 도움과 기여의 시각화라는 네 가지 경험으로 구성했습니다. 프로젝트는 2023 Red Dot Award: Brands & Communication Design의 Apps 부문 Winner로 선정되었습니다.
- 역할: 팀 아이디에이션 전반에 참여했습니다. 봉사자에게 감사를 전하는 경험과 다자간 통역, 수어 통역 아이디어를 제안했습니다. 다자간 통역은 개인 오디오 기기의 보편화를 가정했습니다. 이후 다자간 대화와 수어 통역 기능의 UI 디자인을 담당했습니다.
2 Context
BBB Korea는 언어 도움이 필요한 사용자와 자원봉사 통역사를 전화로 연결하는 통역 서비스입니다. 이 프로젝트는 BBB Korea의 사용자 앱과 봉사자 앱 리디자인 작업 이후에 시작되었습니다. 앞선 작업이 현재 서비스의 정보 구조와 사용성을 개선하는 데 초점을 맞췄다면 후속 프로젝트에서는 자동 번역과 대화형 AI가 보편화된 환경에서 사람 중심 통역 서비스가 맡아야 할 역할을 다뤘습니다.
“AI가 기본적인 번역을 처리할 수 있다면, 사람 통역사는 어떤 순간에 가장 큰 가치를 제공해야 하는가?”라는 질문에서 출발했습니다. 또 긴급한 상황에서 한 번 통역을 받고 앱을 떠나는 경험이 지속적인 언어 학습과 문화 교류, 봉사 참여로 이어질 가능성도 살펴봤습니다.
기존 서비스의 사용자 리뷰와 관련 문헌을 검토하여 다음 문제에 주목했습니다.
- 통역사가 연결된 뒤에야 사용자의 위치, 목적, 긴급도를 파악할 수 있어 대화 초반에 상황 설명이 반복될 수 있습니다.
- 문장을 문자 그대로 번역하더라도 슬랭, 관용 표현, 억양, 현지의 문화 규범은 충분히 전달되지 않을 수 있습니다.
- 일대일 전화 통역에는 한계가 있습니다. 여러 언어가 동시에 오가는 대화나 수어를 사용하는 사람의 대화를 지원하기 어렵습니다.
- 통역에서 얻은 표현과 문화 정보가 다음 상황에 활용되지 않고 봉사자의 기여도 통화가 끝난 뒤에는 잘 드러나지 않습니다.
프로젝트에서는 커뮤니케이션 서비스를 제안했습니다. 상황에 맞춰 AI와 사람의 도움을 연결하고 다양한 형태의 커뮤니케이션을 포용적으로 지원하며 일회성 통역 경험을 이후에도 활용할 수 있는 자산으로 남기는 것이 목표였습니다.
3 Approach
3-1 AI와 사람의 역할 구분
AI는 즉시 번역, 대화 기록, 화자 분리, 반복 표현 추천처럼 속도와 확장성이 필요한 일을 담당합니다. 사람은 문화적 뉘앙스와 모호한 표현을 해석하고 감정적 지원과 높은 정확성이 필요한 상황을 맡아야 한다고 판단했습니다. 초기 아이디에이션에서는 이렇게 AI와 자원봉사 통역사가 강점을 나눠 맡는 구조를 정의했습니다.
요청의 긴급도와 복잡도에 따라 도움의 방식도 달라집니다. 단순한 대화는 AI가 즉시 지원하고 긴급하거나 정확한 판단이 필요한 상황은 자원봉사 통역사에게 연결합니다. AI의 설명만으로 이해하기 어려운 문화적 표현에는 사람이 추가 설명을 제공합니다. AI를 최종 판단자가 아닌 첫 번째 지원 단계에 배치한 것이 핵심 의사결정이었습니다.
3-2 대화 통역에서 문화 통역으로 문제 확장
가설 기반 페르소나와 시나리오를 만들고 해외 체류자와 유학생의 사용 장면을 구체화했습니다. 대표적인 사례 중 하나는 호주식 슬랭을 알아듣지 못하지만 대화를 중단하기 어려워 이해한 척하는 유학생입니다. 한국의 버스 문화에서 발생한 갈등을 문자 그대로의 번역만으로 이해하지 못하는 외국인 학생도 설정했습니다.
번역 결과만 제공해서는 자연스러운 대화 참여까지 돕기 어렵다는 문제의식이 생겼습니다. 프로젝트의 방향을 “대화 통역을 넘어 문화 통역으로” 정하고 사용자가 특정 발화를 선택해 AI에게 맥락을 묻거나 필요할 때 사람의 설명을 받을 수 있도록 설계했습니다.
사용자와 봉사자가 질문과 답변을 나누는 독립적인 문화 교류 커뮤니티도 초기 아이디어로 검토했지만 최종 결과물에서는 주요 기능으로 전면에 두지 않았습니다. 대신 사용 이력 기반의 언어 가이드와 활동 기록에 지속적인 학습과 연결의 가치를 담았습니다.
3-3 개인 오디오 기기를 활용한 다자간 통역
AirPods와 같은 개인 오디오 기기가 보편화된 환경을 가정하고 여러 사람이 참여하는 통역 경험을 제안했습니다. 한 공간에서 서로 다른 언어를 사용하는 사람들이 각자의 기기로 자신의 언어에 맞춘 번역을 듣고 화면에서는 화자별 발화를 구분해 확인하는 방식입니다.
UI를 설계할 때는 참여자와 감지된 언어, 화자별 대화 기록을 한 화면에서 명확히 구분하는 데 집중했습니다. 사용자는 특정 발화를 다시 듣거나 번역문을 확인하고 설명이 더 필요하면 AI 또는 사람에게 도움을 요청할 수 있습니다. 원격 대화로의 확장 가능성도 논의했으나 초기 경험은 같은 장소에서 이루어지는 대화를 중심으로 구체화했습니다.
3-4 수어 대화를 포함한 통역 경험
전화와 음성을 중심으로 작동하는 기존 통역 경험은 수어 사용자와 비언어 대화를 충분히 지원하기 어렵습니다. 이 한계를 다루고자 카메라가 수어 동작을 인식해 문장으로 변환하고 상대방의 음성은 텍스트로 제공하는 대화 흐름을 제안했습니다.
수어 통역 UI에서는 카메라 화면과 인식 상태, 변환된 문장, 대화 기록을 동시에 이해할 수 있도록 구성했습니다. 실제 수어 인식 모델은 연결하지 않았습니다. 공모전 영상에서 미래 사용 경험을 보여주는 시뮬레이션으로 제작했으므로 기술 성능이나 접근성 효과가 검증된 제품 기능은 아닙니다. 포용적 통역 서비스의 가능성을 구체화한 콘셉트 프로토타입입니다.
3-5 통역 전후를 잇는 서비스 경험 구성
통역 전에는 사용자가 위치와 상황을 태그로 설명하고 AI가 현재 맥락에 맞는 추가 태그를 제안하도록 했습니다. 통역사가 연결된 뒤 처음부터 상황을 다시 확인해야 하는 부담을 줄이려는 설계입니다.
통역이 끝난 뒤에는 Language Guides를 제안했습니다. 사용자의 위치와 과거 이용 기록에 맞춰 관련 표현과 문화적 주의사항을 추천하는 기능입니다. 봉사자와 사용자가 주고받은 도움은 Activity History에 남겨 통역 횟수, 시간, 장소와 함께 보여줍니다. 봉사자에게 감사를 전하고 기여가 만든 영향을 확인하게 함으로써 한 번의 문제 해결로 끝나던 통역을 지속적인 참여 경험으로 이어가고자 했습니다.
3-6 핵심 경험으로 범위 수렴 및 시각화
폭넓게 탐색한 아이디어는 네 가지 핵심 경험으로 수렴했습니다. Request Interpretation은 통역 요청의 맥락을 사전에 전달하고 Conversation Bridge는 다자간 대화와 수어 통역을 지원합니다. Language Guides는 이용 기록을 다음 상황의 학습 자료로 바꾸며 Activity History는 도움과 기여의 의미를 보여줍니다.
4월 중순부터 음성 인식, 참여자 구분, 수어 인식, 대화 기록 화면을 반복해서 다듬었습니다. 밝은 화면을 포함한 여러 시각 방향을 검토한 끝에 검정과 오렌지를 중심으로 체계를 정리하고 공모전 제출용 화면과 프로토타입을 완성했습니다.
4 Outcome
4-1 네 가지 핵심 서비스 경험
Request Interpretation: 통역 전에 상황을 전달합니다
사용자는 통역사를 호출하기 전에 현재 위치와 목적을 태그로 설명할 수 있습니다. AI는 위치와 맥락에 맞는 추가 태그를 제안하며 통역사가 연결 전에 요청의 배경을 이해하도록 돕습니다.
Conversation Bridge: 서로 다른 언어와 대화 방식을 연결합니다
여러 참여자의 화자와 언어를 구분해 각자의 언어로 번역을 제공하고 화자별 대화 기록을 남깁니다. 카메라 기반 수어 통역 화면도 함께 제안하여 음성 언어를 사용하지 않는 사람이 대화에 참여하는 미래 경험을 표현했습니다.
Language Guides: 통역 이력을 학습 자산으로 바꿉니다
과거 통역 기록과 현재 위치에 맞춰 자주 필요한 표현, 이전 대화와 관련된 문장, 문화적 주의사항을 추천합니다. 사용자가 통역에서 배운 내용을 이후에도 다시 활용할 수 있도록 설계했습니다.
Activity History: 도움의 영향을 기록합니다
통역 횟수와 시간, 장소, 도움을 주고받은 기록을 시각화합니다. 봉사자는 자신의 활동이 누구에게 어떤 도움을 주었는지 확인하고 사용자는 통역을 제공한 사람에게 감사를 전할 수 있습니다.
4-2 Red Dot Award 수상
프로젝트는 2023 Red Dot Award: Brands & Communication Design의 Apps 부문 Winner로 선정되었습니다.
5 Reflection
이 프로젝트에서는 속도와 반복성이 중요한 번역을 AI에 맡기고, 문화적 맥락과 신뢰가 필요한 순간에는 사람이 개입하도록 설계했습니다. 기술의 가능성을 활용하면서도 사람 중심 통역 서비스의 가치를 유지하려는 의도였습니다. 많은 AI 기반 서비스는 최대한 많은 영역을 자동화하는 접근을 취합니다. 하지만 그러한 접근이 항상 최선의 가치를 전달하는 것은 아니라고 생각합니다. 기술과 사람의 역할을 섬세하게 구분하고 상황에 맞는 서비스 구조를 설계하는 일이 중요합니다.