BBB: AI와 사람이 함께 만드는 새로운 통역 서비스

1 Overview
- BBB Korea의 사용자·봉사자 앱 리디자인에 이어, AI 기술의 발전에 따라 기존 통역 서비스가 어떻게 확장될 수 있을지 탐색한 후속 콘셉트 프로젝트입니다. AI와 통역 봉사자의 역할에 대한 고민을 바탕으로, 다양한 언어와 대화 방식을 지원하는 새로운 커뮤니케이션 경험을 제안했습니다.
- 통역 요청의 맥락 전달, 다자간 대화 및 수어 통역, 이용 기록 기반 언어 가이드, 도움과 기여의 시각화라는 네 가지 핵심 경험으로 서비스를 구체화했습니다. 프로젝트는 2023 Red Dot Award: Brands & Communication Design의 Apps 부문 Winner로 선정되었습니다.
- 역할: 핵심 컨셉 아이디에이션(봉사자 감사 경험, 개인 오디오 기기 기반 다자간 통역, 수어 통역 아이디어 제안), 다자간 대화 및 수어 통역 기능 UI 디자인
2 Context
BBB Korea는 언어 도움이 필요한 사용자와 자원봉사 통역 봉사자를 전화로 연결하는 통역 서비스입니다.
앞선 앱 리디자인이 기존 서비스의 정보 구조와 사용성을 개선하는 작업이었다면, 이번 프로젝트에서는 후속 프로젝트에서는 자동 번역과 대화형 AI가 보편화된 환경에서 사람 중심 통역 서비스가 맡아야 할 역할을 다뤘습니다.
기존 서비스의 사용자 리뷰와 관련 문헌을 검토하여 다음 문제에 주목했습니다.
- 상황 전달의 어려움: 통역 봉사자가 연결된 후에야 사용자의 위치와 목적, 긴급도를 파악할 수 있어 상황 설명이 반복될 수 있습니다.
- 문화적 맥락의 누락: 문장을 정확히 번역하더라도 슬랭, 관용 표현, 억양, 문화적 규범까지 전달하기는 어렵습니다.
- 대화 방식의 제약: 일대일 전화 통역만으로는 여러 언어가 오가는 대화나 수어 사용자의 참여를 지원하기 어렵습니다.
- 일회성 경험: 통역에서 얻은 언어와 문화 정보가 이후에 활용되지 않고, 봉사자의 기여도 통화가 끝나면 잘 드러나지 않습니다.
이에 AI와 사람이 상황에 따라 협력하고, 다양한 방식의 대화를 지원하며, 한 번의 통역 경험이 이후의 학습과 참여로 이어지는 커뮤니케이션 서비스를 구상했습니다.
3 Approach
3-1 AI와 사람의 역할 재정의
먼저 AI와 자원봉사 통역 봉사자가 각각 어떤 역할을 맡아야 하는지 정의했습니다.
AI는 즉시 번역, 대화 기록, 화자 분리, 반복 표현 추천처럼 속도와 확장성이 필요한 일을 담당합니다. 반면 사람은 문화적 뉘앙스와 모호한 표현을 해석하고, 감정적 지원이나 신뢰할 수 있는 판단이 필요한 상황에 개입하도록 구상했습니다.
이를 바탕으로 요청의 긴급도와 복잡도에 따라 도움의 방식을 달리하는 구조를 제안했습니다. 일상적인 대화는 AI가 즉시 지원하고, 긴급하거나 정확한 해석이 중요한 상황은 자원봉사 통역 봉사자와 연결합니다.
3-2 번역을 넘어, 문화적 맥락까지
해외 체류자와 유학생을 중심으로 가설 기반 페르소나와 시나리오를 구성했습니다. 호주식 슬랭을 이해하지 못해 대화에 참여하기 어려운 유학생, 한국의 버스 문화에서 발생한 갈등을 문자 그대로의 번역만으로 이해하기 어려운 외국인 학생 등의 상황을 생각했습니다.
이러한 시나리오를 통해 문장의 의미를 아는 것과 말의 맥락을 이해하는 것은 다르다는 문제에 집중했습니다. 이에 프로젝트의 방향을 ‘대화 통역을 넘어 문화 통역으로’ 확장하고, 사용자가 이해하기 어려운 발화를 선택해 AI에게 맥락을 묻거나 필요할 때 사람의 설명을 받을 수 있는 경험을 구상했습니다.
사용자와 봉사자가 질문을 주고받는 별도의 문화 교류 커뮤니티도 검토했지만, 최종안에서는 통역 이력에 기반한 언어 가이드와 활동 기록을 통해 지속적인 학습과 연결의 가치를 전달하는 방향으로 범위를 좁혔습니다.
3-3 일대일 음성 통역의 경계 확장
기존의 일대일 음성 통역을 넘어, 여러 사람이 다양한 방식으로 대화에 참여할 수 있는 경험을 탐색했습니다.
다자간 통역은 AirPods와 같은 개인 오디오 기기가 보편화된 환경을 가정했습니다. 같은 공간에서 서로 다른 언어를 사용하는 사람들이 각자의 기기로 번역을 듣고, 화면에서는 참여자와 언어, 화자별 발화를 구분해 확인하는 방식입니다.
UI에서는 여러 사람의 대화가 뒤섞이지 않도록 참여자 정보와 화자별 기록을 명확히 구분했습니다. 특정 발화를 다시 듣거나 번역을 확인하고, 추가적인 문화 설명을 요청할 수 있도록 구성했습니다.
수어 통역은 음성 중심 서비스의 제약을 보완하기 위해 제안했습니다. 카메라로 수어 동작을 인식해 문장으로 변환하고 상대방의 음성은 텍스트로 보여주는 방식입니다.
카메라 화면, 인식 상태, 변환된 문장, 대화 기록을 함께 확인할 수 있는 UI를 설계했습니다. 실제 수어 인식 모델을 구현한 것은 아니며, 미래의 사용 경험을 표현하기 위한 콘셉트 프로토타입으로 제작했습니다.
3-4 통역 전후를 연결하는 서비스 경험
통역이 시작되기 전과 끝난 뒤의 경험을 함께 고려했습니다.
통역 전에는 사용자가 위치와 상황을 태그로 전달하고, AI가 맥락에 맞는 추가 태그를 제안하도록 했습니다. 통역 봉사자가 연결 직후 상황을 다시 파악해야 하는 부담을 줄이기 위한 접근입니다.
통역 후에는 이용 기록과 위치에 맞춰 언어 표현과 문화 정보를 추천하는 기능을 구상했습니다. 또한 사용자가 받은 도움과 봉사자가 제공한 기여를 기록하고 시각화하여, 일회성 문제 해결이 지속적인 학습과 봉사 참여로 이어지도록 했습니다.
4 Outcome

4-1 네 가지 핵심 서비스 경험
Request Interpretation: 통역 전에 상황을 전달합니다
사용자는 통역 봉사자를 호출하기 전에 현재 위치와 목적을 태그로 설명할 수 있습니다. AI는 위치와 맥락에 맞는 추가 태그를 제안하며 통역 봉사자가 연결 전에 요청의 배경을 이해하도록 돕습니다.

Conversation Bridge: 서로 다른 언어와 대화 방식을 연결합니다
여러 참여자의 발화를 구분하고 각자의 언어로 번역을 전달합니다. 화자별 대화 기록을 확인하거나 추가 설명을 요청할 수 있으며, 카메라 기반 수어 통역을 통해 음성 언어를 사용하지 않는 사람도 함께 대화하는 미래 경험을 제안합니다.

Language Guides: 통역 이력을 다음 상황에 활용합니다
과거 통역 이력과 현재 위치를 바탕으로 유용한 표현과 문화 정보를 추천합니다. 통역 과정에서 얻은 지식을 이후의 의사소통에도 활용할 수 있도록 돕습니다.

Activity History: 주고받은 도움의 영향을 기록합니다
통역 횟수와 시간, 장소, 도움을 주고받은 기록을 시각화합니다. 봉사자는 자신의 기여를 돌아보고, 사용자는 도움을 제공한 사람에게 감사를 전할 수 있습니다.

4-2 Red Dot Award 수상
프로젝트는 2023 Red Dot Award: Brands & Communication Design의 Apps 부문 Winner로 선정되었습니다.
5 Reflection
이 프로젝트에서는 속도와 반복성이 중요한 번역을 AI에 맡기고, 문화적 맥락과 신뢰가 필요한 순간에는 사람이 개입하도록 설계했습니다. 기술의 가능성을 활용하면서도 사람 중심 통역 서비스의 가치를 유지하려는 의도였습니다. 많은 AI 기반 서비스는 최대한 많은 영역을 자동화하는 접근을 취합니다. 하지만 그러한 접근이 항상 최선의 가치를 전달하는 것은 아니라고 생각합니다. 기술과 사람의 역할을 섬세하게 구분하고 상황에 맞는 서비스 구조를 설계하는 일이 중요하겠습니다.