별 헤는 밤 : 소셜 미디어의 피상성에 대한 성찰 도구로서의 이머징 미디어아트 디자인

1 Overview
- <별 헤는 밤>은 누군가를 기억하고 관계의 흔적을 되돌아보게 하는 인터랙티브 미디어아트 프로젝트입니다. 관객이 누군가의 이름을 말하면 별과 우주의 은유로 생성되는 파티클 그래픽의 상호작용을 감상하며 대상과의 관계를 감각적으로 성찰하는 작품입니다.
- 이 작품은 2022년 UNIST 학부 Creative Computing for Media Art 수업 과제물로 만들어졌으며, 이후 HCI Korea 2023 전시와 국제 디자인 학회 IASDR에 논문 형태로 투고되었습니다.
2 Context
<별 헤는 밤>은 우리가 삶에서 만나는 수많은 관계에 대한 감각이 얇고 피상적일 수 있다는 문제의식에서 출발했습니다.
현대 사회는 과거 어느 때보다 조밀하게 연결되어 있지만, 사람들은 역설적으로 더 큰 고립감과 외로움을 느끼고 있습니다. 더욱이 소셜미디어를 통한 오늘날의 인간관계는 0과 1, 친구 맺기와 끊음 등 플랫폼의 기능에 의해 이산적으로 매개됩니다. 이러한 문제의식에서 출발하여, 이 작품을 통해 우리에게 관계의 의미가 무엇인지, 그리고 그러한 관계들이 현재의 나 자신에게 어떤 흔적을 남기는지를 묻고 싶었습니다.
<별 헤는 밤>은 광활한 소셜 네트워크라는 우주 속에서 우리가 맺고 있는 관계의 의미를 되돌아볼 수 있는 인터랙티브 미디어 아트입니다. 윤동주 시인의 「별 헤는 밤」에서 별과 하늘이 회상, 그리움, 덧없음, 이상향을 함께 품고 있듯, 이 작품에서도 우주와 별의 은유를 통해 관계와 흔적을 표현하고자 했습니다. 관객의 기억과 시각적인 그래픽이 만들어 내는 예술적 경험을 통해 기억 속 관계를 돌아보는 경험을 제안합니다.
3 Approach
은유적인 상호작용
관계를 설명하는 대신, 이름을 부르고 별의 움직임을 바라보게 하는 방식의 경험을 디자인했습니다.
“사람들과의 만남과 이별이 현재의 나를 어떻게 바꾸었는가?”
멀리서 보면 사람간의 관계는 그저 사람들이 모이고 흩어지는 반복처럼 보일 수 있지만, 개인의 관점에서는 누군가가 다가오고 지나가며 크고 작은 흔적을 남깁니다. 이 프로젝트는 이러한 감각을 직접 서술하는 대신, 관객이 자신의 이름과 타인의 이름을 불러 생성된 별의 움직임을 보며 스스로 관계를 해석하도록 만듭니다.
이런 성찰을 유도하기 위해 기억과 모호성이라는 디자인 재료를 선택했습니다. 관객은 현실과 디지털 세계에서 만난 사람들의 이름을 떠올리고 직접 소리내어 말하며, 그 이름은 추상적이고 생성적인 별의 형태로 변환됩니다.
중력과 천체로 은유되는 관계 속 상호작용

사람과 사람 사이의 상호작용은 우주 공간 속 천체들의 움직임으로 나타납니다. 화면의 중앙에는 ‘나’를 나타내는 별이 그려집니다. 모든 상호작용은 이 중앙의 별을 중심으로 이루어지며, 이는 지극히 나의 개인적인 관점에서 이루어지는 경험이라는 것을 보여줍니다.
관객이 이름을 부르면 화면 우측에서 천체 그래픽이 생성됩니다. 이들은 서로 다른 형태, 다른 위치와 속도로 나타나 화면을 가로질러 이동합니다. 이때 중심이 되는 별(’나’)의 곁을 스쳐 지나가거나, 오랫동안 주위를 맴돌거나, 끝내 흡수되기도 합니다. 이러한 흐름은 사람들이 삶에 들어오고 머물고 멀어지는 관계의 다양한 양상을 나타냅니다.
서로를 끌어당기는 영향권 내에서 중심 별과 천체들은 서로의 색을 가진 파티클을 교환하고, 천체가 중심 별에 완전히 흡수될 때 중심 별의 파티클 형태가 달라지는 변화가 일어납니다. 삶에서 만나는 다양한 관계가 어떤 형태로든 나에게 흔적을 남기듯, 현재의 내가 다른 존재들과 상호작용하며 서서히 바뀌어 감을 보여줍니다.
별, 궤도, 중력의 메타포를 빌려와 관계의 강도나 친밀도를 직접 설명하지 않으면서도, 만남의 우연성과 영향의 축적을 감각적으로 전하고자 했습니다. 모호한 시각 요소들은 관객이 구체적인 언어로 관계를 설명하지 않고 자신의 지극히 개인적인 경험을 작품 위에 겹쳐보게 만듭니다.
인터랙티브 시스템 구현

인터랙티브 시스템
- 관객이 자신의 이름을 입력하면 화면 중심에 자신을 상징하는 별이 생성됩니다. 이후 작품의 주된 입력은 마이크로 이루어집니다. 다른 사람의 이름을 말하면 각 이름마다 새로운 파티클 천체가 생성됩니다.
- 음성의 진폭은 그래픽 요소의 크기와 스타일을 결정하는 데 활용하였고, 발화된 이름은 Kakao Speech-to-Text API로 인식하였습니다. 인식된 이름은 16진수 컬러 코드(Hex Code)로 변환되어 천체의 색상으로 사용되었습니다.
- 가공된 데이터는 UDP 통신을 통해 Processing 4로 전달되어 실시간 제너러티브 시각화의 매개변수로 사용되도록 데이터 파이프라인을 구축했습니다.
생성적 그래픽
- 기존 파티클 그래픽 오픈소스 코드를 프로젝트에 맞게 응용하여 시각적 효과를 구성했습니다.
- ‘중력’ 개념을 도입하기 위해 주변 별이 중심별의 일정 영역 안으로 들어오면 중심별 방향으로 가속도가 생기도록 했습니다.
- 별들 사이의 파티클 교환 상호작용을 위해, 특정 거리 내로 천체가 접근 시 서로의 색상 파티클을 교환하거나 완전히 흡수되도록 했습니다.
전시 및 관객 경험 수집

이 작품은 이후 2023년 2월 강원도에서 열린 HCI Korea 2023 전시에 설치하였습니다. 전시 부스를 방문한 관객은 작품의 개념과 체험 방식을 간단히 안내받은 뒤 직접 작품을 경험하였고, 그 이후 익명 설문에 참여하였습니다. 총 17명이 자발적으로 설문에 응답하였으며, 참여자는 대부분 20대와 30대의 한국인이었습니다.
참여해주신 관객을 대상으로 5점 리커트 척도 7문항으로 구성된 간단한 설문을 통해 다음을 물었습니다.
- 첫째, 참여자들이 디지털 환경의 관계를 어떻게 인식하는지.
- 둘째, 작품이 관계에 대한 성찰을 실제로 유도했는지.
- 셋째, 이름 발화, 그래픽, 애니메이션 가운데 어떤 요소가 성찰의 계기로 작동했는지.
- 마지막으로, 사람을 떠올릴 때 디지털 매체 요소와 물리적 감각 요소 중 무엇이 더 크게 작용하는지.
설문 외에도 관객의 대화와 태도를 관찰했습니다. 일부 관객은 생성된 별의 움직임을 현실의 관계와 연결해 해석하며 동행자와 이야기를 나누었고, 또 일부는 떠오른 이름이 있어도 소리 내어 말하는 데 주저하는 모습을 보였습니다.
4 Outcome
제너러티브 미디어 아트: “별 헤는 밤”
- 고유성을 부여하는 생성적 시각화: 관객이 키보드로 이름을 입력하면 고유한 색상의 중심별이 생성되며, 호명된 지인들의 이름과 목소리 크기 데이터에 따라 매번 형태와 색상이 다른 파티클로 구성된 천체가 화면 우측에 무작위로 생성됩니다.
- 관계의 흔적을 담아내는 시각 표현: 사람들의 이름을 차례로 말하면, 각 이름은 서로 다른 색과 형상을 지닌 파티클 천체가 되어 화면 위에 나타납니다. 이 천체들은 반짝이며 중심 별의 곁을 지나가고, 머물고, 때로는 흡수됩니다. 관객은 그 움직임을 바라보며 특정한 사람과의 관계를 떠올리고, 그 관계가 지금의 자신에게 어떤 의미와 흔적을 남겼는지를 조용히 되짚게 됩니다.
- 경험의 기념: 인터랙션 종료 시 별이 폭발하듯 화면을 메우며 정지하고, 관객이 불렀던 이름의 개수와 본인의 이름이 캡션으로 기록된 최종 스크린샷을 제공하여 경험을 기념하고 간직할 수 있도록 했습니다.
관객 경험
설문과 관찰을 종합하면, 이 작품은 관객이 자신의 관계를 다시 떠올리고 해석하게 만드는 장치로 작동하였습니다. 이름을 직접 말하는 행위, 생성된 그래픽, 별 사이의 움직임이 각각 따로 기능한 것이 아니라, 하나의 연속된 경험으로 작용하여 성찰을 이끌었습니다.

- 작품 전반은 관계를 되돌아보게 하는 경험으로 받아들여졌습니다. 관객들은 작품이 관계에 대한 생각을 환기하는 데 전반적으로 도움이 되었다고 응답했습니다(중앙값 4, 최빈값 5). 이는 작품이 단순한 시청각적 자극을 넘어, 자신의 경험을 다시 꺼내 보게 하는 계기로 작동했음을 보여줍니다.
- 이름을 직접 부르는 행위가 특히 강한 촉발 장치로 작동했습니다. 사람들의 이름을 소리 내어 말하는 경험은 성찰을 유도한 요소 가운데 특히 강하게 받아들여졌습니다(중앙값 4, 최빈값 5). 관계를 머릿속으로만 떠올리는 것이 아니라, 발화라는 신체적 행위로 꺼내는 과정 자체가 기억을 활성화하는 시작점이 되었습니다.
- 그래픽과 움직임은 해석의 여백을 만들어 주었습니다. 사람을 나타내는 그래픽은 관계를 떠올리는 데 도움을 주었고(중앙값 4, 최빈값 5), 별들 사이의 움직임 역시 관계를 해석하게 만드는 요소로 작동했습니다(중앙값 4, 최빈값 4). 관객은 별이 스쳐 지나가고, 머물고, 흡수되는 장면을 보며 특정한 관계를 자신의 경험에 비추어 해석했습니다.
- 사람을 떠올릴 때는 물리적 감각 단서가 조금 더 크게 작용하였습니다. 관객들은 프로필 이미지, 사진, 이모티콘 같은 요소보다 목소리, 향, 몸짓 같은 물리적 요소가 사람을 떠올리는 데 더 크게 작용한다고 응답했습니다(17명 중 9명). 이는 관계를 다시 떠올리게 하는 매개가 단순한 디지털 정보가 아니라, 보다 감각적이고 신체적인 기억일 수 있음을 시사합니다.
5 Reflection
- 작품의 의도와 관객의 진입 방식 사이의 간극: 시스템의 조작은 단순했지만, 실제 전시장에서는 관객이 설명을 충분히 읽지 않거나 결과를 빨리 보고 싶어 하는 경우가 많았습니다. 인터랙티브한 시스템에서 ‘무엇을 보여줄 것인가’만큼이나 ‘관객이 어떻게 작품 안으로 들어오게 할 것인가’ 역시 중요합니다. 작품의 의미는 관객이 그 흐름을 이해하고 따라갈 수 있을 때 형성된다는 점을 실감했습니다.
- 프라이버시와 몰입의 조건: 전시장이라는 공개된 장소의 특성상 타인의 이름을 소리 내어 부르는 것에 소극적인 태도를 보이는 관객들이 있었습니다. 몰입도 높은 감정적 동요와 성찰을 위해서는 시각적 디자인뿐만 아니라, 작품이 설치되는 공간의 프라이버시 수준을 확보하거나 온라인 환경으로 경험을 확장하는 등의 세밀한 고려가 필요합니다.
- 기술이 해석을 이끄는 방식에 대한 경계: 음성인식 기술은 작품에 진입하는 흥미로운 장치였지만, 동시에 일부 관객에게는 이 작업을 추상적 은유보다 감정이나 관계를 실제로 분석해 보여주는 시스템처럼 읽히게 만들기도 했습니다. 고도화된 AI 기술을 미디어 아트에 접목할 때에는, 사람들이 인지하는 AI의 기술적 분석력이 예술적 모호성과 성찰의 기회를 흐리지 않도록 인터랙션 디자인을 더 세심하게 고려해야 함을 배웠습니다.