기승전 유튜브입니다. 요즘 사진전이 확 줄어든 이유도 사람들이 사진이 아닌 기술적인 한계로 정착하지 못한 동영상이 4G LTE가 터지고 무료 무제한 업로드가 터지면서 시각 콘텐츠 시장은 점점 사진에서 동영상으로 이동했습니다.
지금은 뭐 남녀노소 유튜브 물려주면 울음도 짜증도 울분도 뚝 그치게 됩니다.
이런 유튜브로 많은 수익을 올리는 유튜버도 점점 늘고 있습니다. 그런데 유튜버 중에서 얼굴을 노출하고 방송하는 BJ들은 수익도 많이 올리지만 동시에 악플 공격을 많이 받고 있습니다. 얼굴을 노출하지 않고 방송을 할 수 있는 방법이 있을까요? 있죠. 가면을 쓰면 됩니다.
그러나 이런 유튜버들은 고발 유튜버나 시사 이슈 유튜버들이 대부분입니다. 이분들은 악플을 받을 각오를 하고 방송을 하기에 얼굴 노출을 꺼립니다. 그런데 얼굴 노출을 하지 않으면서도 재미있는 입담만 있으면 방송해서 돈을 벌 수 있는 방법이 있습니다. 바로 버츄얼 유튜버입니다.
2016년 일본에서 가상 유튜버, 혹은 버츄얼 유튜버 키즈나 AI가 뜹니다. 딱 보면 아시겠지만 3D 가상 캐릭터인데 BJ처럼 방송을 합니다. 그것도 실시간으로요. 이게 가능? 보통 이런 3D 캐릭터는 쫄쫄이 복을 입은 사람이 모션 캡처하고 목소리를 성우가 더빙해서 만듭니다. 보통 녹화 방송이죠. 그런데 실시간 채팅도 하고 대화도 합니다.
그리고 한국에서도 다양한 버츄얼 유튜버들이 늘고 있습니다. 성우 서유리는 로나로나땅 채널에서 가상캐릭터를 이용해서 방송을 하고 있습니다. 목소리 좋고 입담 좋은 분들이 노려 볼 수 있는 분야가 바로 버츄얼유튜버입니다.
그런데 이런 버츄얼 유튜버를 운영하려면 장비가 많이 필요합니다. 실시간이려면 실시간으로 모션캡처를 할 수 있어야 합니다. 그러면 도트 표시가 가득한 쫄쫄이복을 입고 얼굴에 카메라를 달거나 카메라를 설치해야 합니다.
CODEMIKO라는 분의 방송 모습입니다. 쫄쫄이 복을 입어야 합니다. 고가의 장비가 필요하죠.
월드IT쇼와 메타버스 엑스포 2022에서 본 스콘의 미츄
2022년 4월 코엑스에서 열린 월드IT쇼에서 신기한 서비스를 봤습니다. 요즘 코엑스가 전시회들이 돌아오면서 매월 즐겁습니다. 제가 전시회 무척 좋아하고 신기술 관람 및 소개하는 재미를 붙였습니다. 그런데 한 부스 앞에서 멈췄습니다. 한 애니 캐릭터가 움직이는데 그 움직임이 너무 자연스러워서 뭐지? 하고 옆을 보니 직원 분이 행동을 그대로 따라 하네요?
신기해서 물어보니 실시간 모션 트래킹으로 얼굴 표정과 손동작을 그대로 따라 하는 실시감 페이셜 트래킹과 손동작을 트래킹 하는 서비스 미츄(Meechu)라고 합니다. 한국의 중소 IT 기업인 스콘(Scon)에서 서비스하는 서비스라고 하네요.
더 신기한 건 실사 영상 위에 덮입힐 수도 있고 크기도 쉽게 조절할 수 있습니다. 벡터 방식이라서 크기를 크게 한다고 버츄얼 캐릭터가 깨지는 건 아닙니다. 참 신기했습니다.
참 신기하죠? 물어보니 얼굴과 손동작만 인식 가능한데 쫄쫄이복이 필요 없다고 하네요. 이 스콘의 미츄를 2022 메타버스 엑스포에서 또 봤습니다.
이 미츄(meechu)에 대한 자세한 이야기를 소개하겠습니다.
지난 2022년 6월 15일부터 17일까지 코엑스 C홀에서는 메타버스 엑스포를 관람했습니다. 메타버스에 대해서 솔직히 반신반의하고 있습니다. 어떤 서비스는 너무 나간 것 같고 어떤 서비스는 바로 실현이 가능했습니다. 이 중 바로 실현 가능한 실용성 높은 서비스나 기술을 집중적으로 살펴 봤습니다. 이중 하나가 버츄얼 유튜버 서비스인 스콘의 미츄입니다.
3D 버츄얼 캐릭터 라이브 방송 솔류션 미츄의 작동 기술은?
메타버스 서비스 중 하나인 버츄얼 캐릭터 생성 서비스인 스콘의 미츄는 얼굴 인식과 손동작을 인식할 수 있습니다. 얼굴은 아이폰 전면 카메라를 이용합니다. 안드로이드폰은 안되고 아이폰 X 이상의 아이폰만 사용 가능합니다. 워낙 아이폰 사용자가 많아서 걸림돌이 되지 않고 저도 다음 스마트폰은 아이폰을 사용할 예정입니다. 아이폰이 이제는 전후면 카메라 성능이 좋아서 제가 인정할 정도입니다. 전 스마트폰 선택 이유 1순위가 무조건 카메라입니다. 여기에 AP 성능도 퀄컴 AP를 가볍게 누르고 있습니다.
얼굴은 아이폰 X 이상 전면 카메라를 이용하고 손동작은 비전 센서 기반의 립 모션센서가 인식을 합니다. 특정 각도에 들어온 손을 인식해서 손동작도 구현합니다.
손동작 모션을 인식하는 기술은 여러 가지가 있습니다. 장갑 형태의 모션 인식 기술이 비전 센서 기반보다 넓은 범위에서 활용 가능하고 영화, 드라마 촬영에도 활용할 정도죠. 그러나 가격이 상당히 비쌉니다. 또한 장갑을 껴야 한다는 불편함도 있죠. 쫄쫄이 복과 장갑 끼고 버츄얼 유튜버를 운영하는 분들이 많이 있지만 가격과 뭘 입고 껴야 하는 불편함이 있습니다.
반면 스콘 미츄는 아이폰과 립 모션 센서만 이용하기에 뭘 입고 끼지 않습니다. 그냥 아이폰과 PC에 스콘이 제공한 앱과 프로그램만 설치하면 됩니다. 그럼 아이폰은 그렇다고 치고 고사양 PC나 노트북이 필요하냐? 아닙니다. 오피스 PC처럼 저사양 PC와 노트북에도 돌아갑니다. 구현하는데 강력한 포퍼먼스를 요구하지 않습니다. 물론 성능이 좋을수록 원활하게 돌아갑니다.
립모션은 없어도 됩니다. 대신 얼굴 모션만 따라 하죠. 따라서 아이폰과 노트북만 가지고 야외에서도 방송이 가능합니다. 다만 영상에 활력이 있으려면 얼굴만 아니라 립모션도 있으면 더 좋습니다. 보통 집에서 사무실에서 이용하기에 립모션 아이폰은 패키지라고 보시면 됩니다. 또한 수 시간의 라이브 방송도 가능해서 장시간 라이브도 가능합니다.
아이폰에 앱을 깔면 위와 같이 얼굴 위치와 각도를 실시간으로 보여줍니다.
체험하는 걸 지켜봤는데 사람들이 신기해서 많이 체험을 하네요.
얼굴 인식을 해야 하기에 마스크는 내려야 합니다. 얼굴은 눈썹, 눈동자 위치, 얼굴, 입, 혀, 볼까지 모두 인식합니다. 따라서 표정이 풍부한 분들은 더 어울리는 3D 버츄얼 캐릭터 라이브 방송 솔류션 미츄입니다. 현재 나온 버츄얼 유튜버 서비스 중에 가장 쉬운 서비스입니다. 사용자가 아무것도 착용하지 않아도 됩니다. 중요한 건 라이브 방송 가능입니다. 녹화 방송이 아닌 실시간 라이브 방송이 가능한 서비스가 미츄입니다.
기술을 살펴보면 얼굴은 페이셜 트래킹 기술과 손동작은 모션 트래킹 기술이 들어가고 그 데이터를 이용해서 3D 캐릭터를 움직입니다. 표정이나 옷이나 액세서리나 팻은 커스텀이 가능합니다. 모션 캡처 기능은 없지만 몇몇 동작은 사전 모션 제작으로 사용할 수 있습니다.
3D캐릭터는 카툰형, 반실사형, 실사형이 준비되어 있는데 가장 인기 높고 동작이 쉬운 것이 카툰형입니다. 아무래도 실사형은 실제처럼 보이지만 언캐니 밸리라고 사람과 비슷하면 사람이 혐오감을 느끼게 됩니다. 이 으스스한 골짜기를 아예 넘던가 넘지 못하면 차라리 카툰형처럼 가는 게 낫죠.
가상캐릭터 실시간 방송 가능한 스콘의 미츄 활용 방법
1. 버츄얼 유튜버 BJ
미츄를 이용한 버츄얼 유튜버로는 하나나, 송제로, 초깨비, 울프둥이가 있습니다. 시청자들과 채팅을 하면서 실시간으로 대화도 하고 노래도 부르는 등 버츄얼 캐릭터로 다양한 시청자와 즐길 수 있습니다. 입담 좋은 유튜버 분들에게 추천합니다.
2. 기업 라이브 커머스 및 기업 홍보 교육 영상제작
스콘 직원에게 물어보니 가장 문의가 많이 들어오는 분야는 라이브 커머스 회사들입니다. 요즘 손 안의 홈쇼핑이라는 라이브 커머스 서비스가 많이 늘고 있습니다. 기업들도 라이브 커머스에 진출해서 자사의 제품을 할인 판매 및 이벤트를 하고 있고 저도 가끔 최저가 비교해 보고 혜택이 좋아서 즐겨 이용하고 있습니다.
미츄를 활용해서 삼양라면과 프레딧은 라이브 커머스 생방송에 출연해서 사람들을 홀리고 있습니다. 사람들이 실시간으로 3D 가상 캐릭터가 움직이는 걸 보면서 무척 신기해합니다.
위 영상이 바로 미츄를 활용해서 라이브 커머스 방송을 한 삼양라면입니다.
보시면 화면 밖에서 한 분이 삼양라면 양 캐릭터의 손동작과 얼굴 동작을 하면 방송에 바로 합성 송출할 수 있습니다. 물론 대화도 가능합니다. 어차피 소리는 방송하는 분의 목소리를 이용하니까요.
이런저런 이야기를 하는데 한 케이블 방송사 분이 물어보는 걸 옆에서 들어봤는데 케이블 방송사에서도 관심이 많으시더라고요. 아무래도 신기한 기술이기도 하고 방송사 캐릭터를 의인화하고 방송까지 하게 하면 새로운 IP로 활용도 가능하잖아요. 예를 들어 가상 펭수를 만들어서 방송을 할 수도 있고요. EBS가 미츄와 손을 잡고 펭수 라이브 방송하는 것도 괜찮을 듯하네요. 인형탈 뒤집어 쓰고 생방 하기 어렵잖아요. 이외에도 사내 교육 동영상 콘텐츠나 홍보 동영상 만들 때도 활용할 수 있습니다.
3. 교육용 콘텐츠 및 영상 콘텐츠 제작
요즘 EBS나 아동용 콘텐츠 보면 3D 가상 캐릭터들을 이용한 영상물이 참 많습니다. 이유는 셀 애니메이션보다 제작비가 쌉니다. 캐릭터 만들어 놓고 모션 캡처를 이용하면 한 장 한 장 그림을 그려야 하는 셀 애니보다 제작비도 제작 시간도 짧습니다. 그래서 요즘 일본의 공각기동대가 3D 애니로 전환했더라고요.
미츄를 이용하면 얼굴 표정과 손동작을 구현할 수 있기에 몸 전체를 따야 하는 액션 장면을 제외하고 대화 장면은 미츄로도 충분히 가능합니다. 또한 몸과 손동작만 구현하면 되는 교육용 콘텐츠 제작할 때도 바로바로 만들 수 있습니다.
버츄얼 캐릭터 생방송이 가능한 미츄
실시간 버츄얼 유튜버 방송이 가능한 미츄는 유료 서비스입니다. 다양한 기본 캐릭터가 준비되어 있지만 이걸 활용하기보다는 커스텀이 기본입니다. 먼저 기업이나 개인이 자신이 원하는 캐릭터 원화를 일러스트 형태나 이미지로 가져오면 그 캐릭터를 약 2달 정도 걸려서 커스텀화 합니다. 그리고 그 캐릭터와 방송 솔류션을 제공합니다.
IP나 나만의 2D 캐릭터가 있는 개인이나 방송사나 콘텐츠 제작사는 자사의 2D 정지된 캐릭터를 이용해서 소비자와 실시간 방송을 하고 라이브 커머스나 홍보 영상을 만들 수 있습니다. 그래서 기업들이 문의가 많습니다.
또한 유튜버 중에서도 인기 유튜버들은 매일 메이크업을 하고 방송을 해야 하는데 가끔은 맨 얼굴에 가상캐릭터로 방송을 할 때 좋습니다. 그렇게 가상 캐릭터로 방송하다가 방송 중간에 쌩얼이 노출되어서 낭패를 볼 수 있지 않나 걱정을 하는데 그럴 염려가 없는 것이 얼굴을 촬영하는 것이 아니라서 걱정 안 하셔도 됩니다.
옷은 1개가 기본이고 다른 옷이나 다른 액세서리나 다른 몸동작을 넣고 싶으면 상담을 통해서 추가로 장착할 수 있습니다.
스콘이 만든 가장 쉬운 3D 버츄얼 캐릭터 라이브방송 솔류션 미츄는 현실과 가상을 연결하는 메타버스의 최전선의 기술이네요. 자세한 가격 상담은 홈페이지에서 할 수 있습니다.
미츄 홈페이지 : http://www.meechu.kr/
미츄(meechu) - 버츄얼 유튜버 솔루션
미츄는 버츄얼 관련 지식이 없는 일반인도 컴퓨터와 스마트폰만으로 사용할 수 있는 3D버츄얼 캐릭터, 버츄얼 유튜버 솔루션입니다.
www.meechu.kr
<스콘으로부터 원고료를 제공받아서 작성한 리뷰입니다>
