2000년대 초로 기억됩니다. 당시 PC방에서 친구들과 FPS 게임 레인보우 식스를 함께 했던 기억이 나네요. 이 레인보우 식스는 국내에서 큰 인기를 끌었고 국내 기업이 용산전자상가맵을 만들어서 큰 인기를 끌었던 기억이 나네요. 이렇게 PC나 모바일 게임에서 실제 공간을 보게 되면 몰입감이 더 좋아집니다.
지금은 서비스가 중지된 레이싱 게임 레이시티는 서울시 서초구, 강남구의 실제 거리를 배경으로 레이싱을 하는 게임이었습니다. 이렇게 가상의 공간인 게임에 실제 공간이 들어가면 게이머들은 게임에 좀 더 집중할 수 있습니다. 그러나 실제 거리를 가상의 공간인 게임에 넣으려면 일일이 실제와 비교하면서 만들어야 하기에 제작이 까다롭습니다. 그래서 최근에 나오는 기술 중 하나가 실제 공간을 3D로 스캔한 후에 게임 속 배경으로 만드는 기술들이 나오고 있습니다.
실제 공간을 스캔한 후 AI가 3D CG로 만들어주는 엔비디아 기술
비디오카드 제조사인 엔비디아(NVIDIA)가 실제 거리를 3D로 스캔한 후 AI가 디지털 데이터인 CG로 만들어주는 기술을 개발했습니다. 위 사진 중 왼쪽은 실제 거리 영상이고 오른쪽은 이 실제 거리 영상을 AI가 분석해서 VR이나 게임 등에 활용할 수 있는 디지털 자료로 만들어 주고 이걸 이용해서 쉽게 3D CG에 응용할 수 있습니다.
엔비디아 공식 블로그는 위 영상을 공개하면서 이 기술이 실제 어떻게 작동되는 지를 소개하고 있습니다.
한 개발자가 레이싱 게임을 하고 있습니다. 이 영상은 실제 거리도 그렇다고 게임을 위해서 사람이 만든 가상 공간이 아닙니다. 위 영상은 실제 거리를 촬영한 영상을 AI가 분석해서 디지털 데이터로 재현한 3D CG영상입니다.
조건부 생성 신경망을 이용한 기술로 실제 영상에서 신경망을 훈련시키고 새로운 3D 환경으로 렌더링 할 수 있는 AI를 엔디비아에서 개발했습니다.
AI를 학습 시키기 위해서 실제 도로를 주행하면서 동영상으로 담았습니다.
이 영상을 딥러닝을 이용해서 AI에게 학습 시켜서 영상 속의 의미를 AI가 판단합니다. 오브젝트를 같은 색으로 표시하고 있네요.
이런 계층화 된 색 표시에는 언리얼 엔진4도 함께 사용합니다. 게임 엔진 중에 현실감 높은 엔진이 언리얼 엔진이죠. 배틀그라운드도 언리얼 엔진 사용하고 있습니다. 보시면 도로는 흰색으로 자동차는 노란색, 건물은 청록색으로 표시되고 있습니다. 보시면 각 사물마다 경계가ㅣ 또렷하게 표시되는 것을 알 수 있습니다.
이후 네트워크를 통한 딥러닝을 이용한 AI가 이 영상을 이미지로 변환하고 다시 영상으로 변환합니다.
이 NVIDIA의 3D CG 기술이 무슨 큰 의미가 있느냐고 물으신다면 이렇게 대답할 수 있습니다. 한 여자 분이 강남스타일 춤을 춥니다.
이 여자분이 추는 강남스타일을 디지털 데이터화 한 후 다른 사람의 외모로 바꿀 수 있습니다. 한 중년 남자가 강남 스타일을 격렬하게 추고 있네요.
남자분은 엔비디아의 개발자로 자신이 춘 춤이 아니라고 말하고 있습니다. 여자분의 강남스타일 영상을 디지털화 해서 다른 사람의 외모로 덧 입힌 영상입니다. 이렇게 되면 다른 사람이 춘 춤 영상을 분석해서 내가 춤을 추는 영상으로 만들 수 있습니다. 유튜브에 올라온 수 많은 영상들을 AI가 디지털 데이터와 해서 게임에서 캐릭터 스킨 바꾸듯 영상 속 인물을 교체할 수 있습니다.
사용처는 무궁무진합니다. 일일이 가상 공간을 랜더링 할 필요 없이 게임에 적합한 실제 장소를 동영상으로 촬영 후에 엔비디아의 3D CG에 넣고 돌리면 게임 배경 장소로 사용할 수 있습니다. 서울시 전역을 스캔한 후 이걸 게임 데이터로 활용한 후 서울을 배경으로 한 레이싱 게임이 나올 수도 있겠네요.
출처 : 엔비디아 블로그
