사진은 3D 세상을 2차원이라는 평면에 재현한 매체입니다. 이러다 보니 사진을 보다 보면 좀 더 옆에서 촬영했으면 좀 더 멋진 사진이 되었을 텐데라는 아쉬움이 담긴 사진들이 있습니다. 그리고 2D 사진을 3D 보고 싶은 욕심도 있죠. 그래서 요즘은 2개의 후면 카메라를 장착한 스마트폰들은 2개의 카메라를 이용해서 3D 효과의 사진을 만들기도 합니다. 그런데 앞으로는 2D 사진을 촬영해도 AI가 3D 사진으로 만들어주는 기술이 나올 수 있을 듯합니다.
Neural Radiance Fields 줄여서 NeRF 기술은 2D 사진을 3D로 만들어주는 인공지능 기술입니다. 이 NeRF 기술을 좀 더 발전 시킨 NeRF in the Wild이
https://nerf-w.github.io/에 올라왔습니다.
NeRF in the Wild에 관한 동영상도 소개되었는데 이 동영상을 통해서 이 기술이 어떤 기술인지 알 수 있습니다.
NeRF in the Wild 기술은 1장의 사진을 3D 사진으로 만드는 건 아니고 다양한 각도에서 촬영한 사진을 이용해서 3D 사진 또는 3D 영상으로 만듭니다. 예를 들어서 베를린 브란덴부르크 문 근처에서 촬영한 수많은 관광객들의 사진을 이용해서 사진에서의 각도와 거리를 분석해서 3D 이미지로 만듭니다.
이런 다양한 사진이 어디있나고요? 구글 지도에 가면 전 세계 사람들이 올린 수많은 사진들이 있습니다. 이걸 이용하면 됩니다. 문제는 사진 중에는 단체사진도 많고 지나가는 자동차 등등 피사체 이외의 많은 피사체들이 있습니다. 사람과 자동차 같은 피사체가 들어간 사진들을 이용해서 이 불필요한 피사체를 제거하는 것이 가장 어렵습니다.
NeRF in the Wild는 고정되어 있는 건물과 움직이는 피사체인 사람과 자동차 등을 구분해 냅니다. 움직이지 않는 피사체만 쏙 골라내야 하는 것이 1단계 과제입니다.
이전 기술인 NeRF은 이 구분을 잘 하지 못해서 불필요한 곳까지 삭제해버리는 문제가 있었지만 NeRF in the Wild는 기계학습을 통해서 좀 더 정교하게 구분을 해 냅니다.
이렇게 해서 만든 것이 아래 파란 하늘 사진입니다.
기존 관광객들이 촬영한 사진과 달리 사람이 없습니다. 아래에 안개처럼 보이는 것들이 관광객이나 움직이는 피사체입니다. 이걸 블러 처리했네요.
NeRF in the Wild이 좋은 점은 여러장의 사진을 이용해서 자유롭게 각도를 이동하고 하늘색과 촬영 시간을 내 마음대로 변경할 수 있습니다. 따라서 게임 제작사나 영화 제작사나 3D 콘텐츠 만드는 회사에서 활용하기 좋습니다.
기존의 NeRF와 NeRF in the Wild를 비교해보면 확실히 NeRF in the Wild가 블러 처리를 더 확실히 해주네요.
여기에 거리 차이를 알 수 있는 깊이 차이도 알 수 있어서 3D 사진처럼 보다 생생하게 만들 수 있습니다.
이 거리 차이 즉 깊이 차이를 알 수 있어서 조명 효과, 하늘 변경을 쉽게 할 수 있습니다.
앞으로 관광객들이 촬영한 사진만 가지고 특정 공간을 3D 모델링해서 게임이나 영화나 드라마 CG에 활용할 수도 있겠는데요. 단점은 랜드마크처럼 유명한 공간이어야 촬영한 사진 데이터가 많아야 하는 건 단점입니다.
