본문 바로가기
IT/IT월드

피사체만 확대하고 배경은 그대로 두는 AI기술 3D Ken Burns 효과

by 썬도그 2019. 9. 19.
반응형

사진을 확대한다는 의미는 말 그대로 피사체와 배경 모두 확대해서 본다는 의미입니다. 그러나 몇년 후에는 피사체만 확대해줘라는 식으로 전경만 확대하고 배경은 그대로 두는 기술이 나올 것으로 보입니다. 


<원본 사진>

<3D Ken Burns 효과>

위 사진은 흔한 결혼식 사진입니다. 그런데 이 원본 사진에 3D Ken Burns 효과를 입히면 신부가 살짝 더 확대 되었고 화각도 살짝 다릅니다. 이미지 확대라고 할 수 있는데 배경 앞에 나란히 서 있는 분들은 크기가 그대로입니다. 

전경에 있는 주 피사체만 확대하고 중경, 배경에 있는 피사체는 그대로 둘 수 있는 기술이 3D Ken Burns 효과입니다. 


좀 더 구체적인 예가 있습니다. 위 사진에서 2D 사진은 확대를 하면 전경에 있는 바위와 배경이 되는 폭포까지 확대를 합니다. 그래서 왼쪽 상단 사진에서는 오른쪽에 폭포 1줄기가 더 보이는데 이걸 확대한 왼쪽 아래 2D 사진은 오른쪽에 있는 1줄기 폭포가 안 보입니다. 

반면 3D Ken Burns는 배경은 그대로 두고 전경의 바위만 커졌습니다. 또한 바위 상단 뾰족한 곳이 폭포를 살짝 가립니다. 즉 화각이 살짝 바뀌었습니다.  이 3D Ken Burns는 전경의 피사체의 화각과 크기를 확대하는 효과로 영상 제작에도 도움이 될 것으로 보입니다. 

<원본>

<3D Ken Burns>

위 사진을 보면 3D Ken Burns 효과를 먹인 사진의 쇼파가 더 커 보이지만 유리창 뒤 풍경은 그대로인 것을 알 수 있습니다. 
이 
3D Ken Burns 효과는 원근법의 원리를 이용한 기술입니다. 연구팀은 언리얼 엔진4가 마켓 플레이스에 공개한 가상의  3D 공간 32개를 이용해서 실내, 시내, 교외, 자연 등의 촬영 한을 13만 4041 장면을 촬영하고 VGG-19, Mask R-CNN Refinement Network 등 3 종류의 신경망에 업로드해서 이미지 안에서의 각각의 객체의 깊이에 대한 기계학습을 시켰습니다. 

3종류의 신경망은 기계 학습을 통해서 포인트 클라우드와 각각의 지점에서 객체의 깊일을 알 수 있었습니다. 3D Ken Burns 효과는 이 깊이 값에서 카메라를 움직이는 것처럼 이미지의 개체의 배율을 별도로 계산 했습니다. 확대 과정에서 개체에 균열이 발생하거나 왜곡하는 경우가 있어서 연구팀은 상황에 따라서 자동 적용 수정 시스템도 개발했습니다. 


이 연구는 포틀랜드 주립 대학의 사이먼 니콜라스가 발표한 논문 내용입니다. 이 3D Ken Burns 효과 연구는 어도비 산하 연구 기관인 어도비 러서치의 인턴 기간 동안 만든 논문으로 2명의 어도비 연구원과 함께 연구를 했습니다. 

아마도 이 3D Ken Burns 효과는 어도비 제품에서 만나볼 수 있을지도 모르겠네요. 

출처 : https://arxiv.org/abs/1909.05483

반응형