특정 부분을 지운 이미지를 자연스럽게 보완해주는 화상 보완기술

일부가 지워진 이미지를 자동으로 보완해주는 기술이 일본 와세다 대학의 연구원이 개발했습니다. 일본 와세다 대학의 연구팀은 '딥 네트워크 신경망 기술을 이용해서 '회상 보완 기술'을 선보였습니다.

구체적으로 설명을 하자면 위 이미지처럼 사진에 여기저기 지우개툴로 그림을 삭제합니다.

지워진 부분을 '딥 네트워크 신경망 기술인 Globally and Locally Consistent Image Completion (GLCIC)'를 이용해서 위 이미지처럼 복원을 합니다. 정확하게는 복원이 아닌 보완입니다. 복원은 100%에 가깝게 다시 재현하지만 지워진 부분을 인공 지능이 추론을 통해서 메워야 하기에 보완이라고 할 수 있습니다.

위 이미지를 보면 원본 이미지 왼쪽과 보안 한 사진 오른쪽을 놓고 보면 거의 비슷한 것을 알 수 있습니다. 대단한 보완력이네요.

이 이미지 보완 기술인 GLCIC를 이용하면 간단하게 불필요한 피사체를 지울 수 있습니다. 예를 들어 철창 밖으로 지나가는 사람을 쉽게 지울 수 있습니다.

이렇게 사람을 지우개 툴로 지우고 보완 기술를 적용하면

이렇게 사람이 싹 사라집니다.

이렇게 불필요한 피사체를 쉽게 지울 수 있게 되면 풍경 사진가들이 좋아하겠네요. 전봇대나 전깃줄 지우는 분들 많은데 그런 분들이 애용하겠네요.

이번에는 얼굴 보완입니다. 뜬금 없이 차인표씨가 나왔네요. 아마 연구원 중에 한국분이나 차인표 팬이 있나 봅니다.

얼굴 전체를 지우고 보완 시켜봤더니 차인표와 상당히 다른 얼굴이 나왔습니다. 어쩔 수 없죠. 아무런 정보 없이 지워진 이미지를 추론만으로 보완하기에는 무리가 있습니다.

그래서 얼굴 부문만 지우고 보완을 시켜보면

그나마 조금 낫긴 합니다.

그러나 똑같이 보완은 할 수 없네요. 이는 기술적인 문제일 수도 있지만 인간도 할 수 없기에 기술이 떨어진다 한계가 있다고 할 수 없습니다. 다만, 추론만으로 이렇게 비슷하게 만드는 것 자체가 대단한 기술이라고 봅니다. 사람 얼굴 같이 패턴이 정형화 되지 않고 조금만 어색해도 확 티가 나는 피사체는 약하지만 위에서 본 철창이나 풍경 사진 보완은 꽤 정확도가 높습니다.

이미지 보완 기술인 GLCIC

이미지 보완 기술인 GLCIC는 보완 네트워크와 이미지를 평가하는 '전역 식별 네트워크', '국소 식별 네트워크'라는 총 3개의 네트워크로 구성되어 있습니다. 모든 계층이 회선 네트워크로 구성된 보완 네트워크가 이미지가 지워진 영역을 보완 한 이미지를 출력하면 '전역 식별 네트워크'가 전체 이미지를 '국소 식별 네트워크'가 지워진 부문과 지엽적인 이미지 영역을 각각 자연스럽게 보완이 되었는가를 평가하고 보완을 합니다. 이 평가하고 보완 과정은 한 번에 끝내는 것이 아닌 끊임 없이 묻고 수정하고 묻고 수정하면서 정확도를 높여갑니다.

이 GLCIC 기술은 다른 이미지 보완 기술보다 우수합니다. 그 이유는 점점 기술이 딥 러닝을 통해서 정확도가 진화합니다. 위 이미지를 보면 소녀의 헤드폰, 창문 등을 임의로 삭제했습니다. 이 지워진 이미지를 복원하는데 2009년보다 2012년이 더 좋고 2014년보다 2016년이 더 좋습니다. 마지막 보완 그림은 아주 매끈하네요