요즘 영화에서는 보기 드물지만 예전 영화들을 보면 CCTV를 보던 주인공이 저기를 확대해봐하면 모니터링 요원이 특정 부분을 확대합니다. 그럼 이미지가 깨진 영상이 보입니다. 이때 주인공이 한 마디를 더 하죠! 선명하게 보이게 해봐! 그럼 버튼 하나만 누르면 깨끗한 고해상도 이미지로 보입니다.
몇 년 전만해도 이런 기술은 거짓이었습니다. 저해상도 이미지를 고해상도 이미지 또는 영상으로 복원하는 영상 복원 기술인 초해상도 기술이 없었습니다. 그러나 몇 년 후에는 영화 속 이 거짓말이 실제가 될 수 있을 듯 합니다.
https://arxiv.org/abs/1612.07919 기사에 따르면 독일의 연구 기관인 Max Plank 인공지능 시스템 연구소 소속 컴퓨터 공학자들이 저해상도 사진을 고해상도 사진으로 변환하는 알고리즘을 개발하고 있습니다.
이 Max Plank 인공지능 시스템 연구소에서 개발하고 있는 알고리즘은 EnhanceNet-PAT이라는 초해상도 기술입니다. 초해상도 기술은 업 컨버트 기술로 이미 상용화 된 개념입니다. HD TV가 나오기 이전 촬영된 SD급 저해상도 TV 영상물을 HD 화질로 변환하는 기술이 바로 초해상도 기술입니다. 또한 HD 해상도의 영상물을 풀HD로 변환하는 것도 초해상도 기술입니다.
Max Plank 인공지능 시스템 연구소에서 개발하고 있는 EnhanceNet-PAT 알고리즘을 이용해서 왼쪽의 저해상도 새 사진을 오른쪽 선명한 고해상도 새 사진으로 변환시켰습니다. 무척 놀라운 기술입니다. 이런 초해상도 기술은 이미 여러 기술이 소개되었습니다. 그러나 실제 모습과 비슷하지만 똑같지는 않아서 좀 어색했습니다.
EnhanceNet-PAT도 다른 초해상도 기술처럼 인공지능의 신경망 기술을 이용하고 있습니다. 그러나 기존 신경망 기술과는 좀 다른 접근법으로 만들어진 알고리즘입니다. EnhanceNet-PAT의 알고리즘은 인공지능 신경망에 거대한 데이터 세트를 제공했습니다. 다양한 질감의 지식을 구축하게 했습니다. 그리고 저해상도 이미지를 고해상도 이미지로 변환하는 훈련을 시켰습니다. 결과물이 실제 사진과 다르면 연구자들이 직접 참여해서 미세하고 정밀하게 이미지를 조정했습니다. 즉 인공지능의 신경망 기술이 스스로 학습하는 것과 함께 인간의 지원을 받아서 기술을 좀 더 정밀하게 만들었습니다.
그래서 나온 결과물이 이 이미지입니다. 위 이미지에서 가장 왼쪽은 저해상도 사진이고 이걸 EnhanceNet-PAT이 고해상도 이미지로 변환한 것이 가운데 사진입니다. 가장 오른쪽에 있는 사진은 원본 고해상도 사진입니다. 보시면 아시겠지만 EnhanceNet-PAT 알고리즘으로 변환한 고해상도 이미지와 실제 원본의 고해상도 사진이 거의 똑같습니다. 수 많은 질감의 패턴을 인식하고 있는 EnhanceNet-PAT 알고리즘이 제대로 변환을 했네요
EnhanceNet-PAT 알로리즘은 구글의 자동 주행 자동차 같은 곳에 응용할 수 있습니다. 멀리 있어서 흐릿하게 보이는 보행자도 보다 선명하게 인식할 수 있는 등 활용할 분야는 무궁무진합니다.
