영화를 보다 보면 CCTV 영상을 보던 수사관이 저 부분을 확대해 봐라고 말하면 모니터 요원이 특정 부분을 확대해서 보여줍니다. 확대 된 화면은 당연히 뿌옇게 보입니다. 그러나 영화에서는 선명하게 해봐!라는 대사 한 줄이면 해결이 됩니다. 버튼을 누르면 저해상도 화면이 선명한 화면으로 변하니까요.
이런 영화 속 장면은 거짓말입니다. 실제로 저해상도 이미지를 고해상도 이미지로 변환해주는 기술은 없으니까요. 그런데 최근 저해상도 이미지를 고해상도 이미지로 변환해주는 기술이 속속 선보이고 있습니다.
저해상도 이미지을 고해상도 이미지로으로 변환해주는 PixelNN 기술
카네기 멜론 대학의 Aayush Bansal씨 등 3명은 가장 가까운 이웃 보간법(nearest neighbor interpolation) 기술과 신경망 기술을 활용한 저해상도 이미지를 고해상도 이미지로 변환하는 PixelNN 기술을 개발했습니다. 이 기술은 다양한 활용 방법을 공개하고 있습니다. 가장 가까운 이웃 보간법은 이미지를 회전, 확대, 변헝 할 때 가장 가까이에 있는 화소 정보를 참고해서 보간을 하는 기술을 말합니다.
<사진 해상도 높이기>
왼쪽의 저해상도 사진을 오른쪽 고해상도 사진으로 자동 변환해 줍니다.
<법선 매핑(normal mapping)>
저해상도 이미지를 법선 벡터의 X.Y.Z 좌표를 대응하는 RGB이미지를 만들 수 있습니다.
윤곽선을 추출해서 RGB 이미지를 만들 수 있습니다.
위와 같이 희미한 저해상도 이미지나 윤곽선만 있는 이미지도 RGB 컬러 이미지로 자동 변환을 해줍니다. 꽤 다양하게 활용할 수 있는 기술입니다. 다만인공지능 신경망을 이용한 추측 이미지라서 결과물이 일정하지 않고 약간씩 다릅니다. 결과물 중에 마음에 드는 것을 선택 사용할 수 있겠네요.
위 이미지에서 Original Image가 원본입니다. 이걸 열화상 카메라로 촬영한 듯한 이미지로 만든 후에 PixelNN기술로 돌렸습니다. 그리고 그 결과물이
Output 이미지입니다. 보시면 똑같지는 않지만 상당히 유사합니다. 특히 수염이 없는 여성분 이미지는 꽤 유사하네요. 남자들은 수염이 없지만 출력 결과물에는 수염이 덥수룩하게 났네요.
이번엔 원본 이미지를 윤곽선만 따서 입력했더니 PixelNN기술이 원본과 유사한 결과물을 보여줬습니다.
아주 똑같다고 할 수없지만 윤곽선만 있어도 색을 입히는 기술이나 고해상도 이미지로 만드는 기술이 꽤 뛰어납니다.
연구팀에 따르면 고속 푸리에 변환을 이용한 주파수 분석을 통해서 이미지의 주파수를 파악할 수 있었고 이 덕분에 더 원본에 가까운 이미지를 만들 수 있었다고 하네요. 위 이미지는 원본 이미지와 중간 변환 단계, 결과물의 이미지 주파수 스펙트럼을 보여주고 있습니다. 인공지능은 이렇게 수치화할 수 있는 분야부터 우리 생활을 변화시키고 있네요. 특히 이미지 가공 분야에서 큰 활약을 할 것으로 보입니다.
