아직도 많은 사람들이 고해상도와 고화질을 잘 구분하지 않습니다. 고해상도가 고화질로 착각해서 화소수가 높으면 좋은 카메라라고 생각합니다. 그러나 스마트폰 1,500만 화소와 DSLR의 1,500만 화소 제품은 화소가 똑같지만 화질이 똑같다고 생각하는 사람이 없습니다. 따라서 고해상도가 고화질은 아닙니다. 다만, 고해상도일수록 최신 카메라일 수 있고 어느 정도 연관은 있습니다.
그럼 고화질이 뭐냐! 고화질이란 딱 이거다! 말하기는 어렵습니다. 고화질은 선예도, 해상도, 콘트라스트, 계조 등등 사진을 이루는 다양한 요소를 뭉뚱그려서 만족도가 높고 사진 결과물을 구성하는 요소가 뛰어나면 고화질이라고 합니다. 가끔 색감을 화질로 생각하는 분이 있는데 색감이 화질의 한 요소이지 색감이 화질은 아닙니다.
이 화질 때문에 우리가 이미지센서가 큰 풀프레임 기종을 좋아하죠.
저해상도 이미지를 빠른 속도로 고화질로 변환해주는 구글의 RAISR 기술
우리가 웹에서 보는 사진 이미지들은 해상도가 제각각입니다. 보통 인터넷 웹페이지에 올리는 사진들은 해상도가 낮습니다. 예를 들어 제가 블로그에 올리는 사진의 원본은 4,000 x 3,000 정도인데 이걸 1,000 x 800 정도로 줄여서 올립니다. 고해상도를 올리면 데이터 소비가 많아서요.
그러나 저해상도 사진은 다운 받아서 확대하면 픽셀이 크게 보이는 계단 현상이 생깁니다. 당연한 이치죠. 저해상도는 작게 프린트하거나 웹 페이지 로딩 속도를 빠르게 하기 위해 저용량 저해상도가 좋으니까요. 그러나 요즘 스마트폰의 크기도 커지고 핀치 줌으로 확대해서 보는 일이 많아지면서 이 계단 현상이 눈에 거슬리는 경우가 많습니다.
이런 저해상도 이미지의 계단화 현상을 줄여주는 것이 초해상 기술(Super-resolution)기술입니다. 초해상 기술은 저해상의 사진 또는 동영상을 업 샘플링해서 보다 높은 고품질 고해상도 사진과 동영상으로 변환을 해주는 기술입니다.
이 초해상 기술을 구글이 기계 학습을 기초로하는 RAISR라는 기술로 기존 초해상 기술보다 10~100배 빠르게 처리할 수 있는 기술입니다. 구글 번역도 그렇고 요즘 구글이 인공지능 기술에 알파고가 사용하는 기계 학습 기능을 넣어서 많은 진화를 이끄네요.
기존의 초해상 기술은 위 왼쪽의 저해상 사진의 계단처럼 커진 픽셀이 피사체의 윤곽을 제대로 표현할 수 없기에 이 계단 현상을 지우기 위해서 이미지를 뭉갠 사진으로 만듭니다. 그 결과물이 오른쪽 사진입니다. 계단 현상은 사라졌지만 이미지는 흐릿하게 보이는 초점 나간 사진처럼 나왔습니다. 즉 선예도가 확 떨어진 사진이 됩니다.
위 3장은 가장 왼쪽의 저해상도 원본 사진을 구글의 RAISR 기술을 이용해서 고화질의 사진으로 변환 되는 과정을 담고 있습니다. 보시면 중간 사진은 기존의 초해상 기술의 결과물이고 이 결과물을 기계학습을 하는 RAISR가 보다 선예도가 좋은 사진으로 변환을 합니다.
이게 가능한 이유는 RAISR 기술은 2가지 방법의 훈련을 통해서 저해상도 저화질 사진을 보다 뛰어난 고화질 사진으로 변환을 합니다. 첫 번째는 같은 사진의 저해상도 버전과 고해상도 버전을 통해서 학습을 합니다. 두 번째는 저해상도 이미지를 고화질로 변환하는 기존의 초해상 기술로 업 샘플링 된 이미지에서 학습을 합니다.
즉 기존의 초해상 기술과 똑같은 사진을 저해상도 고해상도 사진을 보면서 스스로 학습을 통해서 보다 나은 고화질 사진으로 변환 합니다.
<기본 저화질 사진 (위), 구글 RAISR 기술을 이용한 후 선예도가 좋아진 고화질 사진(아래)>
이 구글 RAISR 기술을 이용한 샘플 사진입니다. 위 사진은 저해상도 저화질 사진인데 이걸 RAISR로 처리하면 노인의 눈썹 주변의 주름이 보다 선명하고 또렷하게 보이는 것을 알 수 있습니다. 즉, 선예도가 높아졌습니다.
<기존 사진(왼쪽), 윤곽선이 보다 좋아진 구글 RAISR로 변환된 사진(오른쪽)>
이 기술은 기계 학습을 이용하는 기술이라서 학습 시간이 늘수록 더 정교해질 것입니다. 이 기술은 터치 스크린을 이용하는 스마트폰이나 태블릿에서 핀치 줌인, 줌아웃으로 사진을 확대 축소 할 때 해상도는 저해상도를 유지하면서 사진의 윤곽선의 계단 현상을 줄여줄 수 있습니다. 따라서 스마트폰이나 클라우드에 저장된 저해상도 사진을 확대할 때 보다 선명한 윤곽선을 볼 수 있게 지원할 수 있습니다. 가까운 미래에는 저해상도 사진도 계단 현상이 사라질 수 있겠네요.
출처 : 구글 공식 블로그 https://research.googleblog.com/2016/11/enhance-raisr-sharp-images-with-machine.html
