갤럭시S9은 전작과 크게 다르지 않은 기능에 관심도가 확 떨어졌습니다. 다만 초슬로우 모션은 꽤 좋더군요. 갤S9의 슈퍼슬로우 모션은 940fps의 영상을 제공해서 빠르게 움직이는 피사체를 아주 느리게 움직이는 모습으로 담을 수 있습니다. 60fps가 우리가 느끼는 실제 속도와 동일한 최대 속도이고 120fps 가 2배 느린 영상을 담습니다. 940fps면 8배 느린 영상입니다. 뛰어오는 강아지나 고양이 또는 아기와 아이들의 빠른 움직임을 느리게 자세히 관찰해서 볼 수 있습니다.
그러나 이런 슈퍼 슬로우 모션을 촬영하려면 카메라가 지원을 해줘야 합니다. 대부분의 디지털 카메라나 스마트폰 카메라는 슬로우 모션 기능이 있지만 높아봐야 120fps나 240fps 정도 밖에 되지 않습니다. 게다가 화질도 HD급이 최고인 경우가 많죠.
일반 영상을 초슬로우 모션으로 만들어주는 엔디비아의 Super Slomo 기술
엔비디아(NVIDIA)는 솔트레이크 시티에서 열린 컴퓨터 비전과 패턴 인식 컨퍼런스에서 기계 학습을 이용한 초슬로우 모션 기술인 '슈퍼 슬로모(Super Slomo)'를 발표했습니다. 이 기술은 일반 영상을 초슬로우 모션으로 만들어주는 기술입니다.
위 영상 중 상단의 영상은 일반 영상입니다. 이 영상을 느리게 재생하면 뚝뚝 끊깁니다. 당연하죠. 느리게 재생하면 그 느린 시간만큼 채울 프레임 숫자가 딸리기 때문에 뚝뚝 끊깁니다. 그래서 프로야구에서 비디오 판독을 할 때 일반 영상으로 촬영한 영상을 느리게 보여주면 뚝뚝 끊깁니다. 간혹 야구 중계 카메라 중에 초슬로우 모션을 지원하는 카메라로 촬영한 영상은 느리게 재생을 해도 부드럽게 보입니다. 이는 카메라가 초슬로우 모션을 지원하느냐 안하느냐에 따라 다릅니다.
그러나 엔비디아의 '슈퍼 슬로모(Super Slomo)' 기술을 이용하면 일반 영상을 느리게 재생해도 부드럽게 재생을 할 수 있습니다.
이게 가능한 이유는 '슈퍼 슬로모(Super Slomo)' 기술은 느리게 재생해서 생기는 부족한 프레임을 인공지능의 기계 학습 기술을 이용해서 빈 프레임을 기존 영상을 토대로 예측한 영상을 집어 넣기 때문에 가능합니다. 60fps 영상을 무려 480fps로 재생할 수 있습니다.
기계 학습 기술은 엔비디아의 Telsa V100과 딥 러닝 라이브러리인 cuDNN 딥 러닝 프레임 워크 'Pytorch'를 사용하여 240fps로 늘릴 수 있었습니다.
이 '슈퍼 슬로모(Super Slomo)'기술은 스포츠 중계 영상에서 큰 활약을 할 것으로 보입니다. 너무 빨라서 보지 못한 장면을 슬로우 모션으로 재생할 때 좀 더 부드럽게 재생을 할 수 있습니다. 기계 학습은 약 1만 1천개의 영상을 보고 학습을 시켜서 훈련 시킨 결과입니다. 더 정교한 영상을 위해서 다른 데이터 세트를 이용할 예정입니다.
일반 영상은 30fps와 60fps가 있습니다. 이 일반 속도 영상을 중간 프레임을 자동으로 생성해서 240fps와 480fps로 만들 수 있습니다. 이 기술이 상용화되고 보편화 되면 예능과 스포츠 현장에서 너무 빠르게 움직여서 보지 못한 장면을 초슬로우 비디오로 볼 수 있겠네요.
