사진을 촬영한 후에 불필요하고 지저분한 배경을 제거하기 위해서 누끼따기를 합니다. 이 작업은 손이 많이 가서 고단한 작업입니다. 동영상은 누끼따기 대신 파란색이나 녹색의 천을 배경에 넣어서 크로마키 기법으로 배경을 지우고 다른 배경을 넣습니다. 이것도 참 번거롭죠.
구글이 이런 배경을 실시간으로 지우는 기술을 개발했습니다.
Mobile Real-time Video Segmentation
구글 공식 블로그에 올라온 글을 소개합니다.
구글은 인물과 배경을 분리하는 기술을 선보였습니다. 이 기술은 회선 신경망(CNN) 기술을 이용해서 기계 학습을 통해서 구현했습니다. 위 이미지를 보면 배경이 실시간으로 바뀌는 것을 알 수 있습니다.
이 기술을 위해서 구글은 세분화를 가능하도록 수십만의 이미지 데이터를 학습시켰습니다. 이미지에서 머리, 목, 피부 등의 각 부위마다 정보를 습득하도록 훈련시켰습니다.
이 배경을 지우는 기술은 이전에도 LSTM과 GRU라는 기술이 있었습니다. 그러나 이 기술은 비용도 많이 들고 부하가 많이 걸리는 작업입니다. 구글은 스마트폰에서 사용할 수 있게 하려면 부하도 적고 처리 과정의 비용이 적은 기술을 개발해야 했습니다. 동영상은 프레임이라고 불리는 1장 1장의 사진을 모아서 만들어집니다. 구글은 프레임과 프레임 사이에서는 거의 변화가 생기지 않는 것을 관찰한 후 인물의 위치를 각 프레임마다 계산하는 대신 이전 프레임에 있던 인물의 위치를 고려해서 현재의 인물의 위치를 계산하는 방식으로 부하를 줄였습니다.
구글은 이외에도 계산하는 부하를 줄이기 위해서 연구를 거듭한 후 아이폰7의 100FPS이상 구글 픽셀2의 40FPS 이상의 동영상 촬영에서도 이 분할 기술을 적용할 수 있도록 고속 처리 실현 기능도 개발했습니다. 이 기술은 유튜브에서 선보일 예정입니다. 그러나 그 시기는 밝히지 않았습니다.
앞으로 동영상 촬영이나 스트리밍 동영상 촬영을 할 때 실시간으로 편하게 배경을 바꿔서 1인 방송이나 사진을 촬영할 수 있겠네요. 특히 동영상 콘텐츠 제작자들에게 큰 인기를 얻겠네요.
