삼성전자 갤럭시S22가 워낙 망작이라서 많이 팔리지 않았습니다. 퀄컴 AP 성능이 무척 떨어지는데 게임할 때만 성능을 낮추는 GOS 논란까지 참 문제가 많았습니다. 그러나 갤럭시 S23은 이런 문제점을 어느 정도 개선하고 나와서 잘 팔리고 있습니다. 그런데 삼성전자 갤럭시 S 시리즈가 아이폰보다 사진 성능이 뛰어나다는 점을 내세우려고 노력을 하지만 주로 AI를 기능을 이용해서 사진 후보정을 빠르게 하는 데 초점이 맞춰져 있습니다. 광학 성능과 이미지센서와 사진 후보정 능력이 좋아야 하는데 AI 기능을 이용한 기능만 내세우네요. 이는 잘못된 방향입니다. AI는 어디까지나 부가 기능이지 그게 메인 성능처럼 전면적으로 내세우는 것은 후폭풍이 일어날 수 있습니다.
그 후폭풍이란 AI가 만진 사진이 사진 보정이 아닌 사진 수정이 되어 버리면 극대노를 하는 사람들이 꽤 많다는 겁니다.
먼저 갤럭시 S23의 카메라 성능은 어떤지 보죠.
DXOMARK의 스마트폰 카메라 랭킹을 보면 최신폰인 삼성 갤럭시S23은 놀랍게도 10위 안에 들지 못했습니다. 화웨이 폰들이야 거대한 이미지센서를 넣은 카메라 특화폰이라고 해도 899달러인 구글 픽셀 7 프로보다 점수가 낮네요. 경쟁 제품이라고 할 수 있는 애플 아이폰 프로 맥스는 물론 14 프로와 심지어 아이폰 13 프로와 프로 맥스까지에도 밀립니다.
심지어 599달러짜리 구글 픽셀7과 후면 카메라 점수가 140점으로 동일합니다. 오디오 점수도 아이폰 14 시리즈보다 못하고 심지어 디스플레이도 아이폰 14 프로 시리즈보다 1점 낮네요. 그나마 배터리 점수가 142점으로 1위를 차지했네요.
카메라 자체 성능이 140점 전체 공동 11위 그것도 애플 아이폰 13에도 밀리고 구글 픽셀 7과 동일 점수라는 점은 좀 놀랍네요. 요즘 삼성전자 카메라 사업부는 일을 제대로 하는 게 맞나? 할 정도로 아쉬운 점이 많습니다. 전체적으로 보면 삼성전자 이미지센서의 문제가 아닐까 하는 생각도 들정도입니다.
최근 삼성전자 이미지센서 주 고객인 샤오미가 소니 이미지센서로 이탈을 하는 등등 삼성전자 이미지센서 주요 고객 이탈 현상이 좀 보입니다. 뭐 삼성전자는 CCTV나 차량용 카메라 이미지센서 등을 만들어서 수요는 꾸준히 늘겠지만 주력 사업부인 스마트폰용 이미지센서에서 점점 소니에게 밀리는 느낌도 드네요. 2억화소다 뭐다 해서 화소수를 강조하는데 화소수도 중요하지만 더 중요한 것은 사진 화질입니다. 배경 흐림 능력이나 사진 결과물, 줌 기능, 동영상 기능 등등 결과물이 좋아야 하는데 딱히 뛰어난 결과를 보여주지 못하네요.
이걸 삼성전자도 잘 알고 있겠죠. 그래서 삼성전자는 수년 째 디지털 줌 + 광학 줌을 이용한 100배 줌이 된다는 스페이스 줌을 전면에 내세우고 있습니다. 스페이스 줌 기능을 이용해서 달을 선명하게 담을 수 있는 폰이라고 강조하죠. 그런데 이 스페이스 줌이 가짜 달을 찍고 있다는 논란이 일고 있습니다.
삼성 갤럭시 S의 스페이스 줌의 가짜달 논란
미국의 대형 커뮤니티인 레딧에서 ibreakphotos라는 아이디를 사용하는 사용자가 스페이스 줌 기능은 가짜라는 글을 올렸습니다.
ibreakphotos는 인터넷에서 선명한 달 사진을 다운로드 했습니다. 달의 음영이 잘 담긴 사진입니다. 이 사진을 해상도를 크게 축소한 후에 가우시안 블러를 입혀서 흐리게 했습니다. 그 사진이 위 사진의 왼쪽 사진입니다. 이 사진을 pc 모니터에 띄운 후에 좀 떨어진 곳에서 갤럭시 S22의 스페이스 줌으로 촬영을 했습니다. 그랬더니 원본 사진에서도 보이지 않던 선명한 달의 음영이 담겼습니다. ibreakphotos는 장면 최적화 기능을 끄고 촬영하면 스페이스 줌을 사용해도 흐릿하게 담기지만 장면 최적화 기능을 켜면 AI가 작동해서 선명하게 만드는 것 같다고 말했습니다.
아니 원본이 저렇게 흐릿한데 어떻게 선명한 달의 음영을 담을 수 있냐는 주장을 했고 많은 사람들이 속았다. 이건 AI가 달을 합성한 사진이라는 주장까지 나왔습니다. 갤럭시폰에 수많은 달 사진을 저장하고 있다가 달 사진을 촬영하면 잽싸게 비슷한 음영의 달 사진을 꺼내서 실시간으로 합성한다고 주장했습니다. 이런 행위는 사기라고 할 수 있죠. 진짜 달이 아닌 다른 사람이 촬영한 달 사진으로 실시간으로 합성을 하니까요.
이런 논란이 일어나자 삼성전자는 전체적인 과정을 소개하는 글을 삼성전자 모바일 뉴스룸 사이트에 올렸습니다.
삼성전자는 선명한 달 사진을 촬영하기 위해서는 슈퍼 해상도를 이용해서 25배 줌 이상으로 촬영한 10개의 사진을 촬영하고 이를 합성을 합니다. 이 합성 과정에서 노이즈를 제거하고 선명도 및 기타 세부 정보를 향상합니다. 이 과정은 장면 최적화 기능을 켜면 진행되고 끄면 진행되지 않습니다.
따라서 AI의 힘을 빌지지 않고 오로지 디지털줌과 광학줌으로 촬영한 사진을 화상처리엔진이 살짝 손을 보고 내놓은 사진이 위 사진 중 가운데 있는 사진이고 AI가 개입해서 노이즈 줄이고 해상도 개선한 장면 최적화가 진행된 사진이 위 사진 중 오른쪽 사진입니다. 그런데 결과물이 너무 차이가 나죠. AI의 힘이 엄청나게 좋은지 놀라운 결과물을 만들어 주네요.
여기서 중요한 건 저 장면 최적화를 켜고 촬영한 사진이 사진 보정이냐 수정이냐입니다. 보정과 수정의 차이는 엄청납니다. 이는 기록 사진과 연출 사진의 차이입니다. 누누이 말하지만 기록 사진과 연출 사진은 장르가 다릅니다. 기록 사진은 사실을 담아야 하지만 연출 사진은 사진을 왜곡해도 됩니다. 텍스트로 말하면 뉴스와 소설의 차이죠.
사실을 다듬어서 이해하기 쉽게 만드는 뉴스를 사진 보정이라고 할 수 있고 사실에서 영감을 얻어서 거짓말을 잘 엮어서 만든 것을 소설이라고 할 수 있습니다. 소설은 사진으로 말하면 사진 수정입니다.
삼성 갤럭시S의 스페이스 줌은 사진 보정이냐 수정이냐
그럼 삼성전자 갤럭시 S 시리즈의 스페이스 줌은 사진 보정일까요? 수정일까요? 삼성전자의ㅏ 보도 자료에는 자세한 내용이 담겨 있습니다. 스페이스 줌 기능을 이용해서 장면 최적화를 하면 AI 딥 러닝 모델을 사용해서 달을 촬영하면 달을 바로 인식합니다. 광원체가 달이라고 인식되면 가장 먼저 노출을 내립니다.
달 촬영해보시면 아시겠지만 생각보다 달은 강한 광원체입니다. 따라서 노출을 2~3 스텝을 내려야 달의 음영이 보입니다. 그렇게 노출을 내리면 자연스럽게 셔터스피드가 빨라져서 달은 삼각대 없이 촬영할 수도 있습니다. 달만 찍는다면 최신 카메라는 삼각대가 필요 없습니다.
이후 갤럭시 S폰은 달을 OIS와 VDIS의 손떨방 기술을 이용해서 줌락 기능을 켭니다. 그리고 1.5초 정도 달을 향해서 유지해 주면 여러 장의 사진을 촬영한 후 기본적인 노이즈 제거 및 해상력 증가를 가동합니다.
그리고 논란이 되고 있는 장면 최적화 기능이 작동되면서 AI가 디테일을 향샹시킵니다. 여기서 AI가 수많은 사진 중에 비슷한 사진으로 교체하는 합성 작업을 하느냐? 아닙니다. 그런 행동하지 않습니다. 다만 엄청난 양의 달 사진을 딥 러닝을 해서 흐릿한 사진이 들어오면 추론 작업을 통해서 선명하게 만들어줍니다.
요즘 이미지생성 AI들을 보면 흐릿한 사진도 선명하게 만들어주는 기능들을 선보이고 있는데 이게 가능한 것은 뛰어난 추론 능력 때문입니다. 선명한 사진과 그 사진을 흐릿하게 한 사진을 학습 시키면 흐릿한 사진만 보여줘도 선명한 사진을 추측할 수 있는 것처럼요. 그겁니다. 추론 따라서 가짜 달은 아닙니다. 뛰어난 추론으로 선명하게 추측할 뿐이죠
문제는 이 추론이 정확도가 100%면 논란이 종식 되겠지만 100%가 되지는 못할 겁니다. 오차가 조금이라도 있죠. 다만 추론능력이 얼마인지는 저도 모르겠습니다. 따라서 삼성전자가 이 가짜 달 논란을 종식 시키려면 갤럭시S의 스페이스줌으로 촬영한 사진과 카메라에 고배율 줌렌즈로 장착하고 촬영한 사진을 여러 장 보여주면서 추론이지만 이렇게 정확하다. 가짜가 아니다. AI 추론이 이 정도로 좋고 정확도는 몇 %인지 밝히면 됩니다. 이걸 제대로 해명을 안 하니 사람들은 스페이스 줌이 사진 보정이 아닌 수정이 아니냐고 주장을 하고 실망스럽다고 합니다.
AI 추론을 이용한 사진 가공. 수정이냐 보정이냐 논란
최근 캐논은 딥러닝 기술을 이용한 사진 보정 기능을 선보였습니다. 원본은 비포, AI 딥러닝 기술을 이용해서 추론으로 만들어낸 해상도 개선 사진이 에프터입니다.
위 두 이미지도 캐논이 선보일 예정인 AI 딥러닝 기술을 이용한 사진 해상력 개선 사진입니다. 흐릿하게 담긴 사진을 좀 더 선명하게 담는 것이죠. 이건 누가 봐도 보정입니다. 스페이스 줌도 보정이라고 할 수 있고요. 다만 이걸 보정이라고 증명하는 작업을 확실하게 해줘야 합니다. 추론을 통해서 사진을 선명하게 하는 걸 사람들이 이해 못 하는 사람들이 엄청 많습니다.
따라서 쉽게 설명하는 유튜브 영상을 만들거나 요즘 AI 추론 능력이 거의 100%에 가까우니 진짜라고 봐도 무방하다고 달래야 합니다. 지금 스페이스줌이 가짜 사진이라는 논란이 일파만파로 커지고 있습니다. 다 기술 과도기라서 그럴 수 있지만 동시에 논란이 쉽게 가라앉지 않고 오히려 딥 러닝 AI 기술을 이용한 추론 기능으로 사진을 좀 더 선명하게 만들고 색수차도 없애주는 것은 실제라고 해도 없던 것을 넣는 것도 가능하기에 논란이 될 수 있겠네요.
따라서 AI 추론 기능은 실제 존재하지만 흐릿하게 담기는 것을 선명하게 해주고 색수차를 없애주고 보케를 좀 더 찐하게 해주는 정도 즉 보정으로만 끝내야지 수정까지 하면 큰 논란이 될 겁니다. 또한 앞으로 AI에 의한 사진 보정이 아니 수정이나 합성이면 사진에 자동으로 합성 사진 AI를 통한 합성 사진임을 명시하는 기능이 들어가면 어떨까 하는 생각도 드네요.
