우리가 사물을 인지하는 과정을 보면 먼저 사물을 눈으로 봅니다. 그리고 눈이 본 사물을 기억의 DB와 대조해서 이미 본 것인지 이것이 무슨 사물인지 판단을 합니다. 이 과정에서 지능이 들어갑니다. 그리고 그 사물을 인지하면 그에 알맞는 행동과 처리를 합니다. 우리 눈을 벤치마킹하고 있는 이미지센서는 뇌가 없습니다. 그냥 본 것 그대로 보여줄 뿐입니다. 이미지센서가 촬영하고 저장한 사물은 인공지능이 판단해서 무슨 사물인지 판별할 수는 있지만 이미지센서에서 판단하는 것이 아닌 CPU나 AP와 결합해서 사물 인지 판단을 합니다. 그런데 이 판단을 이미지센서가 자체적으로 하면 다양한 분야에서 편리하게 사용할 수 있습니다.
AI 처리 기능이 들어간 세계 최초의 지능형 이미지센서, 소니 인텔리전트 비전 센서
소니는 AI 처리 기능이 있는 세계 최초의 지능형 비전 센서인 소니 인텔리전트 비전 센서를 발표했습니다. AI 기능이 들어간 이미지센서로 센서 크기는 1/2.3인치 형태입니다. 인공지능이 들어간 이미지센서는 사물을 촬영 및 판별까지 합니다.
이 소니 인텔리전트 비전 센서는 CCTV에 설치하면 CCTV가 고객을 촬영만 하는 것이 아닌 저 고객이 대략 몇 살인지 여자인지 남자인지 어떤 물건을 구매했는지 등등 모든 것을 데이터로 기록하고 판단할 수 있습니다.
보안용 CCTV에 들어가면 낯선 사람을 감지하고 이상 행동을 감지해서 바로 알려줄 수도 있습니다. 스마트 스피커에 들어가면 가족을 얼굴을 보고 판단해서 스마트 스피커 앞에 서면 내가 좋아하는 음악을 자동으로 틀어줄 수도 있습니다.
자동차에서도 응용될 수 있습니다. 운전자가 눈을 감으면 경고를 알려주거나 아니면 블랙박스 카메라로 사용해서 도로 위의 다양한 상황과 피사체를 인지 판단해서 중요한 정보는 디스플레이에 알려줄 수도 있습니다. VFX나 모션 캡처에 사용할 수도 있습니다.
기존 이미지센서는 포토다이오드의 집합체 역할만 했는데 소니 인텔리전트 비전 센서는 AI 엔진과 메모리가 같이 붙어서 스스로 상황 판단, 사물 판단을 합니다. 물론 지금 방식처럼 이미지센서가 촬영한 영상을 컴퓨터로 전송하거나 클라우드에 업로드하면 클라우드와 연결된 고기능 서버가 사물을 판단하고 그 판단 결과값을 보내주는 방식이 더 뛰어난 판단을 할 수 있습니다. 문제는 긴급을 요구하는 상황에서는 언제 클라우드에 업로드하고 서버가 판단한 피드백을 받겠어요. 실시간 처리가 가능해야 하는데 이러려면 5G 이통사 기술이 들어가고 고성능 클라우드 서버가 있어야 합니다.
만에 하나 통신이 끊기게 되면 판단을 할 수 없습니다. 또한 간단한 사물 판단은 클라우드가 아닌 디바이스가 알아서 처리하면 좋죠. 그래서 소니 인텔리전트 비전 센서는 iOT 기기에 사용하기 좋고 온라인 작업 없이 오프라인에서 스스로 판단하고 정보를 처리할 수 있습니다. 온라인 접속이 필요하지 않기에 보안에도 뛰어납니다. 또한 클라우드를 이용하지 않기에 통신 및 전력 소모도 없습니다.
크기는 이렇게 작지만 다양한 작업을 할 수 있습니다.
소니 인텔리전트 비전 센서는 픽셀 칩이 상단에 있고 후면에 로직 칩이 있습니다. 픽셀 칩은 1230만 화소의 픽셀을 가지고 있습니다. 로직 칩은 AI 신호처리 전용의 오리지널 DSP(Digital Signal Processor) 및 AI 모델 용 메모리가 장착되어 있습니다.
이 구성으로 고성능 프로세서나 외부 메모리 없이 로컬에서 인공 지능을 사용할 수 있는 에지 AI 시스템에 사용하기 적합합니다.
픽셀 칩이 촬영한 이미지 데이터는 ISP(Image Signal Processor)를 통과한 후에 AI를 처리하는 로직 칩의 프로세서를 통과하면 데이터 양이 줄어든 메타 데이터가 나옵니다. 예를 들어서 네 발로 걷고 주둥이가 나왔고 멍멍하고 짓는 동물이라고 길게 말할 것을 AI가 강아지라고 단 한단어로 설명하면 딱 좋죠. 이렇게 메타데이터로 처리되면 데이터 정보량이 확 줄어을 수 있습니다.
또한 사물을 바로 바로 인지하기에 사진이나 동영상 안에 어떤 사물이 보이는 지 알수 있고 만약 특정 피사체를 촬영한 영상만 보내달라고 하면 특정 피사체만 보내줄 수도 있습니다. 또한 사물 판단력이 뛰어나면 이미지에 있는 피사체 개수와 사물의 이름을 빠르게 판단할 수 있습니다. 위 이미지는 마트 계산대에 구매한 제품을 쭉 보내기만 해도 사물을 인지하는 모습이네요.
카메라에 인지 능력을 넣은 것으로 경비원 대용으로 사용할 수 있겠는데요. 입구에서 보안요원이 판단해서 입장을 막거나 허락하는데 이걸 카메라 1대로 대체가 가능한 시대가 올 수 있습니다.
AI 이미지센서 소니인텔리전트 비전 센서 사양
소니인텔리전트 비전 센서 이름은 IMX 500, IMX 501
시제품은 IMX 500이 2020년 4월에 IMX 501이 2020년 6월에 소개될 계획입니다. 가격은 IMX 500이 1만 엔으로 약 11만원이고 IMX 501이 2만엔입니다. 가격이 상당하네요. 뭐 시제품 단계이니 비싼데 AI 이미지센서가 보급이 되고 보편화 되면 가격은 확 떨어질 것으로 보입니다. 다만 이 이미지센서가 스마트폰에 들어가야 가격이 확 떨어질텐데요. 세계 최초 인공지능 탑재 스마트폰 카메라 모듈이 나왔으면 하네요.
