챗GPT가 몰고 온 생성형 AI 열풍은 현재진행형입니다. 그리고 구글도 구글 바드를 선보이면서 맞불을 놓고 있습니다. 이 챗GPT 같은 생성형 AI를 개발하는 건 쉽지 않습니다. 개발비도 엄청나게 들어가고 유지 비용도 엄청나게 들어갑니다. 이런 높은 문턱 앞에서 고민하던 네이버는 과감하게 클로바X라는 챗GPT 같은 질의응답 서비스를 2023년 8월 24일 오후 4시에 공개했습니다.
CLOVA X
무한한 가능성을 여는 새로운 대화의 시작
clova-x.naver.com
한 두 시간 사용해 봤는데 장점도 단점도 바로 보이네요.
네이버 클로바X에게 물어보니 대체적으로 답변의 질이 안 좋다
질문은 내가 잘 아는 분야의 질문을 해야 대답을 잘하는지 아닌지 알 수 있습니다.
후지필름에 대해서 물어보니 주식 검색을 했네요. 후지필름은 일본 회사인데 무슨 주식 이야기를 하는지 모르겠네요. 첫인상이 안 좋긴 하지만 첫날이니 너그럽게 봐야겠습니다.
니콘 카메라의 장점과 단점은 좀 성의가 없네요. 니콘 카메라 장점이 화질 좋은 사진이요? 너무 뜬구름식 답변이네요. 풀프렝림 미러리스 가격이 저렴하다고 하는데 아닙니다. 니콘 Z5 만 특별나게 저렴하지 다른 풀프 미러리스는 싸지 않습니다. 단점도 공감이 안 갑니다.
캐논 카메라 단점은 4K에 대한 인색, 붉은색에 대한 발색력이 좋다는 꽤 좋은 답변이지만 전체적으로 일부 내용을 전체로 판단하네요.
캐논 카메라 장점은 꽤 좋네요. 출처 표기를 안 하지만 제 블로그에 쓴 캐논 카메라 장점 글과 비슷하네요.
이번엔 니콘 Z50 크롭 미러리스 장점과 단점을 질문했는데 크롭 미러리스가 대형화된 Z마운트를 통해서 더 많은 빛을 센서에 넣는다는 이해 안 가는 말을 하네요. 전체적으로 공감이 안갑니다. 못쓰겠네요. 이 정도로 대답이 안 좋을 줄이야. 하단에 보니 출처가 있네요. 어떤 답변은 출처가 없고 어떤 건 있네요.
이게 빙 검색의 코파일럿 AI 대답과 챗GPT 방식을 혼재하는 듯합니다. 빙 검색의 코파일럿 AI는 검색을 한 후에 그 결과를 정리해서 내보내서 가짜 정보를 전하는 환각 현상이 없는데 이 방식도 이용하나 봅니다.
그러나 다른 답변을 요구했더니 똑같은 답변을 또 하네요. 1/2, 2/2가 동일합니다.
감상이 아닌 사실을 물어보니
이번엔 어떤 감상이 아닌 누가 물어봐도 답변이 똑같아야 하는 사실 관계입니다. 캐논 EOS R8의 사양을 물어보니 답변하다 맙니다. 꼴랑 4줄만 나옵니다.
반면 구글 바드는 쫙쫙쫙 나옵니다. 저것도 반만 담은 것으로 하단에 또 있습니다.
왜 이렇게 짧게 대답하는지 모르겠네요. 출처가 있기에 눌러보니
전자식 뷰파인더의 -0M50unboxing은 어디서 나온 내용인지 모르겠네요. 초기라서 에러가 많네요.
8월 24일 프로야구 순위를 물으니 네이버 클로바X는 순위만 나옵니다.
구글 바드는 승, 패, 승률과 함께 하단에는 스프레드쉬트로 내보내기도 있고 텍스트 설명도 있습니다. 설명도 깔끔하네요. 구글 바드가 앞승일 듯 하지만 아닙니다. 네이버 클로바X의 반격이 있습니다.
한국 관련 체크는 네이버 클로바X가 잘한다
한국 흥행 영화 순위를 보니 구글 바드에 물어보니 베테랑이 1281만으로 6위네요
그러나 네이버 클로바X는 1314만 명으로 5위네요. 누가 맞을까요?
베테랑은 1341만 명이네요.
이번엔 환각 현상 체크를 해봤습니다. 말도 안 되는 질문을 하는 겁니다. 조선 최악의 왕 중 한 명인 인조가 노트북을 던진 사건을 물어보니 그런 사건 없다고 하네요. 이게 맞죠.
꾸엑~~ 구글 바드 걸렸네요. 환각 증상 오지네요. 인조 자체를 인식을 못합니다. 인조를 인공지능이라고 알더라고요. 인조가 ETRI에서 7년 째 근무하는 AI 연구원이래요. 뭐래~~ 아후... 생성형 AI의 문제점은 모르면 모른다고 하면 되는데 대답을 해야 하는 강박 알고리즘이 있는지 이상한 말을 해요.
한국전쟁 당시 민간인 사망 숫자에 대해서 네이버 클로바X는 잘 말하는데
구글 바드는 잘 답변을 못합니다. 이런걸 보면 한국 관련 질문은 네이버가 주장하는 대로 네이버 클로바X가 잘하네요. 네이버 클로바X는 네이버 블로그와 티스토리 글들을 많이 학습했는지 출처가 이쪽이 많네요. 초반에는 실망스러웠지만 한국 관련 정보는 네이버 클로바 X를 애용해야겠네요.
창작 수준은 구글 바드가 앞승
생성형 AI가 잘하는 건 글 정리와 창작입니다. 창작은 구라를 쳐도 팩트가 틀려도 상관없습니다. 그냥 환각 파티를 해도 됩니다. 네이버 클로바X에게 스파이더맨을 소재로 한 소설 만들어 달라고 하니 처음에는 꽤 그럴싸하게 말하다가
같은 말을 계속하다가 스스로 멈추네요. 버그인가요?
반면 구글 바드는 아주 깔끔하게 만들어주네요.
첫술에 배부를 수 없습니다. 당연히 초기에는 이런 문제점이 있을 수 있고 개선하면 됩니다. 그 개선이 얼마나 빠르냐가 오히려 더 중요합니다. 또한 챗GPT처럼 다양한 플러그인 및 확장 프로그램 기능도 추가되었으면 하네요. 잠시 사용해 보니 네이버가 주장한 대로 한국 고유의 데이터에 대한 답변은 구글 바드보다 좋네요. 그러나 한국 이외의 정보는 영문 자료를 번역해서 보여주는 구글 바드를 따라가기 쉽지 않을 겁니다. 한국어로 된 데이터가 생각보다 많지 않아요. 게다가 한국은 웹 사이트가 거의 없고 블로그, 카페 출처가 많은데 저도 블로거지만 블로그나 카페 정보 중에도 오류가 많습니다.
그래서 뉴스 출처가 좋은데 뉴스를 함부로 AI 학습 데이터로 활용할 수 없고 뉴스들은 정치 이슈 관련 정보는 많지만 특정 분야에 관한 깊이 있는 지식은 없습니다.
아! 하나 더 추가하면 네이버 클로바X는 네이버답게 정치인 관련 질문은 답변을 회피하려고 하네요. 반면 구글 바드는 확실하게 말해줍니다. 예를 들어서 XXX는 친일파인가요? 물어보면 네이버는 정치적 답변을 파하네요.
역시 네이버네요. 정치, 이슈 정말 싫어해요. 회사 DNA에요. 앞으로 어떻게 진화할지 모르겠지만 경쟁이 생기면 좋죠. 네이버는 자동으로 글을 써주는 '클로바 포 라이팅' 베타테스트 신청도 받더라고요. 신청을 했는데 좀 궁금한 게 있어요.
요즘 챗GPT로 자동 글쓰기로 블로그 포스팅을 하는 사람이 많은데 그런 글들이 넘치면 누가 정성을 들여서 글을 쓰겠어요. 그리고 그런 글들이 검색 상위에 노출되면 그걸 또 네이버 클로바 X가 학습을 하면 뫼비우스의 띠인가요? 자기가 생성하고 자기가 학습하고. 알아서들 하겠죠. 검색 품질 망가지는 짓을 스스로 하는 것 아닌가 하는 생각도 듭니다.
그리고 출처라고 하는 블로그 가보면 누가 봐도 자동화 툴로 쓴 글을 출처라고 소개하더라고요. 그래서 답변이 참 조악한 경우가 많네요. 네이버가 이런 문제점 학습을 자동화 툴로 쓴 블로그 글을 학습하면 문제가 커질 수 있습니다.
