본문 바로가기
IT/IT월드

챗GPT 등의 대화형 AI는 단어계산기일뿐 팩트 판별기가 아니다

by 썬도그 2023. 4. 4.
반응형

새로운 도구가 나오면 세상은 열광을 합니다. 2021년에는 NFT에 열광했고 2023년은 챗GPT가 일으킨 생성형 인공지능에 열광을 하고 있습니다. 그러나 뭐든 초기에는 극까와 극빠가 공존하게 됩니다. 저는 양쪽 극단주의를 싫어해서 최대한 차분하게 바라보려고 하고 있습니다. 

먼저 생성형 AI는 NFT와 달리 미래를 바꿀 힘과 에너지와 능력이 있습니다. 기존의 AI와 크게 다른점은 기존이 AI는 글, 그림, 영상, 텍스트를 생성하지 못했습니다. 이게 맞아 틀려라고 하면 고개만 까딱이는 정도였고 사람의 빅데이터를 모아서 분석해 주는 역할만 했습니다. 그러나 생성형 AI는 다릅니다. 글, 그림, 사진, 영상을 생성할 수 있습니다. 그래서 콘텐츠 생산자들과 사짜라고 하는 전문가 집단도 두려움에 떨고 있습니다. 

그러나 제가 느낀 챗GPT는 그냥 하나의 콘텐츠 제작을 지원하는 도구이지 주도적으로 나서기에는 아직까지는 미흡한 점이 많습니다. 물론 5년 후 또는 10년 후에는 인간보다 더 뛰어난 결과물을 내놓을 수 있지만 현재까지는 인간의 업무를 도와주는 말 그대로 코파일럿(부조정사) 역할을 하는 정도입니다. 

그렇게 뛰어나다고 하는 챗GPT도 튜링 테스트를 통과하지 못했습니다. 인간과 대화를 해서 인간인지 A.I인지 구분이 안 될 때 또 한 번의 혁명이 일어나겠죠. 그러나 지금은 텍스트 결과물도 이미지도 실제와 인공지능이 만든 결과물의 차이가 조금이라도 있습니다. 다만 그 차이가 점점 줄어들고 있고 언젠가는 구분을 못할 때가 올 겁니다. 

그런데 챗GPT가 뭘 잘하고 뭘 못하는지 구체적으로 이게 뭔지 알아야 챗GPT라는 새로운 도구를 잘 활용할 수 있을 겁니다. 

사실 같이 말하지만 정확하게는 사실이 아닌 여러 정보를 섞기만 하는 챗GPT

챗GPT에 열광했던 사람도 자신이 잘 아는 분야에 대한 전문적인 지식을 질문하면 바로 실망하게 됩니다. 왜냐하면 답변이 그럴싸한데 아닌 내용이 꽤 많습니다. 나름 카메라에 관한 지식을 꾸준히 쌓고 있어서 카메라 구매 조언까지 하는 수준이라서 카메라 브랜드마다 장점 단점을 잘 알고 있습니다. 그래서 물어봤더니 

챗GPT 등의 대화형 AI는 단어계산기

비전문가나 카메라를 잘 모르는 분들은 맞는 말인가보다 하겠지만 제가 보면 몇몇은 인정하지만 몇몇은 인정할 수 없는 내용도 많습니다. 높은 사용자 친화성이나 강력한 렌즈군은 맞는 말이죠. 그러나 뛰어난 이미지 품질은 아닙니다. 니콘이 더 좋습니다. 니콘이 사진 쪽은 캐논보다 좀 더 좋습니다. 다만 인물 색감은 캐논이 좋아서 여자분들이 캐논 좋아하죠. 그러나 DR이나 이미지센서 자체는 사골센서로 유명한 캐논보다 좋습니다. 다만 최근 캐논이 새로운 이미지센서가 나오면서 이 단점은 줄어들고 있긴 합니다. 

단점도 대체적으로 맞는 말을 하지만 100% 옳은 말은 아닙니다. 

챗GPT 등의 대화형 AI는 단어계산기

그럼 이 정보는 어디서 구했냐고 물어보니(챗GPT는 질문에 답변을 잘 하는 AI로 이것도 대답할까 하는 것도 대답을 합니다) 다양한 웹페이지, 리뷰 사이트, 블로그, 포럼에서 취합했다고 하네요. 

챗GPT 등의 대화형 AI는 단어계산기

수많은 곳에서 텍스트 정보를 분석하고 학습하는데 인터넷에 올라온 정보들이 100% 모두 팩트라고 할 수 없죠. 특히 제품 리뷰 같은 건 주관도 많이 들어가니까요. 또한 사실 오류인 정보도 많습니다. 그래서 틀린 정보도 수집하냐고 물으니 그렇다고 하네요. 100% 정확한 정보를 제공할 수는 없으며 필요한 경우 추가 검증이 필요하다고 하네요. 이제 맞습니다. 100% 정확하지 않기에 사람이 크로스체크를 해야 합니다. 

챗GPT 등의 대화형 AI는 단어계산기

빙 神이 되었다는 빙 검색의 코파일럿 채팅 검색 서비스는 챗GPT4.0을 이용한다고 하죠. 그런데 같은 질문도 챗GPT와 빙의 챗GPT4.0의 답변이 다릅니다. 

또한 하단에 정보 출처도 표기하죠. 그러나 마찬가지로 캐논 카메라의 장점과 단점 중 50% 정도만 공감가고 나머지는 뜬금없는 답변도 있습니다. 또한 두루뭉술수리한 답변도 많이 보입니다. 

반응형

챗GPT 같은 대화형 AI는 초점 나간 이미지 같은 존재

챗GPT 등의 대화형 AI는 단어계산기

위 사진은 뭔지 다 아시죠. 대관람차입니다. 그런데 초점이 나갔네요. 그래서 선명하게 안 보입니다. 챗GPT나 구글 Bard나 기타 여러 대화형 AI는 이런 초점 나간 사진과 같습니다. 선명하지 않고 두루뭉술수리한 상태로 말을 합니다. 모든 것을 확률로 답합니다.

먼저 챗GPT는 언어 문법을 완벽하게 학습했습니다. 특히 영어 문법은 한글 문법보다 강력하죠. 한글은 보다 자유롭지만 그럼에도 문법이 있습니다. 문법을 채득한 후 각종 단어를 가장 높은 확률의 단어를 배치합니다. 

예를 들어 '집에' 다음에 나오는 단어는 가다, 도착하다, 연락하다 등 사용할 수 있는 단어가 몇 개 안 됩니다. 갑자기 날다가 나올일은 없습니다. 이렇게 수많은 문장을 학습하고 가장 높은 확률의 단어를 배치합니다. 이러다 보니 두루뭉술수리하게 대답을 곧잘 합니다. 그러나 자세히 들여다보면 엉뚱한 답변도 내가 원하는 답변을 하지 못하는 경우도 많이 보게 됩니다. 

그래서 챗GPT는 단어계산기라고 하는 지적이 해외에서 나오고 있습니다. 

https://simonwillison.net/2023/Apr/2/calculator-for-words/

 

Think of language models like ChatGPT as a “calculator for words”

One of the most pervasive mistakes I see people using with large language model tools like ChatGPT is trying to use them as a search engine. As with other LLM …

simonwillison.net

위 내용을 보면 SF 소설 작가로 유명한 '테드 창'은 뉴요커에서 쓴 컬럼에서 챗GPT는 웹의 흐릿한 JPEG 이미지라고 비유했습니다. 역시 문인이라서 비유가 찰떡이네요. 챗GPT 같은 언어 모델은 웹에서 많은 정보를 수집하고 배우지만 이미지처럼 정확한 비트를 배열하지는 못하고 근사치만 얻을 수 있습니다. 우리가 매끈하다고 느끼는 이유는 정보는 정확하지 않지만 문법적으로 완벽하기에 매끈하게 느껴지게 됩니다. 

이전에는 문법부터 틀려서 알아서 들어야 했습니다. 그러나 이제는 문법이 아주 정확하고 이 모습에 열광하는 것도 크죠. 중요한 건 대답의 신뢰성인데 이게 100%가 되지는 못합니다. 다만 100%에 점점 가까워지다 말 뿐이죠. 그래서 두루뭉술수리하게 여러 정보를 취합하다 보니 확률이 높은 단어 배열을 하다가 거짓말도 하게 됩니다. 

이걸 바로 AI의 환각 증상이라고 합니다. 

챗GPT 등의 대화형 AI는 단어계산기

그래서 직접 챗GPT에 물어봤습니다. 답변의 신뢰성에 대해서 물으니 역시나 두루뭉술수리하지만 솔직하게 대답하네요. 정확성과 완정성이 보장되지 않으니 참고용으로만 사용하라고 합니다. 아이쿠 이런 면에서는 똑똑하네요.

대화형 AI의 답변은 참고 자료이고 아직까지는 사람이 크로스 체크를 해야 합니다. 따라서 이걸 가지고 무슨 구글은 망했다느니 하는 소리는 무시하셔야 합니다. 조회수 올리려고 하는 소리죠. 그 똑똑하다는 사람도 뉴스 생산할 때 크로스체크를 거치고서도 오류를 범하기도 하는데요. 우리도 그렇잖아요. 어떤 정보 하나 얻는데 검색 1번 하고 끝나나요? 중요한 정보를 구할 때는 구글, 다음, 네이버 다 돌아다니고 출처인 블로거나 웹 사이트 신뢰성도 살펴보죠. 

그래서 믿을지 말지 스스로 판단하고 검색을 많이할수록 정보량은 많고 팩트가 뭔지 알게 되잖아요. 그런 면에서 챗GPT로만 세상을 판독하고 정보를 얻으면 안 됩니다. 

챗GPT가 잘하는 건 있습니다. 바로 어떤 정보를 하이라이트로 요약하는 건 잘합니다. 이건 판단을 요하는 게 아닌 기존 글을 요약만 하면 되니까요. 또한 화법을 바꾸는 것도 잘합니다. 이는 문법만 바꾸면 되니까요. 

챗GPT 잘 사용하는 방법 

위 링크 글에서 챗GPT 잘 활용하는 방법이 있어서 소개합니다. 

  • 요약 : 컬럼이나 긴 내용의 문장을 주고 요약을 요청한다
  • 질문 답변 : 텍스트 단락을 제공하고 해당 단락에 나타나는 정보에 대한 특정 질문 요청
  • 사실 추출 : 기사가 제시한 사실을 보여주는 중요 항목을 요청
  • 문장 톤 변경 : 전문적으로 건방지게, 냉소적으로 사투리로 식으로 문장을 특정 톤의 문장으로 전환
  • 제목 제안 :  긴 문장과 글의 제목을 만들어 달라고 요청
  • 재미있고 창의적인 요청 : 이 문장을 17세기 해적풍으로 만들어줘, 이 문장을 랩배틀로 만들어줘 등등 

전체적으로 보면 문장 요약을 잘하고 화법을 변경하는 등 기존의 제공한 문장을 압축하고 스타일을 바꾸는 일은 아주 잘합니다. 또한 영감을 줄 수 있는 이야기를 만들어 달라고 하거나 여러 가지 팩트와 상관없는 아이디어에 대한 요청에 대한 대답을 통해서 새로운 아이디어를 얻을 수 있는 도구로서는 좋습니다. 

그러나 팩트 체크용으로는 미흡합니다. 다만 한라산 높이, 백두산 높이 같은 웹 상에 있는 글들의 99.9%까 정확한 높이를 표시하는 오랜 시간이 지나도 변하지 않고 일정한 팩트에 대한 답변은 잘합니다. 그러나 팩트가 그때는 맞고 지금은 틀린 유동적인 사실이나 주관이 개입하는 정보들은 크로스체크가 필수입니다. 

반응형