본문 바로가기
IT/구글

구글 기존의 RNN, CNN 보다 뛰어난 트랜스포머 번역 기술 개발

by 썬도그 2017. 9. 4.
반응형

영어 문서 번역을 예전엔 일일이 머리로 해야 했습니다. 구글 번역이나 여러 번역 도구가 있지만 워낙 번역 품질이 저질이고 엉망에 가까운 수준이어서 단어만 해석해서 내 머리로 번역을 했습니다. 그러나 최근에 신경망 기계 번역인 GNMT를 개발하면서 큰 변화가 생겼습니다. 먼저 번역 어순이 우리가 읽을 수 있을 정도가 되었고 놀랍게도 번역도 꽤 정확합니다. GNMT는 신경망 기반 번역으로 기존의 통계 기반 기계 번역에 비해서 번역 오류가 55~85% 감소했습니다. 

덕분에 요즘은 구글 번역기로 해외 영문 자료를 바로 바로 읽고 있습니다.
이 인공지능을 이용한 번역 기술은 빅데이터로 학습된 인공 신경망을 기반으로 하고 있습니다. 이 인공 신경망 번역 기술의 대부분은 순환 신경망(Recurrent Neural Network)을 사용하고 있습니다. 보통 RNN이라고 합니다. RNN 보다 뛰어난 인공 신경망 번역 기술이 페이스북이 사용하고 있는 합성곱신경망(Convolution Neural Network)입니다. 보통 CNN이라고 합니다. RNN은 왼쪽에서 오른쪽, 오른쪽에서 왼쪽으로 순서대로 번역을 처리한다면 CNN은 한 문장 안에 있는 단어들을 한꺼번에 인식을 해서 문맥까지 살펴서 번역을 해서 보다 정교한 번역을 합니다. 

그런데 구글은 이 RNN과 CNN 보다 더 정교하고 뛰어난 Transformer 번역 기술을 개발하고 있습니다.


구글 기존의 RNN, CNN 보다 뛰어난 트랜스포머 번역 기술 개발


구글 리서치 블로그에 올라온 글을 소개하겠습니다. 

구글은 새로운 번역 기술을 테스트하고 있습니다. 이전 신경망 번역 기술인 RNN이나 CNN보다 뛰어난 번역율을 보여주고 있습니다. 
위 그래프를 보면 기존의 구글 신경망 번역인 GNMT인 RNN이나 ConvS2S, SliceNet의 CNN 번역 기술보다 트랜스포머(Transformer) 번역 기술을 선보였습니다. 이 트랜스포머 번역 기술은 번역 학습에 필요한 계산량이 다른 신경망 번역 기술보다 크게 줄어들어서 현대의 기계 학습 하드웨어에 적합합니다. 또한 번역 품질도 높아서 큰 인기를 끌 것으로 보입니다.


영어를 프랑스어로 번역하는 번역 퀄리티를 보면 RNN, CNN 보다 트랜스포머가 더 높습니다. 



<트랜스포머 신경망 번역 흐름도>

기존의 신경망 기반의 번역은 개별 단어나 단어의 표현으로 시작해서 주위의 단어에서 정보를 수집한 후 맥락에서 그 단어의 맥락상 의미를 결정합니다. 최근 번역 분야에서 표준이 되고 있는 RNN의 경우 언어 처리를 왼쪽에서 오른쪽, 오른쪽에서 왼쪽으로 순차적으로 번역을 합니다. 즉 하나의 단어를 인식하면 여러 단계를 거쳐서 단어의 의미를 결정하고 그걸 하나씩 처리해 가는 것이 RNN입니다. 

CNN은 RNN과 달리 순차적이 아닌 전체의 단어를 한 번에 인식하고 문맥을 살피는 보다 복잡한 과정을 이용합니다. 그래서 RNN보다 CNN이 번역 정확도가 좀 더 높습니다. 

트랜스포머는 RNN과 CNN과는 달리 여러 단계를 수행해서 번역을 하는 과정을 경험을 바탕으로 수행 과정을 확 줄였습니다. 트랜스포머는 각 번역 단계에서 각 단어의 위치에 관계없이 문장의 모든 단어 사이의 관계를 직접적으로 모델링하는 자기주의 매커니즘이 적용됩니다. 구체적으로 말하면 각 단어와 문장의 모든 단어와 비교되어 그 결과로 각 단어는 문장의 모든 단어의 연관된 점수로 기록이 됩니다. 즉 하나의 단어가 다른 단어와 얼마나 연관이 되었는지 점수를 매깁니다. 이 점수를 통해서 각각의 단어가 어떤 문맥적 의미가 있는 지를 결정해서 문맥에 맞는 번역 결과물을 내놓습니다. 기존 RNN과 CNN보다 수행 과정이 짧아서 번역 속도가 빠르면서도 정확도도 더 높습니다. 



예를 들어 보겠습니다. 위 첫 번째 줄 영어 it과 3번 째 줄 it은 같은 단어를 사용하지만 뜻은 다릅니다. 첫 번째 it은 animal(동물)을 의미하고 3번 째 줄 it은 street(도로)를 뜻합니다. 이 2개의 문장을 프랑스어로 번역을 하면 it이라는 단어는 동일하지만 대명사인 it이 각각 동물과 거리를 뜻하기 때문에 정확하게 번역을 해야 합니다. 프랑스어로 바로 동물, 거리로 번역하는 것이 아닌 프랑스어도 동일하게 지시대명사로 처리하지만 문제는 프랑스어는 영어와 달리 각 단어마다 성별을 구분하는 부정관사가 붙습니다. 2번 째, 4번 째 줄의 프랑스어로 변역한 결과물을 보면 it 앞에 il과 elle로 성별를 구분하는 부정관사가 정확하게 넣어서 번역을 했네요



구글의 트랜스포머가 제대로 번역할 수 있었던 이유는 특정 단어를 처리 또는 번역할 때 연관된 문장의 다른 부분을 시각화하고 정보가 네트워크를 통해서 어떻게 이동하는지에 대한 통찰력이 있어서 이런 정확한 번역을 할 수 있습니다. 

예를 들어 첫 번째 문장에서 it과 관련이 있는 단어를 추출합니다. the, animal, street, it, . 이 후보에 올랐고 이중에서 가장 연관이 높은 단어를 가장 진한색으로 표시합니다. 여기서는 animal이 가장 진하게 표시되었고 구글 트랜스포머는 it을 동물로 인식합니다. 다른 문장도 마찬가지로 street가 가장 연관이 높다고 판단해서 번역을 합니다. 

구글은 이 새로운 인공 지능 번역 기술은 트랜스포머의 가능성을 높이 평가하고 있습니다. 자연어 뿐 아니라 동영상과 사진 등에도 적용할 에정입니다. 또한, 트랜스포머 개발은 구글의 Tensor2Tensor 라이브러리에 의해서 빠르게 진화를 하고 있습니다. 구글 번역! 조만간 실시간 통역기도 실현되는 등 인류에게 언어의 장벽이 점점 낮아질 것으로 보입니다. 

반응형