인터넷 트래픽은 갈수록 늘어가고 있습니다. 특히 동영상이 유발하는 인터넷 트래픽은 텍스트의 몇십배는 더 많습니다. 쉽게 설명하자면 LTE 망을 통해서 1.5기가 데이터를 사용할 때 페이스북이나 웹 검색 같은 텍스트 기반 트래픽과 동영상 감상 트래픽을 비교해 보면 됩니다. 페이스북이나 카톡만 하면 한달 동안 수시로 들여다봐도 크게 모자르지 않습니다. 그러나 동영상을 스트리밍으로 감상하면 30분에 무려 700MB를 소진해 버립니다. 특히 고해상도 동영상은 더 빠르게 소진하죠
이 동영상이 유발하는 트래픽이 어마어마하죠. 그런데 이 동영상 트래픽을 포함하는 건지는 모르겠지만 우리가 알고 생각과 사뭇 다른 내용의 글이 있어서 소개합니다.
봇트래픽 레포트 2013
많은 사람들은 인터넷 트래픽 중에서 인간이 유발하고 있는 트래픽이 더 많을 것이라고 생각하지만 실제는 프로그래밍 된 봇이 유발하는 트래픽이 더 많습니다.
Incapsula는 보안과 트래픽 관리업체가 인포그래피로 봇트래픽 리포트를 발표 했습니다.
출처 http://www.incapsula.com/blog/bot-traffic-report-2013.html
위 그래픽을 보면 인간이 만드는 트래픽은 38.5%이고 봇이 생성하는 트래픽은 61.5%입니다. 이 트래픽에 동영상 트래픽도 포함이 되었는지는 모르겠지만 우리가 생각하는 것과 다릅니다. 봇 트래픽의 증가는 2012년보다 10% 정도 더 상승했는데요. 다해이도 이 봇 트래픽의 대부분은 구글 검색엔진에 정보를 나르는 구글 봇, 빙 봇 등의 검색엔진의 봇입니다. 착한 봇이죠.
이 착한 봇인 구글 봇 또는 검색엔진 봇은 31%나 증가 했습니다. 참고로 네이버는 구글 봇의 활동을 원천봉쇄를 하고 있습니다. 요즘은 최근에 네이버 블로그 글 검색을 허용하고 있는 것 같지만 카페나 다른 서비스를 구글 봇이 검색하지 못하게 막고 있습니다. 네이버뿐 아니라 관공서 홈페이지 대학 홈페이지도 robots.txt 정책을 잘 모르고 있습니다. 이러니 한국에서 구글이 힘을 못쓰죠. 정보의 가두리 양식장이 한국 검색시장이고 우물안 개구리가 한국 검색 시장입니다.
각설하고 이 봇 중에는 나쁜 봇이 있는데 바로 해킹 툴이나 악성코드, 스펨 매일 등을 유포하는 봇이 있습니다.
다행스럽게도 스펨 봇이라고 하는 나쁜 봇들은 전체 트래픽의 1%인데 계속 줄고 있는 추세입니다. 그 이유는 구글이 검색 엔진 알고리즘을 끊임없이 바꾸기 때문에 봇을 퍼트리는 사람들이 그거 따라가다가 오히려 손해라는 생각에 점점 악성 봇, 나쁜 봇은 사라지고 있습니다.
악성 봇 타입은 스크래퍼와 해킹 툴, 스팸퍼, 모방자가 있습니다. 말이 나온 김에 적어보자면 최근에 네이버나 다음 검색 품질이 아주 나빠졌습니다. 특히 다음 같은 경우는 웹 하드업체가 무슨 프로그램을 돌리는지 내가 검색한 검색어를 그대로 담은 웹문서를 생성하고 그걸 바로 웹문서 검색에 걸리게 합니다. 무심결에 누른 웹 검색 결과를 눌러보면 웹하드 업체가 나온 것이 한 둘이 아닙니다. 어뷰징이 갈수록 심해지는데 조치를 취하지 못하고 있네요.
블로거 분들은 카운터들을 거의 다 달고 있는데 이 카운팅에도 봇이 좀 있을거예요 티스토리는 2010년인가 한번 이 트래픽 허수, 카운팅 허수를 줄이기 위해서 봇을 카운팅에서 제외한 적이 있었습니다. 봇은 우리가 잠든 사이에 내 블로그나 홈페이지를 방문해서 검색엔진에 등록하고 있습니다. 그 덕분에 빠르고 정확하게 우리가 정보를 얻을 수 있는 것입니다.
