본문 바로가기
블로그 노하우/꼭 알아야 할 기초지식

크롤링? 블로그로 돈벌고싶다면 알아두어야 할 웹크롤링

by 만웅이의 꿀정보 2019. 3. 18.
반응형

방문자수에 절대적인 영향을끼치는 "크롤링", 반드시 알아두자!


블로거님들... 크롤링이란 단어를 들어보셨나요? 블로그를 운영하는데 있어 반드시 알아야 할 필수 지식임에도 불구하고 모르시는 분들이 상당히 많은 것 같습니다.




하긴... 뭐 굳이 몰라도 됩니다. 헤헤!


하지만 블로그로 수익을 좀 더 높이고 싶다면 꼭 알아야 할 단어임에는 틀림이 없습니다.


왜냐구요?


이 "크롤링" 이라는 것이 바로 여러분의 블로그방문자수에 절대적인 영향을 끼치는 것이기 때문이죠.


포스팅을 작성하면 여러경로를 통해 많은 사람들이 유입되는데요,


하지만 어떤식으로 내 포스팅이 노출되어 방문자가 유입되는지 알고 계시나요? 오늘은 제가 그 과정을 자세히 설명해 드리겠습니다.


블로그로 방문자가 유입되는 과정


인터넷은 전세계에서 보편적으로, 그리고 필수적으로 사용하고 있는 컴퓨터 네트워크입니다.


매우 많은 사람들이 사용하고 있다는 뜻인데요, 지구에 존재하는 웹페이지의 수가 몇 개 정도 될것이라 예상하십니까?


약, 60조개가 넘는 웹페이지가 존재합니다. 60조....감이 안 잡히시죠? 비교해본다면 내가 하루에 1000개의 웹페이지를 수집해서 본다고 해도 100년이 걸리는 매우 엄청냔양의 정보입니다.


게다가 매일매일 웹페이지의 수는 무한정 늘어나고 있음으로, 갯수를 파악하는것이 불가능에 가깝다고, 아니 그냥 불가능합니다.



그런데말이죠, 저렇게 많은 양의 웹페이지중에서 내가 원하는 정보를 어떻게 찾을 수 있을까요?


네 맞습니다. 바로 네이버나 구글, 다음, 네이트와 같은 검색사이트를 이용하면 내가 원하는 정보만 모아서 빠르게 볼 수 있습니다.



만약 이런 검색사이트들이 없었다고 한다면, 바다에 퐁당 빠져버린 10원짜리를 맨손으로 더듬거리며 찾는 모습이었을 겁니다. 다행히 우리는 검색사이트를 이용하여 내가 원하는 정보를 단 1초만에 찾을 수 있습니다.


그런데 여기서 궁금하지 않습니까?


구글과 같은 검색사이트는 60조개가 넘는 웹페이지에서 우리가 원하는 정보를 어떻게 이리 빨리 내놓을까?


이런일을 가능할 수 있게 해주는것이 바로 오늘배울 "크롤링[crawling]" 이라는 기술입니다.





사전에 나와있는 크롤링의 뜻은, "무수히 많은 컴퓨터에 분산 저장되어 있는 문서를 수집하여 검색 대상의 색인으로 포함시키는 기술" 이라고 좀 어렵게 설명이 되있는데 제가 쉽게 설명해 드릴게요.


검색사이트들은 검색서비스를 제공하기 위해 인터넷상에 떠돌아다니는 웹페이지들을 먼저 모아야합니다. 웹페이지들을 모아야만 사용자가 원하는 검색어를 추출하여 보여줄 수 있기 때문이죠.



하지만 말씀드린것처럼, 현존하는 웹페이지수는 대략 60조개에 육박하기 때문에 이것들을 모으려면 특별한 기술이 필요합니다.


바로 웹 크롤러[Crawler]라고 하는 기술인데, 저는 쉽게 "웹 로봇" 이라고 부르도록 하겠습니다.


이녀석은 스스로 웹페이지를 자동으로 방문해서 콘텐츠 및 URL을 추출하는데 대게 봇, 웹 스파이더, 또는 자동화 색인기라고도 불리웁니다. 인공지능 AI를 떠올리시면 됩니다.



웹로봇은 누가시키지 않아도 매일매일 업데이트된, 그리고 수정된 웹페이지들을 수집하고 있습니다.


즉, 블로거들이 포스팅을 새롭게 쓴다거나 기존포스팅을 수정한다고 하면 웹로봇이 블로그로 방문해서 수정된 포스팅이나 새로운 글들을 수집을 한다는 것이죠.


그래서 검색자가 특정검색어를 입력했을때 여러분들의 관련글들이 검색사이트에 노출되게 되는겁니다. 웹봇이 웹 페이지를 수집하는 일련의 과정을 "크롤링" 이라고 하며, 이를 속된말로 "정보를 긁어간다" 라고 표현합니다.


그런데 만약, 여러분의 블로그가 크롤링되지 않는다면?


블로그방문자수는 급속히 떨어지게 될겁니다. 블로그 안에 있는 정보들이 검색사이트에 노출되지 않음으로...


그러니 "크롤링" 이 얼마나 중요한것인지 다들 아셨겠죠? 그렇다면 이제 각 검색사이트별로 나의 블로그가 크롤링이 제대로 되고있는지, 안되고있는지 확인하는 방법을 가르쳐 드리겠습니다.




구글


1. 구글 웹마스터에 로그인 후 등록된 자신의 블로그를 클릭합니다. 물론, 먼저 웹마스터도구에 블로그 등록이 되있어야 겠죠?


관련포스팅 : 구글 웹마스터에 블로그 등록하는 방법



2. 크롤링오류에서 감지된 오류를 확인합니다.



저는 오류가 없네요. ^^


혹시 오류가 나는 분들은 아래 관련포스팅을 참조하여 문제를 해결해보시기 바랍니다.



네이버


1. 네이버 "웹마스터도구" 로 접속 후 등록된 나의 블로그를 클릭


관련포스팅 : 네이버 웹마스터도구에 블로그 등록하는 방법



2. 전체현황이나 오류현황에서 "크롤링 오류" 유무를 확인할 수 있다.



크롤링 오류가 있는 분들은 아래포스팅을 참조해주시구요,



"다음" 과 "네이트" 는 웹마스터도구가 없는 관계로 크롤링 확인이 불가합니다.


아무튼, 오늘은 크롤링이 무엇인지에 대해 제대로 배우셨을겁니다. 블로거들이 반드시 알아야 할 기초적인 내용이니 반드시 숙지하시고 틈틈이 크롤링오류를 확인하시기 바랍니다.







반응형