web crawler
-
정보 검색을 쉽고 빠르게, 웹 크롤러Smart Life/스마트 소식 2013. 6. 12. 18:32
정보 검색을 쉽고 빠르게, 웹 크롤러 '검색'은 인터넷에서 필요한 정보를 얻기 위해 누구나 한 번쯤 거치는 과정이다. 우리가 검색을 위해 주로 사용하는 구글, 네이버, 다음 등의 검색 서비스를 '검색엔진'이라 부른다. 검색엔진은 인터넷에 있는 정보를 수집해 주기적으로 데이터베이스에 저장한다. 그리고 이를 분류하고 사용자에게 최신 검색 결과를 제공한다. 검색엔진이 작동하는 원리의 첫 단계는 바로 정보 수집 및 저장이다. 그런데 검색엔진은 어떤 방법으로 인터넷에 방대하게 흩어진 자료를 수집할까? 이 일을 자동으로 하는 프로그램이 있다. 바로 '웹 크롤러(web crawler)'다. 웹 크롤러란? 웹 크롤러는 웹 로봇, 웹 스파이더 등의 이름으로 불리기도 하며, 수많은 웹 페이지를 자동으로 돌아다니며 각종 정..