검색 엔진이란? & 종류
검색 엔진이란(search engine) 검색어(키워드)를 입력해서 정보를 보여줄 수 있게 설계된 것, 웹 검색(web search query)을 도와주도록 만들어진 프로그램입니다. 우리가 필요한 정보를 구글, 빙(Bing), 네이버, 다음, 줌에서 키워드를 검색해서 얻을 수 있도록 설계된 것을 ‘search engine’이라고 합니다.
1. 검색 엔진이란&웹 검색 엔진 차이
검색 엔진이란 키워드를 검색해서 얻을 수 있는 정보라고 했는데 이용하는 PC에서도 컴퓨터 내부의 정보를 얻기 위해 검색을 하기 때문에 역시 검색 엔진이라고 합니다. 웹(World Wide Web) 상에서 정보를 찾을 수 있도록 도와 주는 구글, 마이크로소프트의 빙(Bing) 등을 웹 검색 엔진이라고 합니다. 보통은 구글을 ‘Web search engine’이라고 부르지 않고 ‘search engine’이라 부르는 것이 더 일반화 되어 있습니다.
구글 봇(google bot)이라는 로봇(robot) 프로그램이 워드프레스, 티스토리, 위키피디아 등의 웹사이트를 방문하여 웹사이트의 정보를 자동으로 수집합니다. 이 후 SEO(검색 엔진 최적화)가 이루어진 사이트를 순서대로 구글에서 보여주게 됩니다.
2. 검색 엔진 종류
종류는 다양합니다.
간단하게 대표적인 search engine만 정리했습니다. 구글의 경우 전 세계 PC의 80% 이상의 점유율을 유지하고 있습니다. 모바일과 테블릿의 경우 95% 이상이라는 독점적인 지휘를 가지고 있습니다. 마이크로소프트가 2009년에 개발한 빙(Bing)은 구글 다음으로 두 번째로 많이 사용하고 있습니다. 대한민국에서 서비스가 종료된 야후(Yahoo)는 구글, 빙에 이어 세 번째로 신뢰할 수 있는 점유율을 가지고 있는 포털 사이트입니다. Bing의 경우 미국 search engine의 33%를 차지하며 Yahoo를 지원하고 있습니다.
https://duckduckgo.com/ 덕덕고는 세계 10위 점유율을 가지고 있는(많지 않은) search engine입니다. 사용자의 개인 정보를 수집하지 않기 때문에 개인 정보에 민감한 사람들이 사용합니다. 특이한 점은 사용자 정보를 수집하지 않다 보니 덕덕고는 정확한 사용자 수를 추측할 뿐 정확히 알 순 없다고 하며 2021년 검색 트래픽이 1억 건을 달성했습니다.
※덕덕고는 다크웹인가? 덕덕고는 다크웹이 아닙니다. 하지만 다크 웹 사이트를 보는 데 사용할 순 있습니다. 대부분의 검색 엔진은 .onion 웹 사이트를 색인화하지 않기 때문에 일반 검색 엔진은 다크웹에 연결되지 않습니다. 하지만 반대로 덕덕고를 사용할 경우 다크 웹 사이트로 방문의 가능합니다.
독보적인 search engine 1위인 구글은 한국의 search engine 점유율도 점차 네이버를 밀어내며 30% 정도의 점유율을 차지하고 있습니다. 전 세계 점유율은 1위를 차지하는 가운데 마이크로 소프트의 빙(Bing), 2021년 1억 트래픽을 달성한 덕덕고(DDG)와 같이 큰 판도가 변하진 않지만 search engine 시장은 조금 씩 변화하고 있습니다.
3. 검색 엔진 기술
search engine은 거의 실시간으로 다음 프로세스를 유지 관리합니다.
웹 크롤링 웹 검색 엔진은 사이트에서 사이트로 웹 크롤링 을 통해 정보를 얻습니다. "스파이더"는 주소가 지정된 표준 파일 이름 robots.txt 를 확인합니다. 웹 크롤러는 자동화된 방법으로 웹크롤링 또는 스파이더링을 통해 여러 웹사이트 데이터의 최신 상태 유지를 위해 크롤링을 합니다. 인덱싱 인덱싱은 웹 페이지에서 찾은 단어 및 기타 정의 가능한 토큰을 도메인 이름 및 HTML 기반 필드에 연결하는 것을 의미합니다. 연결은 웹 검색 쿼리에 사용할 수 있는 공개 데이터베이스에서 이루어집니다. 사용자의 쿼리는 한 단어, 여러 단어 또는 문장이 될 수 있습니다. 인덱스는 쿼리와 관련된 정보를 최대한 빨리 찾는 데 도움이 됩니다. 인덱싱 및 캐싱 을 위한 기술 중 일부 는 영업 비밀인 반면 웹 크롤링은 모든 사이트를 체계적으로 방문하는 간단한 프로세스입니다. 검색 단순한 키워드 조회 외에도 검색 엔진은 자체 GUI 또는 명령 기반 연산자와 검색 매개변수를 제공하여 검색 결과를 구체화합니다. 검색을 할 때 사전적인 단어 및 검색 결과의 수, 다른 검색 링크(철자가 틀린 것으로 생각된 단어 등) 기반으로 검색어 결과가 나오게 됩니다.
