每个独立的搜索引擎都有自己的网页抓取程序（spider）。Spider顺着网页中的超链接，连续地抓取网页。由于互联网中超链接的应用很普遍，理论上，从一定范围的网页出发，就能搜集到绝大多数的网页。

2、处理网页

    搜索引擎抓到网页后，还要做大量的预处理工作，才能提供检索服务。其中，最重要的就是提取关键词，建立索引文件。其他还包括去除重复网页、分析超链接、计算网页的重要度。

3、提供检索服务

    用户输入关键词进行检索，搜索引擎从索引数据库中找到匹配该关键词的网页；为了用户便于判断，除了网页标题和URL外，还会提供一段来自网页的摘要以及其他信息。

 

    这是摘自<<搜索引擎系统学习与开发实践总结>>的一段总结:首先蜘蛛读取抓取站点的URL列表，取出一个站点URL，将其放入未访问的URL列表（UVURL列表）中，如果UVURL不为空刚从中取出一个URL判断是否已经访问过，若没有访问过则读取此网页，并进行超链分析及内容分析，并将些页存入文档数据库，并将些URL放入已访问URL列表（VURL列表），直到UVRL为空为止，此时再抓取其他站点，依次循环直到所有的站点URL列表都抓取完为止。

 

 

    先给大家看个成功案例(图一)，当天建立的网页当天被收录。另外还有几个案例，我不一一截图了，最快有个域名我当天晚上7点多才注册的，更晚些时候就被收录了，我给大家一个方法，大家可以按照此方法做:

 

    1. 建立一个单页面，从百度百科找一段关于网站关键词的介绍，再去其他地方找另外一种介绍。如网站做SEO，就找SEO在百科的解释，再去维基百科找找seo的介绍，二者结合拼凑成一个单页面;

 

    2. 单页面命名为index.htm或者default.htm，成为网站的首页。再去百度的登录入口去登录一次你的网站:http://www.baidu.com/search/url_submit.html

 

    3. 无需任何外部链接，最多两天后你将在搜索引擎看到你的网站在当天就被收录了！比如 你27日登录的,虽然百度可能27日就收录了你的站,但是你可能需要再过一两天才能看到被收录。

 

    4. 以上方法我已经测试了数十个域名,屡试不爽！收录后再改版你的网站吧

 

    最后淘客联盟给大家一些收录的建议：

 

    1. 收录前就把首页title的关键词定义好，避免更改关键词太快，引起搜索引擎反感

    2. 主动去登录你的网站，而不需要急着去找任何外部链接（新站的目标是被收录）

    3. 安装好搜索引擎工具条

    4. 单页面文件不要太长太大,100K以内最好

    5. 随时关注收录情况,去搜索新站的网址或者site一下（site:www.taoke-cn.cn)马上就能看到结果