vlambda博客
学习文章列表

    （1）爬行和抓取：搜索引擎蜘蛛通过跟踪链接访问网页，获取网页HTML代码存入数据库。

    （2）预处理：索引程序对抓取来的网页数据进行文字提取，中文分词，索引等处理，以备排名程序调用。

    （3）排名：用户输入关键词后，排名程序调用索引库数据，计算相关性，然后按一定格式生成搜索结果页面。

    做SEO的人应该要对搜索引擎的基本原理有一些了解，如搜索引擎发现网址到该页面拥有排名，以及后续更新的整个过程中，搜索引擎到底是怎么工作的。对于专业的算法不必进行深入的研究，但是对于搜索引擎工作中的策略和算法原理要有个简单的认知，这样才能更有效地开展SEO工作，知其然也要知其所以然。 

    步骤01、派出Spider，按照一定策略把网页抓回到搜索引擎服务器；

    步骤02、对抓回的网页进行链接抽离、内容处理，消除噪声、提取该页主题文本内容等；

    步骤03、对网页的文本内容进行中文分词、去除停止词等；

    步骤04、对网页内容进行分词后判断该页面内容与已索引网页是否有重复，剔除重复页，对剩余网页进行倒排索引，然后等待用户的检索。  

   步骤01、先对用户所查询的关键词进行分词处理，并根据用户的地理位置和历史检索特征进行用户需求分析，以便使用地域性搜索结果和个性化搜索结果展示用户最需要的内容；

    步骤02、查找缓存中是否有该关键词的查询结果，如果有，为了最快地呈现查询结果，搜索引擎会根据当下用户的各种信息判断其真正需求，对缓存中的结果进行微调或直接呈现给用户；

    步骤03、如果用户所查询的关键词在缓存中不存在，那么就在索引库中的网页进行调取排名呈现，并将该关键词和对应的搜索结果加入到缓存中；

    步骤04、网页排名是根据用户的搜索词和搜索需求，对索引库中的网页进行相关性、重要性（链接权重分析）和用户体验的高低进行分析所得出的。用户在搜索结果中的点击和重复搜索行为，也可以告诉搜索引擎，用户对搜索结果页的使用体验。这块儿是近来作弊最多的部分，所以这部分会伴随着搜索引擎的反作弊算法干预，有时甚至可能会进行人工干预。

     按照上述搜索引擎的架构，在整个搜索引擎工作流程中大概会涉及Spider、内容处理、分词、去重、索引、内容相关性、链接分析、判断页面用户体验、反作弊、人工干预、缓存机制、用户需求分析等模块。