第一节 搜索引擎机器人
一、什么是搜索引擎机器人？
搜索引擎机器人也称网络蜘蛛（Web Spider），这是一个很形象的名字。把互联网比喻
成一个蜘蛛网，那么 Spider 就是在网上爬来爬去的蜘蛛。网络蜘蛛通过网页的链接址来寻找网页，从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接址，然后通过这些链接址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。
在抓取网页的时候，网络蜘蛛一般有两种策略：广度优先和深度优先.
广度优先 是指网络蜘蛛会先抓取起始网页中链接的所有网页，然后再选择其中的一个链接网页，继续抓取在此网页中链接的所有网页。这是最常用的方式，因为这个方法可以让网络蜘蛛并行处理，提高其抓取速度。
深度优先 是指网络蜘蛛会从起始页开始，一个链接一个链接跟踪下去，处理完这条线路之后再转入下一个起始页，继续跟踪链接。这个方法有个优点是网络蜘蛛在设计的时候比较容易。
由于不可能抓取所有的网页，有些网络蜘蛛对一些不太重要的网站，设置了访问的层数。
例如上图 A 为起始网页，属于 0 层，B、C、D、E、F 属于第 1 层，G、H 属于第 2 层，I属于第3 层。如果网络蜘蛛设置的访问层数为2 的话，网页I 是不会被访问到的。这也让有些网站上一部分网页能够在搜索引擎上搜索到，另外一部分不能被搜索到。对于网站设计者来说，扁平化的网站结构设计有助于搜索引擎抓取其更多的网页。
网络蜘蛛在访问网站网页的时候，经常会遇到加密数据和网页权限的问题，有些网页是需要会员权限才能访问。当然，网站的所有者可以通过协议让网络蜘蛛不去抓取，但对于一些出售报告的网站，他们希望搜索引擎能搜索到他们的报告，但又不能完全免费的让搜索者查看，这样就需要给网络蜘蛛提供相应的用户名和密码。网络蜘蛛可以通过所给的权限对这些网页进行网页抓取，从而提供搜索。而当搜索者点击查看该网页的时候，同样需要搜索者提供相应的权限验证。
二、如何辨别搜索引擎机器人身份
搜索引擎派出他们的搜索机器人去访问、索引网站内容，网站管理员也默认、欢迎它们
来访。但是由于搜索引擎派机器人来访会在一定程度上影响网站性能，因此并非所有的机器
人都是无害的，有一些非法机器人伪装成主流搜索引擎漫游器对网站大量遍历，并且不遵循
robots.txt 规范，会严重拖垮网站性能而又无其它益处。因此，网站管理员需要验证每个机器人身份是否合法。
在你的服务器日志文件中，可见每次访问的路径和相应的 IP 址，如果是机器人来访，
则user-agent 会显示 Googlebot 或MSNBot 等搜索引擎漫游器名称，每个搜索引擎都有自己的user-agent，但仅有这个还不足以证明这个机器人的合法性，因为很多垃圾制造者可能将他们的机器人也命名为Googlebot，以伪装蒙混进入网站，大肆采掘内容。
目前，主流搜索引擎都建议网站管理员通过这种方式来辨别真实的机器人身份：通过
DNS 反向查询找出搜索引擎机器人IP 址对应的主机名称；用主机名查找IP 址以确认该主机名与IP 址匹配。
首先，使用DNS 反向查询（Reverse DNS Lookup），找出机器人IP 址对应的主机名称。主流搜索引擎的主机名称通常情况下应是这样的：
够充分利用的话，可以极大提高检索结果的质量。超链分析技术，是新一代搜索引擎的关 键技术。
一、基本原理
超链分析的基本原理是:在某次搜索的所有结果中，被其他网页用超链指向得越多的网
页，其价值就越高，就越应该在结果排序中排到前面。
超链分析是一种引用投票机制，对于静态网页或者网站主页，它具有一定的合理性，因
为这样的网页容易根据其在互联网上受到的评价产生不同的超链指向量，超链分析的结果可
以反映网页的重要程度，从而给用户提供更重要、更有价值的搜索结果。
搜索引擎，并不能真正理解网页上的内容，它只能机械匹配网页上的文字。它收集了
互联网上几千万到几十亿个网页并对网页中的每一个文字（即关键词）进行索引，建立索引
数据库的全文搜索引擎。当用户查找某个关键词的时候，所有在页面内容中包含了该关键词
的网页都将作为搜索结果被搜出来。在经过复杂的算法进行排序后，这些结果将按照与搜索
关键词的相关度高低，依次排列。
搜索引擎在查询时主要根据一个站点的内容与查询词的关联程度进行排序。对于一个站
点的内容搜索引擎则是根据标题、关键词、描述、页面开始部分的内容以及这些内容本身之
间的关联程度以及一个站点在整个网络上的关联程度来确定的。
使用超链分析技术，除要分析索引网页本身的文字，还要分析索引所有指向该网页的链接的 URL、AnchorText，甚至链接周围的文字。所以，有时候，即使某个网页 A 中并没有某个词，比如“软件”，但如果有别的网页B 用链接“软件”指向这个网页A，那么用户搜索“软件”时也能找到网页A 。而且，如果有越多网页（C、D、E、F……）用名为“软件”的链接指向这个网页 A，或者给出这个链接的源网页（B、C、D、E、F……）越优秀，那么网页A 在用户搜索“超链分析”时也会被认为相关度越高，排序也会越靠前。
二、工作步骤
1、从互联网上抓取网页
专门用于检索信息的Robot 程序像蜘蛛一样在网络间爬来爬去，利用能够从互联网上自动收集网页的 Spider 系统程序， 自动访问互联网，并沿着任何网页中的所有 URL 爬到其它网页，重复这过程，并把爬过的所有网页收集回来。随着互联网的迅速发展，检索所有新出现的网页变得越来越困难。因此，在Wan-derer 基础上，一些编程者将传统的 Spider 程序工作原理作了些改进。其设想是，既然所有网页都可能有连向其他网站的链接，那么从一个网站开始，跟踪所有网页上的所有链接，就有可能检索整个互联网。
2、建立索引数据库
由分析索引系统程序对收集回来的网页进行分析，提取相关网页信息（包括网页所在
URL、编码类型、页面内容包含的所有关键词、关键词位置、生成时间、大小、与其它网页
的链接关系等），根据一定的相关度算法进行大量复杂计算，得到每一个网页针对页面文字
中及超链中每一个关键词的相关度（或重要性），然后用这些相关信息建立网页索引数据库。
3、索引数据库中搜索排序
当用户输入关键词搜索后，由搜索系统程序从网页索引数据库中找到符合该关键词的所有相关网页。因为所有相关网页针对该关键词的相关度早已算好，所以只需按照现成的相关度数值排序，相关度越高，排名越靠前。最后，由页面生成系统将搜索结果的链接址和页面内容摘要等内容组织起来返回给用户。
三、搜索效果
搜索引擎 Spider 一般要定期重新访问所有网页（各搜索引擎的周期不同，可能是几天、
几周或几月，也可能对不同重要性的网页有不同的更新频率），更新网页索引数据库，以反
映出网页文字的更新情况，增加新的网页信息，去除死链接，并根据网页文字和链接关系的
变化重新排序。这样，网页的具体文字变化情况就会反映到用户查询的结果中。
互联网虽然只有一个，但各搜索引擎的能力和偏好不同，所以抓取的网页各不相同，排
序算法也各不相同。大型搜索引擎的数据库储存了互联网上几千万至几十亿的网页索引，数
据量达到几千 G 甚至几万G。但即使最大的搜索引擎建立超过20 亿网页的索引数据库，也
占不到互联网上普通网页的30％，不同搜索引擎之间的网页数据重叠率一般在70％以下。
人们使用不同搜索引擎的重要原因，就是因为它们能分别搜索到不同的网页。而互联网上有
更大量的网页，是搜索引擎无法抓取索引的，也是无法用搜索引擎搜索到的。
使用超链分析的搜索引擎未能收录的网页有：Spider 未能正确处理的网页性质及文件类型（如Flash、script、JS，某些动态网页及Frame、数据库）；没有主动登录搜索引擎而且没有指向链接的孤岛网页；Spider 访问时因为某些原因正好是死链接的网页；被认为是劣质网页而不抓；因为色情、反动、spam 等问题而不抓的非法网页；需要输入用户名、密码方可打开的网页；网站用robots 协议拒绝搜索引擎抓取的网页；搜索引擎还未来得及抓取的新网页；go-pher、newsgroups、Telnet、np、wais 等非http 信息的网页。
任何址中带“?”和“&”号（及其他类似符号）的网页都会被“蜘蛛”程序挡在门外。这些网页通常由 CGL、PHP、ASP 等程序产生，技术上较先进，但不适合搜索引擎的“蜘蛛”程序。虽然目前有的大型搜索引擎（如 Google）已具备检索动态网页的能力，但相当一部分引擎还是不支持它的。而且即使是能够索引动态网页的 Google，也在多个场合中明确表示不保证检索全部的动态网页。
四、超链分析技术的应用
超链分析技术已为世界各大搜索引擎普遍采用，在我国使用该项技术的搜索引擎有：
百度（http://www.xiaoshuodaquan.com ）搜索引擎使用了高性能的“网络蜘蛛”程序自动在互联网中搜索信息，可定制、高扩展性的调度算法使得搜索器能在极短的时间内收集到最大数量的互联网信息。百度在中文互联网拥有天然优势，支持搜索 1.3 亿个中文网页，是现在最大的中文搜索引擎。并且，百度每天都在增加几十万新网页，对重要中文网页实现每天更新。百度除了用超链分析排名外还开展竞价排名。具有网页快照，相关搜索、中文人名识别、简繁体中文自动转换、网页预览等功能，还可以进行专业的MP3 搜索、Flash 搜索、新闻搜索、图片搜索、信息快递搜索。百度总裁李彦宏就是超链分析专利的唯一持有人。
引入人工智能的慧聪（http://www.xiaoshuodaquan.com ）行业搜索引擎对于商务人士而言尤为有用。如果在Google 上输入“化工”，搜索出相关网页有 138 万个，里面包罗万象，有用的、无用的混杂在一起，如果用户想找的网站正好排名在上千、上万个以后，无疑面对的是一个 茫茫网海，找到这个信息十分困难。而在慧聪行业搜索引擎，弹出的首先是一个分类页面，列有有机化工、石油化工、精细化工、印刷化工等43 个行业分类的条目，虽然只有 1 万多条查询结果，针对性却非常强，用户可以快速找到自己需要的信息，网站与有效用户的见面机会大大增强。模拟人类智慧，更好使用技术来完成更具智慧的搜索，必然是下一代搜索引攀技术的发展趋势。
五、存在的缺陷
用户在搜索关于某些内容的有效信息时，最大的特点是各异性。利用超链分析技术，用
户将接受一种根据某种标准进行网页排名的信息服务，从而演变成为各网站想尽办法追求网
页排名的商业活动。
海量的网页被收集回来，用姓名、电话、单位名称或网名都可以搜索到许多含有此关键词的信息，这些信息有不少侵权、侵犯**、泄露机密的信息，尤其是大量论坛的贴子被收录，不少贴子言论含有攻击的成分。所以如何及时处理掉这些链接又是搜索引擎急需解决的问题。
第三节 中文分词
一、什么是中文分词?
英文是以词为单位的，词和词之间是靠空格隔开，而中文是以字为单位，句子中所有的
字连起来才能描述一个意思。例如，英文句子“I am a student.”，用中文则为：“我是一个
学生”。计算机可以很简单通过空格知道 student 是一个单词，但是不能很容易明白“学”、
“生”两个字合起来才表示一个词。把中文的汉字序列切分成有意义的词，就是中文分词，
有些人也称为切词。我是一个学生，分词的结果是：“我”“是”“一个”“学生”。
二、中文分词的意义和作用
要想说清楚中文分词的意义和作用，就要提到智能计算技术。智能计算技术涉及的学科包括物理学、数学、计算机科学、电子机械、通讯、生理学、进化理论和心理学等等。简单的说，智能计算就是让机器“能看会想，能听会讲”。要想实现这样的一个目标，首先就要让机器理解人类的语言，只有机器理解了人类的语言文字，才使得人与机器的交流成为可能。再反观我们人类的语言中，“词是最小的能够独立活动的有意义的语言成分”，所以对于中文来讲，将词确定下来是理解自然语言的第一步，只有跨越了这一步，中文才能像英文那样过渡到短语划分、概念抽取以及主题分析，以至自然语言理解，最终达到智能计算的最高境界，实现人类的梦想。
从现阶段的实际情况来看，英文已经跨越了分词这一步，也就是说在词的利用上已经先一步，并且已经展现了良好的应用前景，无论是信息检索还是主题分析的研究都要强于中文，究其根本原因就是中文要通过分词这道难关，只有攻破了这道难关，我们才有希望赶上并超过英文在信息领域的发展，所以中文分词对我们来说意义重大，可以说直接影响到使用中文的每一个人的方方面面。
中文分词到底对搜索引擎有多大影响？对于搜索引擎来说，最重要的并不是找到所有结果，因为在上百亿的网页中找到所有结果没有太多的意义，没有人能看得完，最重要的是把最相关的结果排在最前面，这也称为相关度排序。中文分词的准确与否，常常直接影响到对搜索结果的相关度排序。在现有三个中文搜索引擎上做测试，测试方法是直接在 Google
（http://www.xiaoshuodaquan.com ）、百度（http://www.xiaoshuodaquan.com ）、中搜（http://www.xiaoshuodaquan.com ）
上以“和服”为关键词进行搜索：
在 Google 上输入“和服”搜索所有中文简体网页，总共结果 507，000 条，前20 条结果中有 14 条与和服一点关系都没有。在第一页就有以下错误：
“通信信息报：瑞星以技术和服务开拓网络安全市场”
“使用纯 HTML 的通用数据管理和服务- 开发者- ZDNet ...”
“陈慧琳《心口不一》化妆和服装自己包办”
“::外交部：中国境外领事保护和服务指南（2003 年版） ...”
“产品和服务”
等等。第一页只有三篇是真正在讲“和服”的结果。
在百度上输入“和服”搜索网页，总共结果为 287，000 条，前20 条结果中有 6 条与和服一点关系都没有。在第一页有以下错误：
“福建省晋江市恒和服装有限公司系独资企业”
“关于商品和服务实行明码标价的规定”
“青岛东和服装设备”
在中搜上输入“和服”搜索网页，总共结果为 26，917 条，前 20 条结果都是与和服相关的网页。
这次搜索引擎结果中的错误，就是由于分词的不准确所造成的。Google 的中文分词技术采用的是美国Basis Technology （http://www.xiaoshuodaquan.com ）公司提供的中文分词技术，百度使用的是自己公司开发的分词技术，中搜使用的是国内海量科技（http://www.xiaoshuodaquan.com）提供的分词技术。由此可见，中文分词的准确度，对搜索引擎结果相关性和准确性有相当大的关系。
三、中文分词技术
中文分词技术属于自然语言处理技术范畴，对于一句话，人可以通过自己的知识来明白
哪些是词，哪些不是词，但如何让计算机也能理解？其处理过程就是分词算法。
现有的分词算法可分为三大类：基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法。
1、基于字符串匹配的分词方法
这种方法又叫做机械分词方法，它是按照一定的策略将待分析的汉字串与一个“充分大
的”机器词典中的词条进行匹配，若在词典中找到某个字符串，则匹配成功（识别出一个词）。
按照扫描方向的不同，字符串匹配分词方法可以分为正向匹配和逆向匹配；按照不同长度优
先匹配的情况，可以分为最大（最长）匹配和最小（最短）匹配；按照是否与词性标注过程
相结合，又可以分为单纯分词方法和分词与标注相结合的一体化方法。常用的几种机械分词
方法如下：
速度快、效率高的特点，又利用了无词典分词结合上下文识别生词、自动消除歧义的优点。
到底哪种分词算法的准确度更高，目前并无定论。对于任何一个成熟的分词系统来说，
不可能单独依靠某一种算法来实现，都需要综合不同的算法。比如，海量科技的分词算法就
采用“复方分词法”。所谓复方，相当于用中药中的复方概念，即用不同的药才综合起来去
医治疾病，同样，对于中文词的识别，需要多种算法来处理不同的问题。
四、分词中的难题
有了成熟的分词算法，是否就能容易解决中文分词问题呢？事实远非如此。中文是一
种十分复杂的语言，让计算机理解中文语言更是困难。在中文分词过程中，有两大难题一直
没有完全突破。
1、歧义识别
歧义是指同样的一句话，可能有两种或者更多的切分方法。例如：表面的，因为“表面”
和“面的”都是词，那么这个短语就可以分成“表面”“的”和“表”“面的”。这种称为交
叉歧义。像这种交叉歧义十分常见，前面举的“和服”的例子，其实就是因为交叉歧义引起
的错误。“化妆和服装”可以分成“化妆”“和”“服装”或者“化妆”“和服”“装”。由于没
有人的知识去理解，计算机很难知道到底哪个方案正确。
交叉歧义相对组合歧义来说是还算比较容易处理，组合歧义就必需根据整个句子来判断
了。例如，在句子“这个门把手坏了”中，“把手”是个词，但在句子“请把手拿开”中，
“把手”就不是一个词；在句子“将军任命了一名中将”中，“中将”是个词，但在句子“产
量三年中将增长两倍”中，“中将”就不再是词。这些词计算机又如何去识别？
如果交叉歧义和组合歧义计算机都能解决的话，在歧义中还有一个难题，是真歧义。真
歧义意思是给出一句话，由人去判断也不知道哪个应该是词，哪个应该不是词。例如：“乒
乓球拍卖完了”，可以切分成“乒乓”“球拍”“卖”“完”“了”、也可切分成“乒乓球”“拍
卖”“完”“了”，如果没有上下文其他的句子，恐怕谁也不知道“拍卖”在这里算不算一个
词。
2、新词识别
新词，专业术语称为未登录词，也就是那些在字典中都没有收录过，但又确实能称为词
的那些词。最典型的是人名，人可以很容易理解句子“王军虎去广州了”中，“王军虎”是
个词，因为是一个人的名字，但要是让计算机去识别就困难了。如果把“王军虎”做为一个
词收录到字典中去，全世界有那么多名字，而且每时每刻都有新增的人名，收录这些人名本
身就是一项巨大的工程。即使这项工作可以完成，还是会存在问题，例如：在句子“王军虎
头虎脑的”中，“王军虎”还能不能算词？
新词中除了人名以外，还有机构名、名、产品名、商标名、简称、省略语等都是很难处理的问题，而且这些又正好是人们经常使用的词，因此对于搜索引擎来说，分词系统中的新词识别十分重要。目前新词识别准确率已经成为评价一个分词系统好坏的重要标志之一。
五、中文分词的应用
中文分词主要应用于信息检索、汉字的智能输入、中外文对译、中文校对、自动摘要、
自动分类等很多方面。下面就以信息检索为例来说明中文分词的应用。
通过近几年的发展，互联网已经离我们不再遥远。互联网上的信息也在急剧膨胀，在这海量的信息中，各类信息混杂在一起，要想充分利用这些信息资源就要对它们进行整理，如果由人来做这项工作，已经是不可能的，而如果面对中文信息不采用分词技术，那么整理的结果就过于粗糙，而导致资源的不可用，例如：“制造业和服务业是两个不同的行业”和“我们出口日本的和服比去年有所增长”中都有“和服”，而被当作同一类来处理，结果是检索 “和服”的相关信息，会将他们都检索到，在信息量少的情况下，似乎还能够忍受，如果是海量信息，这样的结果就会令人讨厌了。通过引入分词技术，就可以使机器对海量信息的整理更准确更合理，在“制造业和服务业是两个不同的行业”中“和服”不会被当做一个词来处理，那么检索“和服”当然不会将它检索到，使得检索结果更准确，效率也会大幅度的提高。
所以中文分词的应用会改善我们的生活，使人们真正体会到科技为我所用。
六、中文搜索引擎技术
信息的飞速增长，使搜索引擎成为人们查找信息的首选工具，Google、百度、中国搜索
等大型搜索引擎一直是人们讨论的话题。随着搜索市场价值的不断增加，越来越多的公司开
发出自己的搜索引擎，阿里巴巴的商机搜索、8848 的购物搜索等也陆续面世，自然，搜索
引擎技术也成为技术人员关注的热点。
搜索引擎技术的研究，国外比中国要早近十年，从最早的 Archie，到后来的Excite，以
及 altvista、overture、Google 等搜索引擎面世，搜索引擎发展至今，已经有十几年的历史，
而国内开始研究搜索引擎是在上世纪末本世纪初。在许多领域，都是国外的产品和技术一统
天下，特别是当某种技术在国外研究多年而国内才开始的情况下。例如操作系统、字处理软
件、浏览器等等，但搜索引擎却是个例外。虽然在国外搜索引擎技术早就开始研究，但在国
内 还 是 陆 续 涌 现 出 优 秀 的 搜 索 引 擎 ， 像 百 度 （http://www.xiaoshuodaquan.com ）、 中 搜 （http://www.xiaoshuodaquan.com ）等。目前在中文搜索引擎领域，国内的搜索引擎已经和国外的 搜索引擎效果上相差不远。之所以能形成这样的局面，有一个重要的原因就在于中文和英文两种语言自身的书写方式不同，这其中对于计算机涉及的技术就是中文分词。
目前在自然语言处理技术中，中文处理技术比西文处理技术要落后很大一段距离，许多
西文的处理方法中文不能直接采用，就是因为中文必需有分词这道工序。中文分词是其他中
文信息处理的基础，搜索引擎只是中文分词的一个应用。其他的比如机器翻译（MT ）、语音合成、自动分类、自动摘要、自动校对等等，都需要用到分词。因为中文需要分词，可能会影响一些研究，但同时也为一些企业带来机会，因为国外的计算机处理技术要想进入中国市场，首先也是要解决中文分词问题。在中文研究方面，相比外国人来说，中国人有十分明显的优势。
分词准确性对搜索引擎来说十分重要，但如果分词速度太慢，即使准确性再高，对于搜索引擎来说也是不可用的，因为搜索引擎需要处理数以亿计的网页，如果分词耗用的时间过长，会严重影响搜索引擎内容更新的速度。因此对于搜索引擎来说，分词的准确性和速度，
二者都需要达到很高的要求。目前研究中文分词的大多是科研院校，清华、北大、中科院、
北京语言学院、东北大学、IBM研究院、微软中国研究院等都有自己的研究队伍，而真正
专业研究中文分词的商业公司除了海量科技以外，几乎没有了。科研院校研究的技术，大部
分不能很快产品化，而一个专业公司的力量毕竟有限，看来中文分词技术要想更好的服务于
更多的产品，还有很长一段路。
第四节 基于词意的文本分析
基于词意的文本分析是指运用词意对文本内容进行分析，得到文本内容的重点要素。文本分析是一种词意的自学习技术，是与整个技术相结合的独特分词技术。
一、文本分析技术特点
由于词意库是自学习形成，因此不需要预先设置庞大的词典库，而且最重要的是,学习
是持续性的，系统对词意的理解会随着外界的变化而变化，并能不断增添新创词汇。
由于同一个词，对于不同的人，词意可能是不同的，因此可以根据每个用户的习惯形成自己的子词意库，可使用子词意库对文本进行二次分析，产生个性化结果。
系统的学习分为两种方式：
知识学习 系统自动在互联网上进行，无特定目的吸收网上各种信息，并对收集到的信息进行分析后作为知识保留，整个过程无需人工干预，可一天24 小时不间断进行。
经验学习 每一次用户的具体使用，其结果也将作为经验保留下来，并对知识学习的结果进行修正。
分词技术不追求 100%的准确，而讲究实用、快速，不依赖于庞大的词汇库或知识库，
因此可以做到不针对特定领域，可解决人名、名、新出现的词汇等的分词，这些问题是传
统分词方法难以解决的，尤其是新词汇的分词，几乎是一个世界性的难题。
由于整个核心算法并非基于字、词典及语法，而是从模仿人类对语言文字的理解入手，
比如一个儿童并不懂得查字典和语法，但能够听懂别人说的话，因此对核心只要稍作修改便
能够用于英语及其它文字语言，就好象一个婴儿，你把他放到哪个国家，他就能学会当的
语言。
二、文本分析应用
1、相关性搜索
相关性搜索是根据关键词的词意，与文章提取的重点要素进行比对，以此生成搜索结果，这将是真正基于内容分析的搜索结果，而并非仅仅是简单的全文检索。
比如在一篇计算机相关的文章中，可能计算机这个词出现得很少、甚至根本没有，而大量出现的可能是软件、硬件、程序、内存等词汇，也有可能在文章中不叫“计算机”而叫“电脑”，当使用“计算机”这个词汇进行检索时，系统可分析出从文章中提取的重点要素与“计算机”这个词是密切相关的，因此也会将其放入检索结果。
另外可以避免将错误结果放入，比如用“苹果”搜索，却把有关“苹果色素”的文章放在了搜索结果中，而“苹果”和“苹果色素”完全是两回事。
2、个性化搜索
根据用户爱好和习惯，自动搜索其所需要的内容。通过某种技术，可以从用户所浏览页面中分析出用户的爱好和习惯，进而在用户进入网站时自动将他最喜欢的内容呈现在他的眼前，而且这种分析也是持续性的，可以即时掌握用户习惯和爱好的变化。
个性化搜索最大的问题是用户嫌麻烦，不愿意用。而且习惯和爱好是发展变化的，这种变化一般是潜移默化的，用户自己也难以查觉而去修改所设置的关键词，即使查觉，也往往会忘记和懒得去修改。
3、其他应用
A. 自动摘要 由于使用了词意的理解，使得摘要的准确性大大提高，而且因为核心算法并非针对某个特定领域，所以应用的范围也是全领域的。
B. 自动分类 比如输入一个产品，电脑系统能够自动将其归到一个产品类录下面。这对搜索引擎、电子商务、供求信息等网站也是非常有用的，然而这也是一个世界性的难题。
目前一般都是采用人工来进行分类，比如搜狐就曾在网上发动大量的志愿者对其搜索引擎进行分类整理，但可想而知这样做在成本、效率、准确度等方面都难以满足要求。
C. 应用核心技术开发出其它特定功能的软件。
书书网手机版 m.1pwx.com