1搜索引擎的发展
1990年以前,没有任何人能实现搜索互联网的功能。互联网发展早期,信息量较少,互联网用户多为专业人士,那时查找信息要相对容易。伴随互联网爆炸性的发展,普通网络用户想找到所需的资料简直如同大海捞针,这时为满足大众信息检索需求的搜索引擎便应运而生了。所有搜索引擎的祖先,都可以追溯到1990年由蒙特利尔McGill大学学生Alan Emtage、Peter Deutsch、Bill Wheelan发明的Archie(Archie FAQ)。虽然当时World Wide Web还未出现,但因为当时网络的主要用途是传输文件,网络中的文件传输还是相当频繁。由于大量的文件散布在各个分散的FTP主机中,查询起来非常不便,因此Alan Emtage想到了开发一个可以以文件名查找文件的系统,于是便有了Archie。
1993年,美国内华达System Computing Services大学开发了一个与Archie非常相似的搜索工具,这个搜索工具既能够检索文件也能够检索网页。
1994年4月,斯坦福(Stanford)大学的两名博士生,David Filo和美籍华人杨致远(Gerry Yang)共同创办了超级目录索引Yahoo,并成功地使搜索引擎的概念深入人心。从此搜索引擎进入了高速发展时期。
1998年,斯坦福大学的两位博士生Larry Page和Sergey Brin开发出了现在世界上最大的搜索引擎——Google。通过对20多亿网页进行整理,Google可为世界各地的用户提供适需的搜索结果,而且搜索时间通常不到半秒。现在,Google每天需要为世界各国用户提供1.5亿次查询服务。
1997年10月29日,北大天网正式在CERNET上向广大Internet用户提供Web信息导航服务,它是由北大计算机系网络与分布式系统研究室开发的国家“九五”重点科技攻关项目“中文编码和分布式中英文信息发现”的研究成果,受到学术界广泛好评。
2000年1月,两位北大校友,前Infoseek资深工程师李彦宏与加州大学伯克利分校博士后徐勇在北京中关村创立了百度(Baidu)公司。历经5年的高速发展后,在近两年时间里,百度高居全球网站流量前八名的位置,已经成为全球十大网站之一。百度每天接受着超过一亿人次来自各个方面的内容检索请求,中国9400万网民几乎每天使用1次百度。“有问题百度一下”已经成为中国网络流行语之一。
2002年,中国搜索(原慧聪搜索)正式进入中文搜索引擎市场。在一年多的时间里,就发展为全球著名的中文搜索引擎服务商,为新浪、搜狐、网易、TOM等知名门户网站提供搜索引擎技术。慧聪搜索引擎的优势是从人工审核网站信息源和设置禁查词两个方面入手,有效地过滤了不良信息,降低了垃圾信息的含量。
2搜索引擎的工作原理
简单的说,搜索引擎是通过从互联网上提取的各个网站的信息来建立数据库,检索与用户查询条件匹配的相关记录,然后按一定的排列顺序将结果返回给用户。根据搜索引擎提取数据的方法,可将搜索引擎系统可以分为三大类:
2.1目录式搜索引擎:是一种网站级搜索引擎。目录式搜索引擎由分类专家将网络信息按照主题分成若干个大类,每个大类再分为若干个小类,依次细分,一般的搜索引擎分类体系有五六层,有的甚至十几层。先由程序自动搜集信息,然后由编辑员查看信息,人工形成信息摘要,提供目录浏览服务和直接检索服务。由于目录式搜索引擎的信息分类和信息搜集有人的参与,因此其搜索的准确度是相当高的,缺点是需要人工介入、维护量大、信息量少、信息更新不够及时。
2.2机器人搜索引擎:Robot(机器人)一词大家并不陌生,Computer Robot是指某个能以人类无法达到的速度不断重复执行某项任务的自动程序。由于专门用于检索信息的Robot程序象蜘蛛(spider)一样在网络间爬来爬去,因此,搜索引擎的Robot程序被称为spider程序。搜索引擎主动派出称为蜘蛛(Spider)的机器人程序定期搜索(比如Google一般是28天),对一定IP地址范围内的互联网站进行检索,一旦发现新的网站,它会自动提取网站的信息和网址加入自己的数据库。该类搜索引擎的优点是信息量大、更新及时、毋需人工干预,缺点是返回信息过多,有很多无关信息,用户必须从结果中进行筛选。