换肤首页 > 游戏 > 美利坚:游戏制作教父

第783章 搜索引擎

“对,差不多,不过这一次我们爬的范围是整个互联网。”

不得不说,雅虎还是帮上了不少忙的。

有雅虎这个足够高质量的人工整理门户站作为入口,爬虫能够得到一套足够可靠的起始资料。

以雅虎作为起点,将网站里收录的所有目录都加入列表,然后直接并发开一大堆爬虫,顺着这些地址访问过去。

访问到目标网页后,就将目标网页的数据采集起来,提取出网页里的其他链接。

跟根服务器匹配一遍去重之后,将这些链接也加入队列,继续拉取信息。

这样一来,一传十,十传百,一张放射状的庞大网络就会迅速铺开。

“等等,这样的话……如果有那种没有任何外部链接指向的‘孤立网站’,不就不会被收录了吗?”

杨听着这套惊世骇俗的方案,忽然察觉到了一点小瑕疵。

爬虫并不是一个能够访问整个网络世界的东西。

它能访问的前提,是这个网站跟其他网站之间有外部链接。

但万维网的世界,虽然基于超链接建立,但其实的确存在一些‘孤立’的网站。

或许这位建站者只是想要做个个人博客,没有友情链接、没有外部跳转,其他网站也没有人提起过它。

那这个网站,一辈子都不可能被爬虫收录到。

“嗯,这个没有办法,不过他们可以选择接入NEXUS感知广告业务,为自己赚一笔外快的同时,也能让我们的爬虫得到它的信息。”

“这……”

杨忽然发现,感知广告业务好像并不如表面上看上去那么‘和善’。

打从一开始,似乎GAMENOVA就在为什么更大的东西做着铺垫准备。

只不过是感知广告太过于牛逼,以至于大家的注意力根本都没有放在上面。

声东击西,但两头都是主力军。

这是一起有预谋的,提前埋伏了许久的钳形攻势。

所有感知广告服务的接入者,都会成为GAMENOVA的信息提供商。

他们的网页网站、雅虎的网站,甚至是早年间搞出来的Akinator网络天才,都会成为爬虫最原始也是最丰富的养料。

它早就形成了一个天然的、庞大的数据库。

“爬虫不仅仅是爬取链接,同时也会爬取页面信息,整个网页里的所有文本,并通过算法进行归纳、整理、排序,变成一个可供快速访问查询的数据库,卡马克,这件事情非常重要。”

上一页目录下一页

猜你喜欢