“对,差不多,不过这一次我们爬的范围是整个互联网。”
不得不说,雅虎还是帮上了不少忙的。
有雅虎这个足够高质量的人工整理门户站作为入口,爬虫能够得到一套足够可靠的起始资料。
以雅虎作为起点,将网站里收录的所有目录都加入列表,然后直接并发开一大堆爬虫,顺着这些地址访问过去。
访问到目标网页后,就将目标网页的数据采集起来,提取出网页里的其他链接。
跟根服务器匹配一遍去重之后,将这些链接也加入队列,继续拉取信息。
这样一来,一传十,十传百,一张放射状的庞大网络就会迅速铺开。
“等等,这样的话……如果有那种没有任何外部链接指向的‘孤立网站’,不就不会被收录了吗?”
杨听着这套惊世骇俗的方案,忽然察觉到了一点小瑕疵。
爬虫并不是一个能够访问整个网络世界的东西。
它能访问的前提,是这个网站跟其他网站之间有外部链接。
但万维网的世界,虽然基于超链接建立,但其实的确存在一些‘孤立’的网站。
或许这位建站者只是想要做个个人博客,没有友情链接、没有外部跳转,其他网站也没有人提起过它。
那这个网站,一辈子都不可能被爬虫收录到。
“嗯,这个没有办法,不过他们可以选择接入NEXUS感知广告业务,为自己赚一笔外快的同时,也能让我们的爬虫得到它的信息。”
“这……”
杨忽然发现,感知广告业务好像并不如表面上看上去那么‘和善’。
打从一开始,似乎GAMENOVA就在为什么更大的东西做着铺垫准备。
只不过是感知广告太过于牛逼,以至于大家的注意力根本都没有放在上面。
声东击西,但两头都是主力军。
这是一起有预谋的,提前埋伏了许久的钳形攻势。
所有感知广告服务的接入者,都会成为GAMENOVA的信息提供商。
他们的网页网站、雅虎的网站,甚至是早年间搞出来的Akinator网络天才,都会成为爬虫最原始也是最丰富的养料。
它早就形成了一个天然的、庞大的数据库。
“爬虫不仅仅是爬取链接,同时也会爬取页面信息,整个网页里的所有文本,并通过算法进行归纳、整理、排序,变成一个可供快速访问查询的数据库,卡马克,这件事情非常重要。”