顶点小说网

手机浏览器扫描二维码访问

第二百九十三章 演示（第1页）

出租车在机场高速上行驶。

车窗外的景色单调——灰色的护栏、灰蒙蒙的天空、远处灰扑扑的楼房。

北京的冬天来得早，路边的杨树叶子掉光了，枝桠像一把把骨头叉子，戳向天空。

李彦强坐在副驾驶，一直没说话。

炜杰坐在后座，笔记本电脑抱在胸前。

他没主动开口，他知道李彦强在想事。

这种时候，谁先开口谁输。

过了五分钟，李彦强说话了。

"

你的爬虫，用的什么语言？"

"

perl。

"

炜杰说，"

何明写的。

单机版八小时能爬一万个网页，分布式版三台服务器并行，二十四小时能爬五万。

"

"

去重怎么做？"

"

md5签名。

每个网页算一个哈希值，重复的直接扔掉。

"

李彦强点点头，没评价。

他又问：

"

索引呢？"

"

倒排索引。

"

炜杰说，"

刘芳做的。

关键词映射到文档id，文档id再映射到词频和位置。

五十万网页，平均响应2.1秒。

"

"

排序算法？"

"

简单版的超链分析。