最近新作的一个网站我聚合（www.5juhe.cn）发现在网站上线3天即发现有神秘蜘蛛Twiceler来访，每日来访次数超过300，这个神秘的蜘蛛是什么背景？
谷歌一下，看到一些关于Twiceler的报道：
twiceler是一个爬虫程序,据说是美国斯坦福大学研究搜索引擎的一个学生项目
曾被称作“Google杀手”的搜索引擎Cuil面向全球范围的网站发布了Twiceler编目机器人，然而使用该工具导致许多网站当机。这名消息人士表示，当Twiceler机器人运行时会产生大量流量，这对网站造成极大的破坏。在著名的站长论坛Admin Zone forums上，许多站长抱怨Twiceler机器人造成网站当机。一名站长表示，该机器人吃掉大量带宽，在一个月内甚至产生了2GB的流量。这些站长同时认为，Cuil采用的网站编目技术是不科学、不成熟的。Cuil目前尚未对这一问题做出回应。
以下是wikipedia的解释：
Cuil (讀音是 [kuːl], "cool")是一個於2008年7月28日正式運作的搜尋引擎[1][2]。目前主要由Google的前僱員管理和開發[3]。公司已從Greylock及其他風險投資基金公司籌集了三千三百萬美元資本[4]。
在2004年，帕特森曾經研發過Recall技術，並賣給Google，而她本人亦加入Google公司。2006年，她又離開Google，並與丈夫和另外兩位前Google同事合作發展Cuil搜尋引擎。目前，Cuil已經可以搜尋1200億個網頁。
Cuil的名稱是來自蓋爾語的Cuill，意思是「知識」。
Recent Comments