今もなお働き者のBaidu Spaider

以前、私の映画と音楽のブログ「Audio-Visual Trivia」にアクセスがある検索エンジンのクロールについて記事にしたことがあります。
世界の検索エンジン　World Search Engines

中国市場を制覇して日本市場への本格参入を発表した急成長の中国の検索サイトBaidu（百度）は日本でシェアの高いヤフーとグーグルが海外企業であるところから競争できると考えているようです。
インターネットの世界も10年選手となった今、なぜ、日本企業がトップじゃないんでしょうね。

Baiduの画像は検索がすごいとそこで書いたのですが、クロールもすごいらしいです。
百度株式会社のクローラの過剰アクセス問題」なんていうのも取り沙汰されたほどBaiduspiderの集中攻撃のようなアクセスがサーバーにかなりの負担がかかったそうです。
2007年2月には百度側が対応策を発表したほどでした。最大クローラー頻度は9回/秒から1回/3秒までに下げたとか。もろもろ。
あっという間に何百もアクセスされると、サイト自体がつながりにくくなってしまうそうです。
ふむふむ、それで私のブログへのアクセスが少ないのか。　いや、違うでしょう。前からですわ。

Baidu.jp、Baidu Spaiderに関する御詫びと対処法についての2007年の記事
百度（baidu）
Baidu
画像検索をしたい方は右から2つ目の图片をクリックしてください。以前ほどはすごくないようです。

去年の話をなぜに今？　そう、現在もBaiduspiderはよくいらしてますよ。日本国内の百度からでしょうか。負荷が下がってるんでしょうかね。
robots.txtを置くとか、特定のロボットを弾くタグ（アクセス禁止）もあるそうですが。

ついでに申しますと、サーバに負担がかかっているかどうかは私には分かりませんが、ショッピング専用のサーチエンジンのビカム株式会社からのアクセスもハンパじゃないのです。
ネンガラネンジュウ、一度に何百件もクロールしていきます。ほぼ全記事！インデックスしていないのか？Become.comで私の記事を検索すると当初より減っているのは、なぢえ～？
Become.comの過去記事はこちら

数日置きに何百ページにもアクセスしてくるBecome.comはサーバーアタックかと疑っています。様子をみて拒否したい意向です。