剛在網路爬文，發現到，影響主機負載過重與頻寬傳輸量最有可能的原因就是 Robots 機器人作祟，而其中又以 百度(Baidu) Spider 為最。再看看我的 Blog 系統的管理畫面，其中在 User-agents 方面，還真的百度就給我佔據了 96% 之多！

既然也有眾多網站的站長們對 百度 Spider 沒有好感，我想乾脆就先把它給關掉，禁止該機器人搜尋本站。關掉的方法有兩種：

1. 在網站根目錄上新增 robots.txt
2. 在網站根目錄的 .htaccess 直接 deny 掉

第一種方法，是國際通用的，禮貌上，凡是 Robots 看到 robots.txt 的內容有擋掉它的 User-agens，那麼它會跳過不搜尋；不過又有網友說 google, yahoo 等可以，但是百度好像不理會？ robots.txt 內容如下：(以文書編輯器新增以下內容後上傳至網站根目錄即可)

User-agent: baiduspider
Disallow: /

若是第一種方法無效，則採取第二種方法，直接在根目錄下的 .htaccess 編輯新增內容如下：

#
SetEnvIf User-Agent ^Baidu baidu
Deny from env=baidu

我先用第一種方法看看，若還是造成負載與頻寬過重，則直接就在 .htaccess 把它給擋掉。至於利用 IP Ban 掉，可能不是一個好方法，因為百度的搜尋引擎的 IP address 似乎不是固定的。

※ 延伸參考：
o　禁止搜索引擎收錄的方法(百度幫助中心)
o　擋掉 Baidu Spider
o　【轉貼】建議大家把百度搜尋機器人封鎖，免得浪費頻寬和流量