人們總是談論如何避免、制止和阻擋機器人，但很多時候關鍵其實在於如何分辨好與壞的機器人，以及掌握應用程式和外在條件的變化。
機器人（Bot），也被稱做網路機器人（Web Robot），是一種在網際網路上執行自動化任務的程式。網路機器人和網頁探勘機器（Screen Scraper，會自動抓取網頁內的數據資訊），最常被搜尋引擎、競爭者、上下游廠商、比價引擎和其他第三方使用。它們臭名遠播，你可能聽聞機器人會癱瘓網站、攫取獨家內容、或是佔用網路。沒錯，壞機器人的確會造成許多損害，但好機器人呢？我們總是談論如何避免、制止和阻擋機器人，但很多時候關鍵其實在於如何分辨好與壞的機器人，以及掌握應用程式和外在條件的變化。
根據Akamai智慧型平台（Akamai Intelligent Platform）的網路流量分析，高達60%的公司網路流量來自機器人，或是代替使用者及其他程式模仿人類行為的程式。很多機器人在網路商業策略具有正面影響，不過，也有些機器人卻會損害商業利益，例如削弱競爭優勢、阻礙公司和客戶溝通或是犯下詐欺行為。因此，為了管理和瞭解每日造訪網站的大量機器人，企業需要一個彈性的架構來制定因應對策。
Akamai曾觀察到幾個案例，機器人以每秒提交數千個請求，遠超過人類使用者透過網路瀏覽器的請求數量，而機器人只要毫秒就可以完成一個相同內容的請求，如此大規模的機器人流量，即使由好機器人產生，對資訊基礎建設的負擔也不是被樂見的。從企業的角度來說，機器人可以是助力也可以是阻力。好機器人的存在是必要的，例如有些機器人會引導網路使用者找到公司的網站，但是由競爭者、內容蒐集者及擷取者所利用的機器人，就會阻礙公司發展，導致公司無法掌握網路業務策略、損失業務發展機會、甚至可能破壞公司和客戶的關係。
如何減少網路機器人的負面影響？企業常見的作法，除了使用無差別的緩解（Mitigation）方法，不然就是全面阻擋被辨識出的機器人，這種傳統的應對方式可能會導致搜尋引擎能見度低落，並對線上業務造成負面影響。從長遠來看，阻擋機器人容易引起機器人改變策略或是採用更高強的偽裝。為了有效解決機器人問題和避免失去商業機會，針對各種機器人種類，網頁管理者必須有能力辨識、分類和做出相對的回應。
舉例來說，當線上旅行業者在搜尋航空公司資訊時，航空公司必須出現在搜尋結果裡，這時的機器人請求會對系統造成附加的下載時間，或對後端產生查詢成本。要同時處理請求又要保持在線上旅行業者的搜尋名單上，航空公司可以根據票價變化而返回之前暫存的內容。另一個常見的例子是競爭者參考擷取機器人的資訊而採用動態票價，應對以上類型的機器人，企業可以提供不變動的票價替代內容給機器人，讓經銷商可以繼續提供真正使用者票價資訊，但又不引起競爭者的注意。
面對網路機器人，應採取管理策略而非一昧地緩解，才能進一步幫助網站基礎架構或IT部門應付額外的機器人流量，減少網站的營運成本，增進使用者體驗，維持競爭優勢和對抗欺騙行為。
（本文作者Jim Whitehurst為Akamai商業策略長）