導(dǎo)語：路透社今天撰文稱，在與對手競爭的過程中，亞馬遜在爬蟲機(jī)器人領(lǐng)域的領(lǐng)先地位雖然鮮為人知，但卻對它的發(fā)展起到了重要作用。

  以下為文章全文：

  今年早些時(shí)候，負(fù)責(zé)追蹤對手電商售價(jià)的沃爾瑪工程師大吃一驚：他們用來每天掃描亞馬遜網(wǎng)站的技術(shù)突然失靈了。

  這可不是小事。與多數(shù)零售巨頭一樣，沃爾瑪也要依靠計(jì)算機(jī)程序掃描對手網(wǎng)站的價(jià)格，從而展開相應(yīng)的調(diào)整。即便只有50美分的差價(jià)也可能導(dǎo)致銷量受損。

  但亞馬遜卻借助新策略屏蔽了這些機(jī)器人程序，令沃爾瑪措手不及。

  知情人士表示，沃爾瑪技術(shù)部門用了好幾個星期都無法繞過封鎖，因而不得不通過二手渠道獲取亞馬遜的數(shù)據(jù)。

  這件之前未被曝光的事情讓外界得以一窺亞馬遜如何憑借技術(shù)取得零售市場的主導(dǎo)地位。

  身為全球最大網(wǎng)絡(luò)零售商的亞馬遜最為人所知的就是快速的配送和齊全的商品，而且提供自制劇等諸多視頻內(nèi)容。但該公司的后臺技術(shù)同樣在它的成功中扮演了重要角色。

  對網(wǎng)絡(luò)機(jī)器人的靈活運(yùn)用不僅可以讓亞馬遜充分了解對手的動向，還能在自己調(diào)價(jià)時(shí)把對手蒙在鼓里。

  “參考亞馬遜會越來越困難?！奔又萘闶鄱▋r(jià)軟件開發(fā)商Boomerang Commerce CEO、亞馬遜前經(jīng)理古魯·哈里哈蘭（Guru Hariharan）說。

  沃爾瑪發(fā)言人拒絕討論今年1月發(fā)生的這件事情，但他表示，該公司一直在定期改進(jìn)技術(shù)，而且有多款追蹤工具。他表示，該公司的價(jià)值不僅來自價(jià)格，還來自店內(nèi)自取折扣等其他福利。

  亞馬遜發(fā)言人稱，該公司知道競爭對手使用機(jī)器人追蹤器定價(jià)，但否認(rèn)采取任何措施來阻撓對手?！拔覀児芾砭W(wǎng)站機(jī)器人的方式最近沒有任何變化?！彼f。

  由于機(jī)器人會降低網(wǎng)站的瀏覽速度，所以零售商都希望阻止這類程序訪問自己的網(wǎng)站。

  路透社對21名熟悉機(jī)器人及其部署方式的人進(jìn)行了采訪，包括前任和現(xiàn)任沃爾瑪員工、亞馬遜前員工以及外部專家。但由于未獲授權(quán)，所以很多人都要求匿名。

  多數(shù)人都指出，亞馬遜在方興未艾的網(wǎng)絡(luò)機(jī)器人大戰(zhàn)中處于領(lǐng)導(dǎo)地位。

亞馬遜在方興未艾的網(wǎng)絡(luò)機(jī)器人大戰(zhàn)中處于領(lǐng)導(dǎo)地位。

  該公司的技術(shù)優(yōu)勢有助于提升利潤率，而且對投資者也很有好處。自從2009年3月觸底以來，該股已經(jīng)上漲約15倍，而同期的標(biāo)準(zhǔn)普爾500指數(shù)漲幅僅為3倍。亞馬遜2015年的銷售額達(dá)到1000億美元——該公司稱，他們達(dá)到這一基準(zhǔn)的速度超過歷史上任何一家公司。

  美麗新世界

  自從亞馬遜10多年前幫助拓展這一模式以來，機(jī)器人驅(qū)動的定價(jià)給整個零售行業(yè)帶來了巨大的變革。

  以往，零售店最多每周調(diào)價(jià)一次，因?yàn)楦鼡Q標(biāo)簽的成本和時(shí)間成本都很高。而在電子商務(wù)世界，零售商卻可以隨意調(diào)價(jià)，有時(shí)候甚至達(dá)到每天數(shù)次，這都得益于綜合考慮了庫存、銷量預(yù)測和對手定價(jià)數(shù)據(jù)等各種算法。

  為了保持競爭力，在線批發(fā)商Boxed等企業(yè)采用包括機(jī)器人在內(nèi)的許多方法確保其調(diào)價(jià)速度與對手之間保持在20分鐘之內(nèi)。

  “這就像是持續(xù)一生的圣誕節(jié)。如果我們的定價(jià)不合適，銷量幾乎會立刻下滑?！盉oxed CEO Chieh Huang說，他的公司專門銷售大包裝衛(wèi)生紙和寵物食品。

  偽裝成人類

  使用機(jī)器人查看公開網(wǎng)站上的大量數(shù)據(jù)被稱作爬取，背后的目的多種多樣。例如，谷歌會不斷爬取網(wǎng)站內(nèi)容，以便發(fā)展搜索引擎或銷售廣告。

  而在電子商務(wù)行業(yè)，使用機(jī)器人則成為了一場“貓捉老鼠”游戲。企業(yè)一方面希望阻止競爭對手爬取自己的網(wǎng)站，另一方面又想滲透對手的網(wǎng)站。于是，專門提供這種服務(wù)的第三方服務(wù)相繼涌現(xiàn)。

  為了避免對手獲取自己的數(shù)據(jù)，有的零售商使用了CAPTCHA技術(shù)，對文字和數(shù)字進(jìn)行歪曲，雖然人類依然可以閱讀，但機(jī)器人卻無法正確識別。亞馬遜并未采取這種措施，因?yàn)榇伺e會令部分客戶感到厭煩。

  對于希望繞過這些封鎖措施的企業(yè)來說，如何將自己的電腦程序偽裝成人類是關(guān)鍵所在。有的定價(jià)技術(shù)專家會開發(fā)在網(wǎng)頁上移動的計(jì)算機(jī)光標(biāo)，模擬人類訪問網(wǎng)頁的過程，而不再直接瞄準(zhǔn)有價(jià)值的數(shù)據(jù)。還有一種使用多個計(jì)算機(jī)地址的技術(shù)，可以避免零售商將大量點(diǎn)擊追溯到相同的來源。

  “這是一場軍備競賽?！睈蹱柼mProfitero高級電子商務(wù)分析副總裁基斯·安德森（Keith Anderson）說，“攻防雙方每個星期或每個月都會開發(fā)新技術(shù)。”

  亞馬遜今年1月封殺沃爾瑪時(shí)瞄準(zhǔn)了名為PhantomJS的專用網(wǎng)絡(luò)瀏覽器。與IE不同，這種瀏覽器是專為程序員設(shè)計(jì)的——這表明用戶并非普通購物者。知情人士表示，亞馬遜設(shè)計(jì)了一個數(shù)字幕布，對PhantomJS隱藏了列表。

  由于此舉并非針對亞馬遜，所以目前還不清楚其他公司因此受到的影響。

  路透社最近幾周進(jìn)行的測試表明，在美國大型零售商中，亞馬遜的機(jī)器人探測技術(shù)最為先進(jìn)。這些測試不僅限于主頁，還包括調(diào)價(jià)最頻繁的兩款產(chǎn)品。

  此次測試由路透社委托舊金山Distil Network公司進(jìn)行，這是一家專門銷售反機(jī)器人工具的公司。在其中一項(xiàng)測試中，Distil開發(fā)的機(jī)器人對每家零售商的網(wǎng)站掃描3000次，但特意放滿了速度，以模擬人類的點(diǎn)擊過程。此舉騙過了多數(shù)零售商，但卻并未騙過亞馬遜。

  被屏蔽的機(jī)器人無法看到亞馬遜上出售的De'Longhi咖啡機(jī)的價(jià)格。而根據(jù)定價(jià)追蹤網(wǎng)站camelcamelcamel.com的數(shù)據(jù)，僅在在4月25日當(dāng)天，這款產(chǎn)品就在亞馬遜網(wǎng)站上調(diào)價(jià)4次，從80.06美元上漲到88.16美元，漲價(jià)幅度超過10%。

  機(jī)器人肆虐

  盡管亞馬遜擁有領(lǐng)先的技術(shù)，但爬取該網(wǎng)站的機(jī)器人數(shù)量還是令人震驚。知情人士表示，其產(chǎn)品列表上最多有80%的點(diǎn)擊都來自機(jī)器人，而大型網(wǎng)站的這一比例大約只有三分之一。

  除了收集定價(jià)數(shù)據(jù)的對手外，有的流量還來自科研院所，他們的目的是研究競爭、搜索引擎、廣告服務(wù)，甚至還有的是希望入侵亞馬遜帳號的犯罪分子。

  沃爾瑪前員工表示，該公司的自動化定價(jià)戰(zhàn)略由一個位于硅谷的小團(tuán)隊(duì)負(fù)責(zé)，還有來自印度及世界各地的數(shù)十名工程師負(fù)責(zé)處理代碼。

  另有知情人士表示，截至幾年前，亞馬遜約有40名工程師負(fù)責(zé)提取和整理對手的數(shù)據(jù)。但亞馬遜并未披露自家爬蟲機(jī)器人團(tuán)隊(duì)的組織結(jié)構(gòu)。

  美國專利申請資料顯示，亞馬遜正在開發(fā)一項(xiàng)加密技術(shù)，可以迫使機(jī)器人解決復(fù)雜的算法才能訪問其網(wǎng)頁。但人類訪問者不會受此影響。

  “亞馬遜既有能力探測機(jī)器人流量，也可以采取必要的手段?！彼箍铺亍ぱ鸥鞑忌⊿cott Jacobson）說，他曾經(jīng)擔(dān)任亞馬遜經(jīng)理，目前在Madrona Venture Group擔(dān)任總經(jīng)理?！岸鄶?shù)零售商都不具備這種能力?！?