今年1月才正式開幕的亞馬遜無人超市Amazon Go,標榜「商品拿了就走」的快速消費體驗,一開張就在全球引起轟動,不僅吸引大批來自世界各地的滿滿人潮,帶著好奇心,等著進店消費,它所掀起的無人零售的新型態,更成為科技圈最火紅的話題,甚至在全球掀起一股無人商店的風潮,包括中國、日本、韓國與臺灣等連鎖業者皆相繼投入,不過,Amazon Go到底厲害在哪裡?採用哪些新技術?iThome記者近日親自赴美,深入直擊Amazon Go無人商店揭開維運關鍵。
亞馬遜目前在全美有超過460家超市(它去年6月買下美國最大有機超市Whole Foods,一舉躍升全美前5大零售商),不過,Amazon Go卻是僅此一家,由亞馬遜自行建置打造的首間無人零售商店,也是全球第一家。
特色1 手機成為進店消費的唯一憑證
Amazon Go強調沒有排隊人潮,也不用結帳櫃臺,消費者只要具備Amazon帳號、下載Amazon Go App,以手機QR code刷進閘門即可開始消費。整間店僅在入口處設置6個自動閘門管控人員進出,其中4道門只進不出,另外2處則當作出口通道,離開時皆從此通過。(攝影/余至浩)
主打商品拿了就走,徹底落實免排隊結帳!
這間無人商店就設在西雅圖市中心,距離亞馬遜總部辦公室僅僅幾步之遙,員工從樓上辦公室走到1樓就看得到。店內約50坪大,室內空間和臺灣的便利超商差不多。亞馬遜一共耗時4年多,才完成建置了這間無人超市,並在2016年底首度對外亮相。不過,一開始僅對內部員工開放,並沒有對外營運,在歷經長達1年內部測試,Amazon Go才於今年1月22日正式啟用營運。現在即使是一般消費民眾,也能進到店內親自體驗。該店目前開放時間為早上7點到晚上9點,且僅平日營業,假日休息不營業。
走進這家無人商店,室內不僅空間明亮,還有寬敞的走道與挑高設計,Amazon Go強調沒有排隊人潮,也不用設立結帳櫃臺,僅在入口處設置6個自動閘門管控人員出入,其中4道門只進不出,另外2處則當作出口通道,離開時皆從此通過。在閘機上面還嵌入一個條碼掃描機,民眾以手機打開Amazon Go App對著閘門輕掃QR條碼就可進入,離開時站在出口閘門前,門就會自動開啟,不需要刷門就可拿著商品自動離去。Amazon Go為了強調「拿了就走」的全新零售體驗,甚至在出口處上方寫下:“ 感謝購物。你可以離開了(真的!)”一行大字,要顧客可以安心離去,不用擔心自己被當成小偷被抓。
通過閘門走進店裡面,首先,在正前方最先看到的是鮮食區及冷飲區,貨架上擺放著沙拉、三明治等食品,讓一早趕著上班的顧客,可以拿了就走。從閘機右側再往裡面走去,貨架上的商品分成三區排列,由左至右依序是冷藏食品區、雜貨及紀念品區,以及調理餐包、冰淇淋及冷凍食品區;另外,走到底還有一區是專門販售酒類商品,平時會有店員在此查驗身分,消費者購買前必須先出示證件,經過店員核對身分才能拿取。
Amazon Go的入口處右側還提供座位區,讓買完商品的客人可以在這用餐或休憩,就像超商那樣。就連店內供應的商品也與一般超市無異,從零食、飲料、冷藏食品、生鮮、酒類商品到熟食通通都有,還有販售自家的紀念品,包括巧克力、馬克杯等。
特色2 商品拿了就走,創新的免排隊結帳模式
顧客離店時只須將商品拿在手上,或是放進店家免費提供的橙色購物袋,或牛皮紙袋,就能從容離去,不需要排隊結帳。該商店會根據顧客離店時所攜帶的物品品項和數量自動計費,再從該帳戶事先綁定的信用卡扣款。(攝影/余至浩)
結合電腦視覺辨識技術,自動追蹤顧客取貨消費行為
不過,它與一般超商有著很大不同,Amazon Go在店內結合了電腦視覺辨識技術,並搭配多種環境感測器(Sensor Fusion)等運用於自動駕駛的技術,打造出該公司稱為Just Walk Out (拿了就走)的無人零售新模式,它運用店內的相機、感測器,來追蹤消費者拿了或放回哪些商品,並根據拿走的商品自動結帳,徹底實現全自動化的無人自助結帳。
消費者只須將商品拿在手上,或是放進店家免費提供的橙色購物袋或牛皮紙袋,就能從容的從店內離開,不需要排隊等待結帳。該商店會依據顧客離開店時所攜帶的物品自動結算,再從該手機帳戶事先綁定的信用卡扣款。
就算消費者拿完商品要放回時不小心擺錯了位置,並不是原先商品放置的位置,或是放到其他不同區的貨架上,該商品也不會被列入計費。
亞馬遜形容,這就像是把線上購物模式整套搬到了實體商店,顧客邊走邊選購商品時,身旁會有個看不見的虛擬購物車,自動跟著一起移動,顧客每從貨架上拿取一件商品,等同於線上將該商品計入該用戶帳戶的虛擬購物車裡,而將看完商品放回架上的動作,也等於是直接取消訂購,這時,商品就會從購物車裡被移除。
一整個購物消費的過程,看起來就像在線上購物,就連後續收到帳單的方式,也都頗為類似,例如都會收到電子帳目明細,只是這裡是以手機做為媒介,顧客拿著商品離開後,手機上就會收到帳單通知,從手機即可查閱購物明細,甚至還可查看造訪停留時間。
兩者最大不同在於,顧客在這裡發生的所有購買行為都是線下進行,可以摸得到實際商品,而且拿了就能走,店家會自動完成結帳,寄發帳單。
另一個不同之處,這裡不只消費者自己一人能夠進店購物,甚至也能允許帶自己的家人、朋友進店消費。只須以手機刷門先讓朋友或家人依序進入後,最後用戶自己再刷門進入就行,如此一來,這些家庭成員或朋友在店內的一舉一動,也都會被自動追蹤記錄,而這些人拿走的商品,最後會記在該用戶的帳單上,而不會與其他人搞混。
特色3 超過50臺深度相機陣列是偵測追蹤的關鍵
Amazon Go能完成無人自助結帳服務的關鍵,主要是它利用超過50個以上的深度感測相機組成的相機陣列,打造出一套結合電腦視覺的影像辨識系統,能自動偵測商品、分析消費者動作,以及追蹤在店內移動的路徑,以判斷顧客拿取了何種商品。這些相機被懸掛在天花板下方,並以各種不同角度,對準下方的走道或是貨架上的商品,以偵測追蹤消費者的一舉一動。(攝影/余至浩)
靠影像辨識偵測商品、顧客舉止動作,自動判斷拿了何種商品
雖然Amazon Go迄今並未提供任何具體維運技術細節,但從它早期曝光的專利文件、少數官方揭露訊息,以及綜合各方資訊來看,Amazon Go之所以能夠完成無人自助結帳服務的關鍵,靠的是它結合電腦視覺打造一套影像辨識系統,靠影像辨識就能自動辨別商品、分析消費者動作,以及在店內移動的路徑,以判斷顧客拿取了何種商品。
根據記者現場的觀察,推估Amazon Go至少以超過50個以上的相機組成的相機陣列,打造出這套影像辨識系統,這些相機被裝在一個個黑盒子內,懸掛在有著裸露鋼架和管線的天花板正下方,只要一抬頭就能看到。天花板上的相機形狀也有所不同,有的造型是正方形,也有長方形的造型,如果仔細近看,可以發現其中長柱體的相機配有上下兩顆鏡頭,推測應具備3D深度感測的能力,天花板上不少都是屬於這類的相機。另外,相機放置的角度也有些許不同,但共同之處,就是都將鏡頭對準下方的走道或是貨架上的商品,以偵測追蹤消費者的一舉一動。
此前,根據亞馬遜揭露的訊息顯示,這套影像辨識系統還結合深度學習技術,不僅可以正確的辨識現在站在貨架前的這個人是誰,拿了什麼商品,就算同時有數個人並排也都能夠辨別,例如,可以知道誰剛剛拿走了優格或蛋糕,或是誰在查看商品,甚至還可進一步依據顧客的動作變化,來預測對方接下來的購物行為,比如,準備拿起商品,還是正要將其放回原處,藉此來加快系統處理反應時間。
這套影像辨識系統也可識別不同商品,迄今店內可供辨別的販售商品超過1,600項,包括零食、冷飲、熟食、酒類飲品,以及雜貨等都有,甚至為了能夠提高商品的辨識率,就連擺放商品也都十分講究。這正是Amazon Go之所以能這麼厲害的一大原因。
有別於一般超商,店內所有商品皆整齊擺放在貨架上,每個商品皆以透明隔板分開,或裝在小籃子裏,能夠清楚分辨每一樣商品,就連小包裝零食或瓶裝飲品都是如此。
甚至於每樣商品皆以正面排放,不論是瓶裝飲料或零食包裝都被轉到正面,整齊的放置在貨架上。不僅如此,針對採用相同外盒包裝容易辨識不易的鮮食商品,在它的包裝上還會加上專用的識別設計,讓天花板上的相機更容易辨識顧客拿了哪種食品。
店內的貨架上也都整合多功能感測器作為輔助。據了解,Amazon Go在每個貨架上,皆設有重量感測器,能偵測架上商品的重量,並比對影像辨識的結果,以提高辨識準確度。
另外,透過分析這些感測器所蒐集的數據,也能用來提高人員作業效率,像是當商品即將銷售一空時,就會自動發送訊息通知店員補貨,亦或是商品放錯位置或被擺在不對的貨架上時,也會發出警示,店員從手持裝置上就能查看,將商品重新放到正確的貨架上。不過商品貨架並未導入RFID電子標籤,仍需要人工更換標籤。
Amazon Go在辨別商品、分析顧客行為動作的出色能力,甚至還能夠用來預防它免於遭竊,即使是消費者想要試圖欺騙,也很難躲過它的法眼,甚至比店員都還聰明,而且無死角,就算沒有店員在旁隨時緊迫盯人,憑著店內大量攝影機和感測器,就能追蹤顧客從貨架上拿下或放回哪些商品,例如,曾有3名亞馬遜員工以卡通人物「皮卡丘」的裝扮進到店裡面購物,試圖蒙騙過關,最後還是被識破,乖乖付錢,或是有國外媒體刻意以購物袋遮掩貨架上的商品,不過最終仍然能識別成功,核對消費明細,商品一樣也沒少。記者現場也親自測試將巧克力盒以購物袋蓋住並放進袋裡,直接走出店外,結果也大致相同,還是能夠收到正確的帳單。
不過,它也不是每次都能夠正確辨識,還是會有漏算商品的時候,只是這種情況極少發生,相較之下,偶有發生誤算商品的情況,例如,拿完物品未歸位,而是擺在非貨架的區域,如地上等,即使最後沒有帶出店外,還是會向消費者收費,亦或是代別人從貨架上拿取商品,也可能導致自己成了冤大頭,幫別人付款。
對此,Amazon Go也提供一套機制,若是帳單上記載品項與實際購買的商品不符,直接從手機的帳目明細上,就能移除未拿取的商品完成退款。
Amazon Go雖然號稱是無人自助商店,但店內倒也不是一個人都沒有,每時段皆會配置3名人員輪班服務,負責門口接待、補貨與查驗身分等。
特色4 靠電腦視覺追蹤消費者取貨購買行為
Amazon Go利用結合電腦視覺的相機,搭配貨架上的多種環境感測器,來偵測與追蹤消費者拿了或放回哪些商品。顧客每從貨架上拿取一件商品,就會將該件商品計入該用戶帳戶的虛擬購物車裡,若是將商品放回架上,則會自動將它自購物車裡移除。就算拿完商品要放回時不小心擺錯了位置,並不是原先商品放置的位置,也一樣能夠正確辨別,不會將該商品列入計費。(攝影/余至浩)
為避免結帳出錯,對於進店人數也採流量管制
再者,Amazon Go針對進店人流也有進行管制,據悉,整家店同時能接待的顧客上限是97人,一旦超過這個數量限制,就會採取限流措施,以避免天花板上的相機,因為人數太多,難以一次同時辨識,導致無法正確辨別每位顧客取貨購物行為,或是容易發生結帳出錯等問題。
除了在總部的這間無人商店外,Amazon Go今年還計畫擴大設點,即將前往芝加哥與舊金山等城市設店,但並未透漏相關時程。
特色5 顧客離店後自動收到帳目明細
顧客拿著商品離開後,經過5到10分鐘,手機上就會收到帳單通知,消費者從手機上可查看商品購物明細以及到店停留時間,若是帳單上記載品項與實際購買的商品不符,直接從手機上的帳目明細,就可將商品移除,即時完成退款。(攝影/余至浩)
特色6 靠深度學習預測店內人潮動向
在影像辨識上還結合深度學習,不僅可以分辨貨架前的人群,現在拿貨或是移動的路徑,甚至還可進一步依據顧客的動作變化,來預測對方接下來的動作,會是拿商品還是將其放回原處。(攝影/余至浩)
特色7 超過1千6百項商品皆能正確判別
靠著這套影像辨識系統也能識別不同商品,迄今在Amazon Go店內可供辨識的販售商品超過1,600項,包括零食、冷飲、熟食、酒類飲品,以及雜貨等都能正確辨別。(攝影/余至浩)
特色8 鮮食品附特殊標記能提高辨識率
為提高商品的辨識率,店內對於採用相同外盒包裝容易辨識不易的鮮食產品,還會加上專用識別設計,讓天花板上的相機更容易辨識顧客拿了哪種食品。(攝影/余至浩)