搜尋文章

Google為何要終止goo.gl?短網址出了什麼問題

  • 30 May, 2018

作者介紹:

本文作者是方選,PicSee短網址(https://pics.ee)共同創辦人,台大資管畢,2016年服務上線,同年華納音樂、里約奧運開始使用,並成為台灣YouTuber在FB上最愛的工具。

感謝方選老師授權TeSA轉貼分享,特此鳴謝!原文在此

先看一個今年初Google資訊公開報告關於網路安全的數據(如下圖),可以明顯發現,2017年10月開始,詐騙網站的比例呈指數狂飆!

圖:Google安全瀏覽中紀錄的「惡意程式網站」與「詐騙網站」的數量

圖:Google安全瀏覽中紀錄的「惡意程式網站」與「詐騙網站」的數量

這些所謂的「詐騙網站」主要分兩種,一種是網路釣魚(Phishing),用看起來超真的Apple ID或FB登入頁面,騙取使用者登入資訊,例如騙到FB帳密,再用這個人的FB Messenger傳詐騙訊息給他朋友,讓他朋友也上鉤;或騙到Apple ID再取得iCloud的通訊錄繼續騙人。

圖:假的Apple ID登入網站,可以看到他的網址根本就不是Apple的,更可怕的是他還申請到HTTPS的憑證(筆者撰文時這網站還在線上)
圖:假的Apple ID登入網站,可以看到他的網址根本就不是Apple的,更可怕的是他還申請到HTTPS的憑證(筆者撰文時這網站還在線上)

另一種是假影音網站,用一堆院線片或運動賽事騙使用者觀看,播放後突然跳出說要註冊才能看,再把使用者導向到另一個影音網站,但免費註冊卻要你填信用卡號碼,而且註冊後也沒辦法看到原本的院線片。

圖:假的影音網站,連現在上映的死侍2跟復仇者聯盟3都有,但當然你永遠無法在他的網站看到(這網站也在線上)
圖:假的影音網站,連現在上映的死侍2跟復仇者聯盟3都有,但當然你永遠無法在他的網站看到(這網站也在線上)

圖:假的影音網站2,網址完全不同,內容一樣logo卻不一樣,共同特徵是logo都沒有用心做(這網站也在線上)
圖:假的影音網站2,網址完全不同,內容一樣logo卻不一樣,共同特徵是logo都沒有用心做(這網站也在線上)

台灣還有一種很相似的LINE詐騙,怎麼分享永遠換不到貼圖或餐券,現在已經變體成用假網頁來躲避追查。

網路詐騙,連專家檢視都難防

傳統資安公司使用黑名單(blacklist),透過爬蟲或使用者舉報,再以人工分析或電腦視覺+機器學習來判斷是否為詐騙網站,將有問題的網站加入黑名單。

但現在的詐騙魔高一丈,辨識瀏覽器的User Agent,比如限制成要在「iOS+FB瀏覽器」才會顯示詐騙內容,如果其他瀏覽器、其他平台,都會轉址到真正的Apple網站。

可想而知,道高一尺的人工檢查都在電腦上,就永遠也看不到「詐騙網站」;光是手機兩大平臺、電腦兩大平臺、瀏覽器三大平台,要查出一個詐騙網站可能要嘗試十多種排列組合,大大增加追查的難度與成本。

至於用機器學習,透過嵌入Google的「我不是機器人」,如果是機器人就過不去了,進行自動化檢測難如登天。

圖:短網址加上「我不是機器人」,機器人就無法抓到真正的目的網址
圖:短網址加上「我不是機器人」,機器人就無法抓到真正的目的網址

短網址成為最大的代罪羔羊

 

其實,就算詐騙網站被抓到,把詐騙網址用短網址來轉址,就可以輕鬆逃過黑名單。所以才會有新聞說,看到goo.gl、bit.ly都是詐騙,雖然誤導民眾,但短網址難辭其咎。

圖:2015/10 TVBS新聞,指出如果收到「短網址」都不要點

圖:2015/10 TVBS新聞,指出如果收到「短網址」都不要點

困難的是,就算短網址服務對使用者的網址安全性掃描,惡意的使用者已進化到先給空白網頁的網址,等取得短網址後,再把空白網頁加入詐騙內容。這代表的是就算透過各種方法掃描網頁,只掃一次永遠不夠,要不斷檢查、不斷檢查…

 

從Google終止服務後的2個措施看出端倪

Google在2018/3/30宣布將終止服務,除了短網址永久有效外,有2個值得討論的措施:

措施一:4/13起匿名使用者不准用

為什麼不准?因為匿名者比較難追查,如果有惡意行為Google根本無從查起,也不能用帳號去檢查這個人的歷史操作記錄,看看他產生的其他連結是否也是包含惡意,來縮小檢查範圍。

措施二:用Firebase Dynamic Links (FDS)智慧網址取代

FDS簡單說就是開啟App的短網址(例如點一個連結會直接開啟LINE App)。因為App比網頁受到更嚴格的把關,網頁隨便都可以做出來,但是App可要上架審核,所以相對的開啟App比開啟網站安全多了!

這兩大措施都指向「安全性漏洞」,所以Google才一公告馬上就不讓使用者匿名使用。況且,Google的短網址服務能賺的錢又少(只有API呼叫到一定次數才收費),若要搜集使用者瀏覽偏好,從AdSense跟Chrome瀏覽器就足夠了,Google還面臨反托拉斯的控訴,短網址詐騙飆升又難以防範,成為關閉服務的最後一根稻草

 

短網址還可能發展下去嗎?

社群時代,短網址的需求一定還會增加。但連AI最強的Google都放棄了,剩下最大的Bitly也以毒窟之姿鬼魅般的存在(如下圖),似乎暗示著短網址永遠與網路詐騙畫上等號?

圖:由國外資安公司Cyveillance統計2015年短網址詐騙,前三名分別是Bitly、GoDaddy的x.co跟Google

圖:由國外資安公司Cyveillance統計2015年短網址詐騙,前三名分別是Bitly、GoDaddy的x.co跟Google

筆者僅能以自家公司PicSee短網址的經驗分享,希望能拋磚引玉來討論短網址的未來。為什麼說PicSee的經驗值得分享?根據2016年的資料,Bitly一個月有150億次點擊,而今天的PicSee一個月也有5億次,且有70%來自海外。我們在今年二月也嚐過被惡意使用進了黑名單,當時還數度關站(真的非常抱歉),整個團隊花了一個多禮拜人工檢視數萬筆連結,也才能發現新型詐騙的「魔高一丈」。

圖:今年二月曾短暫使用過pis.ee網域,但因正處詐騙高峰期,不到一週就進了微軟防毒的黑名單

圖:今年二月曾短暫使用過pis.ee網域,但因正處詐騙高峰期,不到一週就進了微軟防毒的黑名單

實際上,在這之前我們並非毫無作為,早在2017年10月就已經串接Google付費的網頁安全檢測API,在背景多次掃瞄,但連Google短網址都擋不住了,API能幫的真的很有限。

圖:將第一個圖中的釣魚網址去Google安全瀏覽搜尋,也無法判斷是不安全的網站

圖:將第一個圖中的釣魚網址去Google安全瀏覽搜尋,也無法判斷是不安全的網站

 

策略一:高傲但宅心仁厚

我們發現一個很廢話理論:

 

所有還不在黑名單上的詐騙網站,99%是新的

 

所以我們一轉念,要持續服務就不能服務所有的人。

我們建立了白名單(whitelist),只開放給經營一段時間的網站用我們服務,如果網站才剛成立,寧可先不服務他,也不要因為接了他的單,害到整個服務。對於有一定經營歷史的網站,再用付費的API來檢測,也可以有效提升找出詐騙網站的機率。

至於新網站如果要使用,原本策略是必須付費申請,再經由人工審核加入PicSee的白名單(傲嬌,但這樣也代表我們非常安全),不過現在只要有需求跟我們的客服說,在免費審核後,都會盡快讓使用者馬上加入白名單。

 

圖:我們使用白名單紀錄經營一段時間的網站,名單中的網站我們才提供服務;但如果新使用者需要加入白名單,我們檢查完一定免費加入(圖片取自周星馳電影食神)

圖:我們使用白名單紀錄經營一段時間的網站,名單中的網站我們才提供服務;但如果新使用者需要加入白名單,我們檢查完一定免費加入(圖片取自周星馳電影食神)

 

策略二:人人都可以是短網址

我們發現許多商業客戶都只會在短網址服務中,固定產生幾個特定來源的網址,且這群人是最安全的一群。

為了保護他們,我們讓客戶用自己的網域(domain)做短網址給自己用,例如當他有網站「www.abc.com」,我們讓他將「go.abc.com」綁到我們的伺服器上,未來他在PicSee產生的短網址就會變成「go.abc.com/XXX」(當然我們也開放使用者另外申請一個「ab.co」的網域來綁定,讓連結變成「ab.co/XXX」)。

 

如此設計,使用者就永遠不會跟「壞人」使用相同的網域,所以就算我們哪天「策略一」失效,也不會影響到合法的品牌客戶;另一個附加價值是,當客戶用了自己品牌的短網址,因為瀏覽者看到網址中有品牌名稱,更願意相信連結是安全的,研究顯示將提升39%的點閱率。順帶一提,蝦皮的sho.pe就是PicSee的客製化網域。

 

圖:我們提供使用者免費用自己的網域來產生短網址,避免與他人共用,又可以增加網址點閱率(圖片取自周星馳電影食神)

圖:我們提供使用者免費用自己的網域來產生短網址,避免與他人共用,又可以增加網址點閱率(圖片取自周星馳電影食神)

 

結論

 

2002年第一個短網址TinyURL問世,解決了Twitter貼文只能140字,又想放網址的問題。但現在短網址已變成數據追蹤的重要工具(用短網址來追蹤有多少點擊),讓行銷人員可以不再需要透過工程師才能知道成效;廣告主與媒體合作時,也可以有第三方工具驗證連結被點閱的次數。

且隨著行動裝置普及,「長」網址在小畫面顯示效果不佳,加上前面所說的需求目前仍需短網址才能滿足,未來一定還會繼續成長。

但相對的詐騙也會繼續變形,防不慎防,唯有使用更具品牌化的短網址,才能兼顧安全與提升轉換率,筆者認為,短網址也會慢慢的像人一樣,在社交網路上走上「實名制」