訊飛語點,移動靈犀,搜狗語音助手對比測試
訊飛語點(yd)和移動靈犀(lx),搜狗語音助手(sg)評測, 暫時沒把智慧360,蟲洞包含進來。
已有參考:
http://article.pchome.net/content-1571163-2.html
http://www.cctime.com/html/2012-9-30/20129302033343626_4.htm
測試場景:簡訊,電話,控制命令等基礎的功能這次沒有測試,參見上面給出的參考。本次測試主要關注一些生活服務。
測試方法:
三個手機同時開始錄音,採集的是同樣的音訊。
問:從南京到蘇州坐什麼車?
yd:開啟qunar.com的航班查詢頁面。
lx:提示沒有航班資訊,資料提供是12580.
sg:開啟搜狗地圖,搜尋公交車。
問:明天從蘇州到南京的火車票。
yd:qunar.com 火車票資訊。直接展示。
lx:火車票資訊。 直接展示。
sg:火車票資訊。
問: 查詢後天從上海到廣州的航班。
yd:qunar.com
lx: 顯示12580上的航班資料。
sg:酷訊旅遊搜尋機票。 需要一次點選操作。返回不方便。
問: 我下週計劃去三峽旅遊。
yd:開啟android市場搜尋“計劃”
lx:開啟MM市場搜尋“計劃” , 點開一個,最終下載失敗。
sg: 提示“下週再見”
問: 最近去哪裡旅遊比較好。
yd:“乘興而來,xxx”
lx:“乘興而來,xxx”
sg:推薦“麗江,杭州,北京”
問:那麗江有什麼好玩的?
yd,lx,sg,識別出錯, yd的要稍好一點。都能識別出”好玩“,yd和lx開啟地圖。
問: 杭州有什麼好玩的?
yd,lx開啟”杭州“的地圖。
sg:推薦若干景點,資料來自大眾點評。
問:冬天吃什麼比較好?
yd和lx,開啟地圖。
sg:給出冬季飲食原則。
問: 我要上當當買一本書。
yd和lx,開啟本地應用列表。
sg:沒理解。
問:查一下科大訊飛的股票。
yd和lx:查詢股票。sina.com的資料。
sg:沒有找到資訊。
問: 查一下圓通快遞的電話。
yd和lx: 找不到圓通快遞。
sg:顯示圓通快遞客服電話。
問: 我餓了。
yd和lx,sg,給出一些提示資訊。
問:查一下NBA比賽的情況。
yd和lx,開啟百度搜索nba比賽。
sg,未識別。
問: 開啟新浪部落格。
yd和lx,在本地應用中查詢”新浪部落格“
sg,開啟網頁。
問:湖人隊不行了麼?
sg:”永遠頂湖人“, 識別差一個字。
yd和lx:blahblah
查一下”宮保雞丁“的菜譜。
yd和lx:開啟百度搜索百度。百度第一個結果展示了菜譜細節(美食天下菜譜)
sg:識別不完全。
”宮保雞丁“怎麼做?
yd和lx:文字顯示做法。
sg:從”美食傑“獲取了詳細的做法資訊和圖片。
辛棄疾的京口北固亭懷古
yd和lx:搜尋”辛棄疾“,顯示百科資訊。
sg:正確顯示詞的全文。
唐朝女詩人有哪些?
yd和lx:識別錯誤。
sg:給出正確結果。
中秋節英語怎麼說?
yd,lx,sg:都給出了正確結果。
中秋節俄語怎麼說?
yd和lx:搜尋”中秋節“
sg:給出了一個答案。答案資料來自:??
下載莫言的小說紅高粱。
yd和lx:顯示搜尋的”紅高粱“資訊。
sg: 泡泡讀書的下載按鈕,軟體介紹。(木螞蟻提供的資料)
下載二維碼掃描軟體:
yd和lx:顯示文字搜尋結果。
sg:直接顯示軟體列表。
完成大眾點評網上資訊的查詢:
找一個羽毛球館。
yd和lx:開啟百度搜索“羽毛球館”
sg:顯示場館資訊列表:價格,電話,距離,評價等資訊。(資料來自大眾點評)
附近有檯球室麼?
yd和lx:開啟地圖搜尋“蘇州市xxxx街檯球室”
sg:顯示場館資訊列表:價格,電話,距離,評價等資訊。(資料來自大眾點評)
我要預訂網球場 / 預訂一個足球場
都沒有正確操作,僅僅顯示了一些沒用的提示資訊。
搜一下xxx游泳館的團購票。
都沒有給出有用資訊。
美食:
附近有什麼西餐廳?
yd:顯示餐廳列表和資訊。資料來自大眾點評。
lx: 沒有找到資訊。
sg:商店列表。 資料來自大眾點評。
獨墅湖高教區有什麼川菜館?
yd:沒有找到資訊。
lx:沒有找到資訊。
sg: 正確顯示列表。
我想吃湘菜。
yd:顯示餐廳列表和資訊。
lx:沒有找到資訊。
sg: 正確顯示列表。
幫我找一個咖啡館。
yd:顯示餐廳列表和資訊。
lx:沒有找到資訊。
sg: 正確顯示列表。
哇哇叫幹鍋怎麼樣?
三個都沒有給出有用資訊。
哪裡可以訂生日蛋糕。
yd和lx:提示無用資訊。
sg:顯示蛋糕店列表。
找一下火鍋團購券。
都識別出錯。
有沒有餐館的團購券。
yd:dianping網餐廳列表。
lx:dianping網餐廳列表。 12580上沒有找到資訊。
sg:沒有正確資訊。
找一個人均消費50以內的餐館。
yd和lx:搜尋。
sg:沒有有用資訊。
水天堂餐廳怎麼樣?
yd和lx:理解出錯,無有用資訊。
sg:名稱包含“水天堂”的餐廳列表。
購物類:
我要配一副眼鏡。
三個都沒有用資訊。
附近有什麼購物廣場。
yd和lx:開啟地圖。
sg:“中關村附近的購物廣場xxxxx”
附近哪有賣小孩衣服的?
yd和lx: “這個問題,問了一圈,都不會”
sg:顯示了商場列表。 dianping網資料。
我想買點碧螺春。
yd和lx:識別出錯,試了多次都識別出錯。
sg:“別光想,行動吧”
我要買點感冒藥。
三個都沒有反饋有用資訊。
附近哪有藥店?
yd和lx:開啟地圖。
sg:顯示藥店列表。
這裡有沒有鮮花店? / 附近有沒有鮮花店?yd和lx:開啟地圖。
sg:開啟sougou地圖,顯示花店標記。
附近有沒有書店?
yd和lx:開啟地圖。
sg:顯示了書店列表。 資料不全。
休閒娛樂類:
查一下科文中心的電影票。
yd和lx:識別出錯,開啟搜尋頁面。
sg:無用提示。
買一張獨墅湖電影院的票。
三個都提示無用資訊。
附近哪裡有唱歌的地方?
yd和lx:播放本地歌曲。
sg:搜尋KTV。 資料來自dianping。
幫我找一個酒吧。
yd和lx:沒有找到附近的酒吧。
sg:提示無用資訊。
十全街有哪些酒吧?
yd和lx:沒有找到酒吧。
sg:開啟搜狗地圖,顯示酒吧標記。
附近哪有足療的地方。
yd和lx:開啟地圖。
sg:顯示商家列表和資訊。
有沒有電影團購票。
三個都沒有有用資訊。
我要去拙政園。
yd和lx:地圖顯示路線。
sg:顯示路線。
太湖周圍有什麼好玩的?
yd和lx:顯示地圖。
sg:無用資訊。
拙政園的遊覽圖。
三個都無有用資訊。
住宿:
幫我訂一個單人間。
yd:提示“不會”
lx:搜尋12580,提示“沒有找到資訊”
sg:多次識別出錯。
幫我找一下太湖周邊的酒店。
yd:開啟地圖。 沒有顯示酒店資訊。
lx:顯示酒店資訊,但是顯示的是太湖縣的酒店資訊。 資料來自12580.
sg: 開啟地圖,搜尋“酒店”。
我要找一個觀前街的酒店。
yd:開啟地圖。 顯示酒店標記。
lx:顯示酒店列表,資料來自12580.
sg:開啟地圖。
我要找一個經濟型酒店。
yd:開啟地圖。
lx:沒有顯示任何內容。
sg:無用提示資訊。
生活資訊:
哪裡可以沖印照片。
yd和lx:提示“不會”
sg:顯示無關圖片。
哪裡有照相館。
三個都打開了地圖。
哪裡可以洗車?
yd和lx:顯示天氣預報。
sg:無用提示。
哪裡有英語培訓機構 / 附近哪裡有乾洗店? / 幫我找一個搬家公司。/ 買一張1942的電影票。
三個都沒有給出有用資訊。
購物類
三個基本都“太笨” ,沒法給出有用資訊。
導航類:
幫我找一個xx的視訊教程。
三個都沒有有用資訊。
開啟軍事新聞網。/ 開啟鳳凰網。等等具體的網站名稱。
基本能正確開啟。
有哪些英語學習類網站?找幾個視訊網站。
都沒能給出有用導航資訊。
簡單的分析:
語點和靈犀在產品設計,核心技術上其實就是同一個產品,但是後端服務資料不一樣,靈犀有12580的資料,MM應用市場資料。
識別率上: 沒有感覺到明顯的差別。
任務完成度: 整體感覺上搜狗語音助手要好,搜狗整合大眾點評的資料做得很全。 靈犀由於酒店資訊僅使用12580,感覺沒有大眾點評的資料全面。語點則缺少部分資料。
參考大眾點評網上提供的資訊和服務,試圖在語音助手中完成查詢,總體感覺三個軟體能提供的資訊服務種類比較單一。酒吧,電影票,照相館等資料無法查詢。 原因可能有兩點:
1,語義解析不準確。 2,後端資料整合不全面。
旅遊類資訊查詢無法有效進行。 購物類資訊查詢無法有效進行。
導航類資訊比較粗糙。只能完成簡單的導航。
知識類資訊查詢主要依賴後端的論壇或者問答網站,有部分問題能夠獲取比較好的答案。
使用者體驗: 響應速度上三個差不多,UI展現形式類似。 有以下不好的體驗: 某些資訊需要呼叫第三方程式,會出現頁面的來回切換,需要額外的點選操作。 偶爾會出現等待時間較長。 基本不考慮上下文。
個人的一點理解: 用一個網際網路經常用到的流量的說法來理解 此類產品,前端(識別+理解)接受流量, 但是流量要匯出到哪裡?目前看,這個匯出做的都很粗糙,能夠匯出的點目前能夠從產品中看到的是有限的,大部分都轉到了搜尋,是無法快速獲取有效資訊的。這些需要精雕細琢的後端服務功能,是可以在一個框架下開發出來的, 比如旅遊方面的流量可以匯入到專業做線路資訊查詢,景點諮詢,旅遊服務的公司;購物相關的流量匯入到專業電商網站;也可以基於此框架完成豐富的網站導航; 但是又不能做成上述產品中那樣簡單的頁面跳轉操作,這個服務框架可以進一步獲取到使用者的具體需求,提供更精準的結果。......技術人員的 初步的想法而已,就不繼續獻醜了。
還有一個疑問,靈犀這個語點的官方授權山寨版,該如何與語點並存?