百度節前低調上線針對教育培訓領域的新產品,輸入關鍵詞,百度提供課程結果,用戶可以根據時間、地點、課程類型等進行選擇。這一新品引起了業內熱議,有觀點認為百度很難克服課程數據這一關。
百度節前低調上線針對教育培訓領域的新產品,輸入關鍵詞,百度提供課程結果,用戶可以根據時間、地點、課程類型等進行選擇。這一新品引起了業內熱議,有觀點認為百度很難克服課程數據這一關。以下內容節選自新浪科技《創事紀》,作者張迪歐,有刪節。
據報道,搜索引擎巨頭百度開始涉足教育培訓領域,低調測試一款新品。當用戶在搜索欄中輸入“雅思培訓”時,搜索結果直接顯示教學機構名稱,其搜索深度已經接近課程級。這在教育培訓行業是個爆炸性新聞值得分析關注,因為此舉有可能改變教育行業的推廣格局,但仍有一些難題搞不定,比如課程數據。
如果百度此舉是為了提升搜索體驗,那必定要采取搜索引擎爬蟲的方式向全行業抓取數據。否則如果百度的不抓取數據而是要求教育機構自行提交數據的話,此舉將只是鳳巢推廣系統的一部分;這一點咱們暫且不表,留在下文言說。
先談談搜索引擎爬取的問題。可以說,所有的行業里,教育培訓領域的課程數據整合是最難的,甚至難到了在邏輯上都不能驗證通順的程度。我之前參與過一個教育類垂直搜索引擎的項目,那一段時間最大的噩夢就是數據問題。之所以最終選擇了網絡教育,就是因為網絡教育的課程數據具有一定程度的可實施性。而百度這么大的動作不可能只滿足于網絡教育,他們的指向應該是全行業的線下教育搜索,于是,問題馬上就要來了。
首先是數據的規范性極低,無法統一展示。教育行業的本質是服務,依從不同的學科擁有不同的服務特征,不同的機構則有不同的課表標準。就拿課時來說,A機構說的是課時,B機構談的是學時,C機構干脆就按小時計費,D機構說一個月是個培訓期,E機構也談課時,但他們的一課時是30分鐘……再說班型的概念,不同機構的班型定義不一樣,班型本身千變萬化,而且還有同樣概念不同名稱的班型。僅網絡教育的現有機構,網校網抓取的班型就將近300種,更何況線下教育的龐大集群。再從教育機構來看,有的機構以教師引領,有的機構以教學的組織引領,有的是一對一教學,不同的學校理念不同,課程設置不同,促銷方法不同,甚至基本的名詞定義都不同。這個不像實物商品,實物商品屬性是基本規范的;也不像飯館,飯館是以“店”為單位去組織的。教育搜索引擎如果想做到真正的服務深度,那么必須以“課”為基本單元(百度目前就是這么做的),這就相當于搜索到飯館里“菜品”的級別了。在這種極不規范的市場下,根本無法實現這種級別的抓取。如果百度提出自己的標準,教育機構能否按照百度的指揮棒去執行?如果百度把這些屬性強行整合,那么又如何為用戶提供準確服務呢?
第二,課程數據難以抓取和更新。假定課程已經規范,但教育領域的網站之千姿百態是大家所公認。即便一家網站,不同學科的頁面html規范都不同,更有甚者,教育機構的課程介紹基本以課表形式展示,這需要人類的智能去讀懂。百度爬蟲如何能把這么多種不同的HTML,把這么多不同邏輯的表格都爬取拆解整理入庫呢?這是人工智能領域的一大難題,恐怕百度難以解決。即便真的做到了,那么教育機構的課表變化,搜索爬蟲的更新頻率能跟得上么?當然,百度可以讓教育機構主動提交信息,這個在后文將進行探討。
第三,數據量之大難以想象,而教育培訓是線下服務,對于用戶必須就近選取。那么全國有30多個省份,N多城市,地區可以算作一個維度;教育培訓的學科非常多,線下教育學科上千不止,這又是個維度。這兩個維度就能衍生數萬個區劃,每個區劃里有N多機構,再加上班型、上課時間等維度,再加上日常更新維護,這個數據量對百度而言也許不算什么,但數據精準程度就不好說了。
所以如果百度以搜索引擎的方式解決教育領域精準搜索的問題,只能犧牲量而求質,求質就得推廣少數機構,推廣少數機構就變成了付費推廣,成了鳳巢系統的一部分,就成了廣告行為。反過來,如果求量而犧牲質,那么這種數據黑洞解決不了,質量不高,百度費力不討好。