從零開始,構建資料化運營體系
資料化運營是一個近年來興起的概念,它在運營的基礎上,提出了以資料驅動決策的口號。
在瞭解資料化運營前,運營們有沒有過如下的問題:
不同渠道,效果究竟是好是壞?
活躍數下降了,到底是因為什麼原因?
這次活動推廣成效如何?
釋出了版本,使用者喜不喜歡?
我們總是說傳播,傳播到底有多大?
這是產品和運營每天每時每刻都會遇到的問題。資料化運營,實際以解決這些問題為根本。它從來不是BAT的專屬,也不是大資料的獨寵,每一家網際網路公司,都有適合的資料運營土壤。
資料運營體系,是資料分析的集合與應用,也是資料先行的戰略,它不僅是運營人員的工作,也是產品、市場和研發的共同願景。從管理角度,是自上而下的推動,如果領導不重視,那麼執行者資料用得再好,也是半隻腿走路。
在這裡我還是要推薦下我自己建的大資料學習交流裙:805127855, 裙 裡都是學大資料開發的,如果你正在學習大資料 ,小編歡迎你加入,大家都是軟體開發黨,不定期分享乾貨(只有大資料開發相關的),包括我自己整理的一份2018最新的大資料進階資料和高階開發教程,歡迎進階中和進想深入大資料的小夥伴。
如何構建資料化運營體系呢?以下是我的總結思考。
我將資料化運營體系劃分成四層架構,每一層架構都逐步演進互相依賴,每一層又不可缺少。這四層分別是資料收集層,資料產品層,資料運營層,使用者觸達層。它是以運營人員為視角的框架。
資料收集層
資料化運營體系的底層是資料收集,資料是整個體系中的石油。
資料收集的核心是儘可能收集一切的資料,它有兩個原則:宜早不宜晚,宜全不宜少。
宜早不宜晚,意思是產品從創立階段,就需要有意識的收集資料,而不是等到公司發展到B輪、C輪才去收集。資料化運營貫徹產品全階段,不同階段有不同的運營方法。
宜全不宜少,指的是隻有不合適的資料,而沒有爛資料。像歷史資料、變更記錄或者細節處的資料,都存在價值。
舉一個例子,有一家金融產品,它的徵信系統會詳細記錄使用者的行為,使用者在借貸時上傳擔保資料,會記錄使用者在這些頁面的操作步驟和時間。這裡有一個假設,上傳擔保資料普通人一定是謹慎小心的,如果這步驟完成的非常順暢快速,很可能是會違約和欠款的人群:你操作那麼溜,是不是想撈一筆?屬於熟練工作案。徵信系統會把這些資料作為特徵判斷風險。
需要收集的資料能劃分成四個主要型別:行為資料、流量資料、業務資料、外部資料。
行為資料
它是記錄使用者在產品上一系列操作行為的集合,按時間順序記錄。使用者開啟APP,點選選單,瀏覽頁面是行為;使用者收藏歌曲、迴圈播放歌曲,快進跳過歌曲是行為。
行為資料的核心是描述哪個使用者在哪個時間點、哪個地方,以哪種方式完成了哪類操作。
我們可以利用其分析使用者的偏好,頁面停留時間的長短,瀏覽的頻繁程度,點贊與否,都可以成為依據。另外一方面,使用者行為也是使用者運營體系的基礎,按不同行為,如購買、評論、回覆、新增好友等,劃分出不同梯度,定義核心使用者、重要使用者、普通使用者、潛在使用者的分層。
行為資料通過埋點技術收集。埋點有不同種的實現方式,採集到的資料內容倒是沒有差別,主要以使用者ID,使用者行為,行為時間戳為最主要的欄位。用表格畫一個簡化的模型:
useId用來標示使用者唯一身份,通過它來確定具體是誰,理解成身份證號就行。active就是具體操作的行為,需要在技術層面設定和定義,timestamp就是發生行為的時間點,我這裡只精確到分,一般會精確到毫秒。使用者的行為記錄應該詳細,比如瀏覽了什麼頁面,此時頁面有哪些元素(因為元素是動態的,比如價格),它是半結構化的NoSQL形式,我這裡簡化了。
有時候為了技術方便,行為資料只會採集使用者在產品瀏覽的頁面,像點選、滑動這類操作不記錄。屬於折衷的方法。
除此以外,行為資料還會記錄使用者裝置、IP、地理位置等更詳細的資訊。不同裝置的螢幕寬度不一樣,使用者互動和設計體驗是否會有差異和影響,怎麼拿來分析?這也是資料化運營的應用之一,是宜全不宜少的體現。
流量資料
流量資料是行為資料的前輩,是Web1.0就興起的概念。它一般用於網頁端的記錄,行為資料在產品端。
流量資料和行為資料最大的差異在於,流量資料能夠知道使用者從哪裡來,是通過搜尋引擎、外鏈還是直接訪問。這也是SEO、SEM以及各渠道營銷的基礎。
雖然現在是移動時代,Web時代的流量資料並不過時。比如微信朋友圈的內容都是HTML頁面,活動運營需要基於此統計效果,我們可以把它看作一類流量資料。另外,不少產品是原生+Web的複合框架,內建的活動頁大多通過前端實現,此時即算行為,也算流量資料,當我們將活動頁傳送到朋友圈時,相應的統計只能依賴基於前端的流量資料來採集了。
流量資料是基於使用者訪問的網頁端產生。主要欄位為使用者ID、使用者瀏覽頁面、頁面引數、時間戳四類,簡化模型如下。
url是我們訪問的頁面,以 ***.com/*** 形式記錄,param是描述這個頁面的引數,我們在頁面上的搜尋、屬性資訊會以引數的形式記錄。和行為資料一樣,如果流量資料需要更詳細的統計,也是以半結構化為佳,囊括操作記錄。
它是活動及內容運營的好基友,活動的轉化率,文章被髮到朋友圈的閱讀量等,都是作為流量資料被記錄。主要通過JS採集。
流量資料的統計已經比較成熟,Google Analytics和百度統計都是知名的第三方工具,最為常用。不過它們不支援私有化的部署,只能提供統計,我知道這個頁面有100人訪問,但這一百人是誰不能定位,資料也無法記錄在資料庫中,這對資料化運營是一種麻煩。一些新式的工具則能支援這種更精細的需求,不過要收費。
如果有可靠和先進的技術手段,我們是能做到將行為資料和流量資料統一到一起,這是未來的趨勢。
業務資料
業務資料在產品運營過程中伴隨業務產生。比如電商產品,我進行了促銷,多少使用者領取了優惠券,多少優惠券被使用,優惠券用在哪個商品上,這些資料和運營息息相關又無法通過行為和流量解釋,那麼就歸類到業務資料的範疇。
庫存、使用者快遞地址、商品資訊、商品評價、促銷、好友關係鏈、運營活動、產品功能等都是業務資料,不同行業的業務資料是不一樣的,業務資料沒有固定結構。
業務資料需要後端研發進行配置,因為結構不能通用化,最好提前和研發們打聲招呼提下需求。
行為資料、流量資料、業務資料構成了資料來源的三駕馬車。統稱為原始資料,指沒有經過任何加工。
外部資料
外部資料是一類特殊的資料,不在內部產生,而是通過第三方來源獲取。比如微信公眾號,使用者關注後我們就能獲取他們的地區、性別等資料。比如支付寶的芝麻信用,很多金融產品會呼叫。還有公開資料,像天氣、人口、國民經濟的相關指標。
另外一種外部資料的獲取方式是爬蟲,我們可以爬取豆瓣電影評分、微博內容、知乎回答、房地產資訊為我們所用。第三方不可能支援你獲取,很多時候會有防爬蟲機制。它需要一定的技術支援,不屬於穩定輕鬆的來源。
外部資料因為質量難以保證,更多是一種參考的作用,不像內部資料能產生巨大的作用。
這四類資料構成了資料化運營的基石。隨著網際網路公司資料化水平的提高,能夠利用的資料越來越多。資料結構逐步從SQL到NoSQL;資訊源更加豐富,圖形和聲音資料越來越多;技術由單伺服器演變成分散式;響應從離線批處理到實時流式,都是資料收集的挑戰。
當我們有了資料以後,進入下面一層,資料產品層。
資料產品層
資料產品是對資料的加工和利用,它屬於技術和自動化的範疇,由計算機對原始資料進行處理。它不是傳統意義上的資料產品(如廣告系統),而是以發揮資料價值和生產力為目的,理解成進行資料加工的產品也可。
原始資料並不能直接為運營所用,通常髒亂差,我們需要按照一定的標準整合、加工。
比如行為資料和流量資料,使用者在微信朋友圈看到一則活動覺得不錯,於是下載APP,註冊後參與了活動。這裡的行為資料和流量資料是完全獨立的。微信朋友圈的瀏覽,記錄的是使用者weixinOpenId和cookie,下載後則是產品內部使用的的userId,兩者無法對應,這就需要資料整合,將cookie、手機號、userId等資訊對映(mapping)到同一個人。
這是技術層面的資料清洗。整個過程叫做ETL。
資料發揮價值的方式有很多種。即能通過BI,將原始資料以維度和度量的方式聚合,進行各類視覺化的決策分析,也能資料探勘。根據業務和場景決定資料的不同使用。這裡最重要的是先有指標。
資料指標
我強調過儘可能的收集資料,然而原始資料那麼多,怎麼才能指導我們的業務呢?這要求我們從龐大的資料中找出方向。這時我們就要建立指標,指標就是我們的方向,它是業務和原始資料的聯結器。
可以這樣說,指標在資料化運營體系中是承上啟下的潤滑油,它由原始資料加工而來,反過來又驅動其他產品。
需要有BI?BI肯定是圍繞指標建立儀表盤;要用機器學習演算法?演算法的目的就是提升指標效果的;你要運營?內容、使用者、活動模組的KPI也是圍繞指標的。
在這裡我還是要推薦下我自己建的大資料學習交流裙:805127855, 裙 裡都是學大資料開發的,如果你正在學習大資料 ,小編歡迎你加入,大家都是軟體開發黨,不定期分享乾貨(只有大資料開發相關的),包括我自己整理的一份2018最新的大資料進階資料和高階開發教程,歡迎進階中和進想深入大資料的小夥伴。
指標不是一個通常意義的資料產品,我更喜歡的解釋,是資料屆的產品經理,是驅動、規劃其他資料產品以及配合運營迭代業務的。這樣一說,大家就明白了。
指標如何設立,是根據運營業務所決定,也是運營的第一驅動力。
我們簡單看一下指標如何由原始資料加工而來,下圖是原始資料中記錄的使用者開啟APP的情況。
每一個時間戳意味著對應的使用者開啟過APP一次,通過該表我們能計算每天有多少使用者開啟過APP,這是開啟量,將使用者數去重,就是運營中的重要指標:活躍使用者數。通過對該表的進一步複雜運算,譬如用SQL的Left Join,能獲得留存率。
文章閱讀量、日銷售額、活動參與人數,這些幾乎都是由原始資料彙總加工而出。指標彙總以後,就是運營人員產品人員每日的報表Dashboard。
有了指標,我們再看其他的資料產品,因為篇幅有限,我著重介紹一下使用者畫像。
使用者畫像
使用者畫像是常用的資料產品,對產品和運營人員往往帶有神祕色彩。它有兩種解釋,也是很多新手歧義的根源,一種使用者畫像屬於市場營銷和使用者調研領域,叫做Persona,更準確的翻譯是使用者角色,描繪的是一個自然人的社會屬性,用於使用者需求和場景的確定。
而資料領域的使用者畫像,叫做Profile,是將一系列資料加工出來描述人物屬性的資料標籤。最知名的例子就是淘寶的千人千面:使用者去購買孕期的孕婦產品,很大可能被打上孕婦標籤;瀏覽了汽車相關商品,會被打上汽車興趣的標籤。
使用者畫像是一個依賴大資料和機器學習的複雜體系。準確豐富的使用者畫像能呈指數級的提高運營效果。
使用者畫像也有簡單的用法,沒有資料探勘不要緊。使用者的性別、年齡、地區這些資訊不難拿到吧?使用者行為簡單做一個喜愛偏好區分也不難吧。那麼我們就有使用者畫像V1.0了.
推薦系統,精準營銷、廣告投放都是常見的基於使用者畫像的應用。你要推送化妝品促銷活動,選擇女性標籤的使用者肯定有更高的成功率,更進一步,如果運營知道女性使用者偏好哪個品類的化妝品,效果會更好。
使用者畫像可以通過已有資料提煉獲得,比如擁有使用者的身份證資訊,就能準確獲得性別、籍貫、出生年月這三個標籤。也能通過演算法計算獲得,比如在淘寶購物遺留的收件人姓名,通過機器學習,以概率的形式獲得買家是男是女,建國很大可能是男性,翠蘭很大可能是女性。
使用者畫像是基於原始資料的加工,原始資料越全,使用者畫像就越豐富。
資料產品層中,我們將資料加工為指標,以其為核心,構建和規劃資料產品。如何展現指標(BI),如何提高指標(演算法),如何計算出指標(ETL),如何與指標組合(使用者畫像)。
我們現在獲得了這些「產品」,接下來就是使用,運營和產品人員就是它們的使用者。
資料運營
資料運營層,是運營人員將資料轉化成運營策略。以人為主要生產力,和資料產品的計算機自動化對應。
在我們談及具體的方法前,強調一下人的作用。不論我們前面打造了多好的資料產品,員工的資料化運營意識提高不上去,一切等於零。
對人的要求有三點:
其一,以資料做決策,既要知道資料能夠做什麼,也要知道資料做不了什麼。前者很容易理解,我工作中遇到很多次,在有資料可以提供決策的情況下,依舊相信個人經驗。這是應該規避的思維,不是一個人,而是團隊要做到。
資料化運營也不是企業運營的靈丹妙藥,得客觀承認,公司體量越大,資料化運營所能發揮的效果也越好。在創業公司或者小公司,會受到一定的限制,比如沒有技術支援,提升效果不夠,資料體量缺乏等原因,造成優先順序的延後。這是沒辦法的取捨問題,只能以解決問題為首先依據。
其二,是本身資料分析和運營水平不過關。雖然有意識地利用,可員工僅限於求平均數的水平,那麼也別期待太高了。
這一點,得通過不斷地系統培訓,人員招聘解決。自上而下的倡導和發起是最好的結果,高層有資料化運營的戰略和意識、管理層有資料化運營的指導經驗,執行層能將資料化運營的落地,那麼整個體系也推行成功了。
最後,是產品工具的使用。這是對員工的技能要求,諸如MySQL查詢資料、BI多維度分析、精準營銷、 AB測試、轉化率分析,都是必須的。將資料相關的工具玩得順溜,員工才能在發揮夠大的價值。
運營和產品如何進行資料運營,具體的技巧和方法論太多了,我以核心思想為引子。大家著重瞭解思維。
不是全量,而是精細。不止精細,更是精益。
全量運營是一種集中運營的策略,活動、內容推送、營銷、使用者關係維護,這些方式如果針對所有的使用者,這是運營資源的浪費,你不可能通過一種方式滿足所有的使用者,也不可能用一種方式做到最好。
使用者間是有差異的,這種差異需要用精細化運營彌補。
精細是是將目標拆分成更細的粒度,全國銷量變成上海銷量北京銷量、全年銷量變成第一季度銷量第二季度銷量,使用者變成新使用者老使用者。電商賣口罩,是賣給北京的使用者好,還是海南的?促銷化妝品,目標人群選擇男人女人也是顯而易見的。精細(拆分)是一種資料分析的思路,也是一種運營手段。
精益比精細更進一步,精細是手段,精益是目標。什麼是精益?精益就是二八法則,找出最關鍵的使用者。我們都知道要將化妝品賣給女人,但一定會有部分女人支付更多,20%的女人佔了80%的銷量,精益就是找準這20%。
對最適合的使用者在最恰當的時機採取最合適的手段以產生最大的價值。
前面三個「最」說的是精細,後面一個「最」指的是精益:價值/目標最大化。我有CRM,那麼就從CRM中找出最有價值的客戶去維護;我有風險管理,就找出最可能違約的投資;要做活動,歡迎的是產出最大而不是薅羊毛的使用者;積分中心,效果最好的只會是最優質的那批客戶。
未來比現在重要,現在比過去重要。
這個第二個核心,資料化運營能夠預測未來,把握當下。傳統的運營方式,是知曉過去已經發生的事,銷量是多少,活躍數是多少,這在日益嚴酷的競爭環境中還不夠。
把握當下,是能獲得資料的立即反饋。你要推廣一個活動,可以提前挑選5%的使用者做一個測試,及時獲知使用者的反饋,轉化率高不高,響不響應,然後按照資料決定後續的運營是繼續還是改進。這是技術帶來的進步優勢。
本文福利:關注薇信工宗號:程式設計師交流互動平臺,回覆【大資料】可獲取大資料基礎視訊教程一套
預測未來,是機器學習的領域,通過資料建模,獲得概率性的預測,使用者可不可能流失,會不會喜歡和購買這個商品,新上線的電影會否偏好…運營則利用這些概率針對性的運營。
如果限於技術無法使用機器學習,則需要根據現有資料趨勢去估計,這取決於運營人員的經驗和資料敏感性。
系統化與自動化
資料化運營體系的搭建過程中,運營人員會用到很多的工具。
使用者積累到一定數量,我們考慮引入積分中心增加使用者粘性;產品涉及到地推和銷售人員,則要加入CRM(客戶關係管理)以維繫客群;O2O和電商,基本配置肯定有優惠券的傳送;反饋越來越多,我們也需要客服中心解決各類疑問。這些與運營息息相關的工具,在資料運營體系中佔據中重要的比例。
為了更好的達成目標,會將其獨立成運營模組/運營後臺。好的運營後臺和使用者端的產品同等重要,也需要後臺產品經理規劃。
以我們經常接觸的優惠券為例,它肯定要設定一套規則,核心目標是財務資料,是優惠券成本和收入之間的平衡:你不能濫發,那肯定虧錢,也不能少發,使用者連這東西都不知道。有哪些券、怎麼發、發了多少用了多少、未來準備發多少、發了有多少沒用掉,都是一套大框架的東西,於是做成了發券系統。
優惠券能和CRM結合,CRM通過幾個指標將使用者劃分成了不同的價值和人群。這個使用者特別喜歡花錢,那麼優惠券給他滿1000減100,肯定比滿200減20過癮。那個使用者還沒有消費過,要用首單優惠刺激他。還有使用者有段時間不消費了,運營們得加把勁營銷。上面東西從更高的視野看,是一連串效果、ROI、盈利的評估。這就是用資料做運營策略。
CRM又能和客服中心結合,電話號碼肯定和使用者的資料繫結,VIP使用者電話進來了,我們選客戶主管去接待,賓至如歸。普通使用者呢,也不能粗心,客服至少需要通過後臺的使用者畫像知道這個使用者是什麼情況,這也有針對性的服務。資料運營體系不止服務於運營和產品的。
系統化,要求的是我們把運營的整個過程和策略流程也當作一款產品去締造:哪些方法好用,哪些手段效果好,哪種活動能持續做,把這些都固定下來,打造出一個運營用的產品後臺,作為日常和招數。這種系統化思維也叫「複用」,之後則是把系統做得越來越自動,功能越來越強大,也是另外一種精益了。
以上種種,是將資料、產品運營、系統和人員四者結合起來。系統之所以是系統,就是脫離了粗放的階段,一切皆是有序、規則和充滿策略。資料就是系統的潤滑劑,你沒有資料,怎麼能有選擇性的發券、做活動、推送,維護使用者呢?
資料產品層加工出來的各類標籤、使用者畫像、模型…就是要在資料運營層最大化的被員工使用。資料本身沒有價值,變成策略才有價值。
這三條要點總結一下:我們系統化的使用各種加工後的資料,以精細和精細為手段目標,以把握未來為方向,指定運營策略。這是資料運營層的核心。
使用者觸達
我們整個體系進行到最後的環節,它需要面向使用者。資料收集得再多、加工得再好,運營得再努力,如果不將它們傳遞給使用者,體系就是失敗的。
本文福利:關注薇信工宗號:程式設計師交流互動平臺,回覆【大資料】可獲取大資料基礎視訊教程一套
整個體系的前三層使用者都感知不到。使用者直接感知到的是產品的推送通知、Banner、廣告位、活動、文案、商品的展示順序等。在與產品互動的過程中,使用者會以直接的反饋表達自己喜惡。
感興趣的會點選,喜愛的會夠買,討厭的會退出…這些構成了新一輪的行為資料,也構成了反饋指標:點選率、轉化率、跳出率、購買率等。這些指標就是使用者觸達層的結果體現,也是資料化運營的結果體現。
好與不好,都需要驗證。
結果不是終點。管理學有個概念叫PDCA,翻譯成中文是計劃-執行-檢查-改進,以此為迴圈。使用者觸達層不是資料化運營體系的結束,它是另外一種開始。通過反饋獲得的資料去優化去改進。
我的點選率5%,那麼我能不能通過運營優化,達到10%?使用者接受推送後選擇了解除安裝,我們有什麼方法挽回?留存率被提高,這種策略能不能應用到其他使用者上面。
也許我們資料化運營後,不會獲得一個滿意的結果,但如果我們連優化改進都不去做,那麼連好的機會都不會有。
你看,優秀的員工,不會以資料化運營的結果沾沾自喜,而是進行新一輪的開始。
是終點,又是起點,此過程就是迭代,是體系的核心。
總結
我們將四層串聯起來看待,下圖是一款產品簡化的資料化運營閉環。
資料收集層:當用戶開啟APP時,瀏覽新聞,通過埋點記錄使用者的行為資料:何時何地是誰看了哪些新聞。
資料產品層:計算機將收集上來的行為資料進行加工,統計使用者對軍事、科技、經濟等不同型別新聞的閱讀數。用卡方檢驗得到使用者的閱讀偏好在科技新聞,將其寫入到使用者畫像/標籤系統。
資料運營層:近期有一個科技類的活動,需要一定使用者量參與。運營不能選擇全部的使用者推送吧,那麼就從使用者池中篩選中對科技感興趣的使用者。
使用者觸達層:選擇使用者進行精準推送,使用者在手機端接收到訊息。後臺則會記錄使用者是否開啟推送通知,是否瀏覽頁面,是否參與了活動。轉化率作為反饋會被記錄下來,用以下次迭代改進。
該例就是一次合格的閉環。資料化運營體系既能簡單到用Excel完成,也能引入機器學習資料探勘分散式系統等高階技術,看的是思維和應用。我們將體系中的四層簡化成四個模型,幫助大家理解:
資料收集:以使用者和產品的互動為輸入,原始資料(行為、業務、流量、外部)為輸出。
資料產品:以原始資料為輸入,以加工資料(標籤、畫像、維度、指標、演算法結果)為輸出。
資料運營:以加工資料為輸入,以運營策略(使用者、內容、活動、電商)為輸出。
使用者觸達:以運營策略為輸入,以反饋行為(轉化率、點選率、響應率)為輸出。
使用者產生的反饋行為作為新的互動輸入,迭代和優化,資料化運營體系就良好地運作起來。好的資料化運營體系也是高度自動化的運作,像個性化推薦,可以略過資料運營層,伺服器實時計算後直接將推薦結果給使用者,人就不用參與其中了。
這是四個互相聯絡有先後順序的系統,以此構成資料化運營體系。因為技術手段差異,實現方式會有不同,哪怕是Excel,也能發出資料化運營的光芒。
以上就是產品和運營視角的資料化運營體系,沒有過多的牽涉研發技術,實際複雜程度還要再高一點。當然,萬千用法,存乎一心,希望大家學到的是理念和思維,實際工作中,還是有很多玩法留待大家挖掘。
在這裡我還是要推薦下我自己建的大資料學習交流裙:805127855, 裙 裡都是學大資料開發的,如果你正在學習大資料 ,小編歡迎你加入,大家都是軟體開發黨,不定期分享乾貨(只有大資料開發相關的),包括我自己整理的一份2018最新的大資料進階資料和高階開發教程,歡迎進階中和進想深入大資料的小夥伴。