產(chǎn)品數(shù)據(jù)管理 （PDM）最早出現(xiàn)在20世紀(jì)80年代中期，過去產(chǎn)品設(shè)計(jì)、工藝設(shè)計(jì)、生產(chǎn)管理使用的圖紙、工藝、生產(chǎn)計(jì)劃、物資管理都是紙質(zhì)文件，但一經(jīng)計(jì)算機(jī)處理后，這些紙質(zhì)文件都轉(zhuǎn)化成為計(jì)算機(jī)中各種不同類型格式的數(shù)據(jù)，因此出現(xiàn)了產(chǎn)品數(shù)字化的概念。這些數(shù)字化的產(chǎn)品數(shù)據(jù)管理稱為PDM（ProductData Management）。PDM以管理企業(yè)的產(chǎn)品數(shù)據(jù)為基礎(chǔ)，管理所有與產(chǎn)品相關(guān)的信息（包括電子文檔、數(shù)字化文件、數(shù)據(jù)庫記錄等）和所有與產(chǎn)品相關(guān)的過程（包括工作流程和更改流程），通過控制涉及這些信息的所有過程、管理協(xié)調(diào)與這些過程有關(guān)的所有機(jī)構(gòu)和人員，保證設(shè)計(jì)人員在需要的時候都能夠訪問到正確的信息，并提高設(shè)計(jì)者之間及應(yīng)用與應(yīng)用之間的信息反饋速度，從而達(dá)到縮短產(chǎn)品的開發(fā)周期、降低成本、提高質(zhì)量和改善產(chǎn)品性能的目的。

互聯(lián)網(wǎng)企業(yè)也有系統(tǒng)化的產(chǎn)品數(shù)據(jù)管理體系，由于大數(shù)據(jù)的發(fā)展，互聯(lián)網(wǎng)企業(yè)的產(chǎn)品數(shù)據(jù)管理體系相對于傳統(tǒng)企業(yè)的產(chǎn)品數(shù)據(jù)體系有著更顯著的差異和特色：

（1）由于產(chǎn)品功能多元化和產(chǎn)品更新迭代速度快，數(shù)據(jù)體系的構(gòu)建更為復(fù)雜。

（2）可采集的數(shù)據(jù)更為全面和多樣化，數(shù)據(jù)對產(chǎn)品運(yùn)營和優(yōu)化決策的作用更為顯著。

（3）對數(shù)據(jù)處理能力的要求更高，尤其是對海量數(shù)據(jù)處理的能力，數(shù)據(jù)計(jì)算的實(shí)時性方面要求更高。

（4）對數(shù)據(jù)分析和數(shù)據(jù)挖掘的深度要求更高，數(shù)據(jù)能夠?yàn)楫a(chǎn)品決策提供更多的支撐。

互聯(lián)網(wǎng)的產(chǎn)品數(shù)據(jù)管理包括四大方面，具體包括：

（1）數(shù)據(jù)統(tǒng)計(jì)指標(biāo)設(shè)計(jì)?；ヂ?lián)網(wǎng)產(chǎn)品數(shù)據(jù)體系的構(gòu)建，從統(tǒng)計(jì)指標(biāo)設(shè)計(jì)出發(fā)，以結(jié)果導(dǎo)向來設(shè)計(jì)數(shù)據(jù)體系，以更好的進(jìn)行產(chǎn)品開發(fā)和運(yùn)營管理。

（2）數(shù)據(jù)上報(bào)采集。設(shè)計(jì)好數(shù)據(jù)體系后，我們需要和相關(guān)產(chǎn)品經(jīng)理、產(chǎn)品開發(fā)人員規(guī)劃數(shù)據(jù)上報(bào)，確定通過技術(shù)手段采集那些數(shù)據(jù)。

（3）數(shù)據(jù)存儲、處理和統(tǒng)計(jì)。即對上報(bào)的數(shù)據(jù)進(jìn)行加工和存儲，利用大數(shù)據(jù)技術(shù)進(jìn)行數(shù)據(jù)統(tǒng)計(jì)和數(shù)據(jù)展現(xiàn)，方便查看和檢索。

（4）數(shù)據(jù)分析與挖掘。即對重要的產(chǎn)品設(shè)計(jì)和運(yùn)營問題或者方向進(jìn)行數(shù)據(jù)分析和挖掘，對重要的產(chǎn)品關(guān)鍵數(shù)據(jù)進(jìn)行實(shí)時監(jiān)控和預(yù)警。

這四方面形成閉環(huán)，不斷的循環(huán)改進(jìn)。雖然互聯(lián)網(wǎng)產(chǎn)品的數(shù)據(jù)管理體系從數(shù)據(jù)統(tǒng)計(jì)指標(biāo)體系出發(fā)，而數(shù)據(jù)分析和數(shù)據(jù)挖掘是最后一步，但經(jīng)過數(shù)據(jù)分析和數(shù)據(jù)挖掘，也會進(jìn)一步促進(jìn)數(shù)據(jù)統(tǒng)計(jì)指標(biāo)的設(shè)計(jì)和優(yōu)化。

衡量一個產(chǎn)品的好壞可以分為經(jīng)營類指標(biāo)、體驗(yàn)設(shè)計(jì)類指標(biāo)和性能質(zhì)量類指標(biāo)。不同產(chǎn)品定位和功能都有不同，因此無法完全統(tǒng)一指標(biāo)來直接衡量各個產(chǎn)品的好壞。因此，不同產(chǎn)品的數(shù)據(jù)指標(biāo)體系既有相同的方面，也有差異的方面。在下一篇文章，我們將分別詳細(xì)介紹電商、游戲和工具類產(chǎn)品應(yīng)用的通用類數(shù)據(jù)指標(biāo)體系。在差異化的方面，每個產(chǎn)品可以提煉出與自身產(chǎn)品定位和功能更有針對性的指標(biāo)，如像微信，朋友圈的發(fā)圖片量一定是重要的但也比較特殊的活躍度指標(biāo)。

在數(shù)據(jù)指標(biāo)體系設(shè)計(jì)過程中，常常遇到以下問題：

（1）產(chǎn)品缺乏有效的數(shù)據(jù)監(jiān)控。產(chǎn)品越來越多，但對產(chǎn)品缺乏監(jiān)控與評估，各功能對用戶的需求與滿意度，貢獻(xiàn)度無定期反饋與評估機(jī)制。

（2）數(shù)據(jù)需求合理性問題。產(chǎn)品經(jīng)理或運(yùn)營人員提出的數(shù)據(jù)需求往往沒有經(jīng)過專業(yè)數(shù)據(jù)分析師評估與評審，對數(shù)據(jù)指標(biāo)的統(tǒng)計(jì)必要性、完備性和準(zhǔn)確性缺乏評估。

（3）數(shù)據(jù)指標(biāo)體系科學(xué)性問題。現(xiàn)有的產(chǎn)品指標(biāo)多數(shù)是是記錄部分原數(shù)據(jù)，對產(chǎn)品的衡量缺乏立體化維度，缺失部分關(guān)鍵指標(biāo)。

為了解決這些問題，我們需要從以下四大方面解決：

（1）提煉關(guān)鍵產(chǎn)品關(guān)鍵價(jià)值指標(biāo)。產(chǎn)品關(guān)鍵價(jià)值指標(biāo)是每個業(yè)務(wù)（功能）綜合衡量指標(biāo)，該指標(biāo)包括財(cái)務(wù)類經(jīng)濟(jì)收入指標(biāo)和用戶活躍度的總體指標(biāo)。常用指標(biāo)如收入、日活躍用戶數(shù)和付費(fèi)用戶數(shù)等。

（2）構(gòu)建立體化的產(chǎn)品評估體系。我們需要對影響產(chǎn)品關(guān)鍵價(jià)值指標(biāo)的相關(guān)影響因素進(jìn)行詳盡分析，并構(gòu)建立體化的指標(biāo)體系進(jìn)行監(jiān)控。比如影響日活躍用戶的相關(guān)指標(biāo)，可能包括用戶參與度類指標(biāo)、用戶留存類指標(biāo)和產(chǎn)品性能類指標(biāo)，這些指標(biāo)都盡可能細(xì)化，并進(jìn)行監(jiān)控。

（3）細(xì)分指標(biāo)，有利與定位與發(fā)現(xiàn)問題，便于開展專項(xiàng)分析。我們需要對產(chǎn)品關(guān)鍵價(jià)值指標(biāo)進(jìn)行細(xì)分拆解，以方便定位產(chǎn)品關(guān)鍵價(jià)值指標(biāo)異動原因。如對日活躍用戶的拆解，我們可以從不同版本角度進(jìn)行拆解或者從產(chǎn)品不同功能模塊拆解，以方便發(fā)現(xiàn)日活躍用戶異動的原因。

（4）建立數(shù)據(jù)需求評審制度。定期如每周進(jìn)行數(shù)據(jù)需求評審，數(shù)據(jù)需求提出方與分析師、數(shù)據(jù)開發(fā)人員共同討論，根據(jù)數(shù)據(jù)需求的背景和商業(yè)目標(biāo)制定相應(yīng)的數(shù)據(jù)指標(biāo)體系，并確定數(shù)據(jù)的來源，如果沒有現(xiàn)成的數(shù)據(jù)源，還需要驅(qū)動開發(fā)進(jìn)行數(shù)據(jù)上報(bào)。

互聯(lián)網(wǎng)產(chǎn)品的數(shù)據(jù)采集需要通過開發(fā)人員寫程序或者使用已有的工具把相關(guān)的數(shù)據(jù)以日志的方式傳輸?shù)綌?shù)據(jù)上報(bào)的服務(wù)器，數(shù)據(jù)開發(fā)人員再對相關(guān)的日志進(jìn)行日志解析、入庫，以方便數(shù)據(jù)統(tǒng)計(jì)。但很多產(chǎn)品經(jīng)理或者運(yùn)營人員以為數(shù)據(jù)不用上報(bào)就可以做數(shù)據(jù)統(tǒng)計(jì)，這是一個常見的誤區(qū)，會經(jīng)常導(dǎo)致產(chǎn)品上線后，關(guān)鍵的運(yùn)營數(shù)據(jù)都不能看到。很多互聯(lián)網(wǎng)產(chǎn)品經(jīng)理或者運(yùn)營人員經(jīng)常把數(shù)據(jù)上報(bào)和數(shù)據(jù)統(tǒng)計(jì)混淆，以為上報(bào)項(xiàng)就是統(tǒng)計(jì)項(xiàng)，或者以為提了數(shù)據(jù)上報(bào)需求就有統(tǒng)計(jì)結(jié)果，或者做數(shù)據(jù)上報(bào)的測試不做統(tǒng)計(jì)的測試。實(shí)際上，數(shù)據(jù)上報(bào)是數(shù)據(jù)采集的手段，上報(bào)是數(shù)據(jù)統(tǒng)計(jì)的數(shù)據(jù)來源之一。還有一種極端的方式是，產(chǎn)品經(jīng)理或者運(yùn)營人員為了上報(bào)數(shù)據(jù)而提上報(bào)數(shù)據(jù)需求，不管上報(bào)的數(shù)據(jù)是否有用，盡可能多的提，導(dǎo)致提了非常多沒有用的數(shù)據(jù)上報(bào)項(xiàng)，浪費(fèi)公司開發(fā)資源，浪費(fèi)數(shù)據(jù)存儲資源，浪費(fèi)公司開發(fā)人力。

如何進(jìn)行有效的數(shù)據(jù)上報(bào)？我們常常看到，很多數(shù)據(jù)上報(bào)需求對上報(bào)條件與規(guī)則描述不太清楚，導(dǎo)致與數(shù)據(jù)上報(bào)的開發(fā)人員、測試人員的溝通中常出現(xiàn)理解不一致，常常導(dǎo)致返工等浪費(fèi)人力情況。有效的數(shù)據(jù)上報(bào)需求說明應(yīng)該包括以下要點(diǎn)：統(tǒng)計(jì)項(xiàng)名稱、統(tǒng)計(jì)目的、統(tǒng)計(jì)方式、上報(bào)項(xiàng)描述、業(yè)務(wù)邏輯及觸發(fā)時機(jī)。我們建議把此作為互聯(lián)網(wǎng)產(chǎn)品數(shù)據(jù)上報(bào)需求的模板，以規(guī)范數(shù)據(jù)上報(bào)需求。通過建立數(shù)據(jù)上報(bào)模版，幫助提高產(chǎn)品需求的質(zhì)量，提高與開發(fā)測試方溝通的效率，節(jié)省溝通成本。以“發(fā)送圖片成功賬戶數(shù)”為例，數(shù)據(jù)上報(bào)內(nèi)容如下：

統(tǒng)計(jì)項(xiàng)：發(fā)送圖片成功賬戶數(shù)。

統(tǒng)計(jì)目的：產(chǎn)品關(guān)鍵數(shù)據(jù)之一，衡量產(chǎn)品運(yùn)營整體效果。

統(tǒng)計(jì)方式：日周期統(tǒng)計(jì)。

上報(bào)項(xiàng)描述：該用戶成功發(fā)送圖片的次數(shù)。

觸發(fā)條件/業(yè)務(wù)邏輯詳細(xì)描述：發(fā)送成功賬戶指自定義圖片由發(fā)送方計(jì)算機(jī)成功上傳到服務(wù)器，當(dāng)天只要有一次發(fā)送成功則被記為成功賬戶。

數(shù)據(jù)上報(bào)到數(shù)據(jù)存儲服務(wù)器后，經(jīng)數(shù)據(jù)開發(fā)人員數(shù)據(jù)處理后，便可以進(jìn)行統(tǒng)計(jì)和數(shù)據(jù)展示。大數(shù)據(jù)存儲經(jīng)常面臨存儲規(guī)模大和存儲管理復(fù)雜的挑戰(zhàn)，需要兼顧結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)。傳統(tǒng)數(shù)據(jù)庫對這類需求和應(yīng)用無論在技術(shù)上還是功能上都不能很好的解決。我們可以利用分布式文件系統(tǒng)和分布式數(shù)據(jù)庫技術(shù)來解決這些問題。同時，大數(shù)據(jù)存儲還要考慮一個重要的問題，即數(shù)據(jù)的生命周期管理問題。數(shù)據(jù)有其生命周期，同時，數(shù)據(jù)存貯也有相應(yīng)的成本。隨著數(shù)據(jù)量越來大，數(shù)據(jù)維護(hù)成本越來越高，數(shù)據(jù)使用效率也會逐漸降低。大數(shù)據(jù)管理里面經(jīng)常面臨的問題是：什么樣的數(shù)據(jù)需要一直存儲，如果要存儲是在線存儲還是離線存儲，那些數(shù)據(jù)需要存儲一定時間后要進(jìn)行刪除。因此，我們需要對數(shù)據(jù)的不同時效、不同訪問頻率、不同重要性進(jìn)行區(qū)分，結(jié)合存儲成本的考慮，制定相應(yīng)的存儲策略。如交易型數(shù)據(jù)其數(shù)據(jù)重要性高和訪問頻率高，可以采用在線存儲。

在數(shù)據(jù)處理和統(tǒng)計(jì)上，要重點(diǎn)解決以下問題：

（1）多樣化的數(shù)據(jù)處理?；ヂ?lián)網(wǎng)大數(shù)據(jù)的特點(diǎn)是要對不同數(shù)據(jù)結(jié)構(gòu)特征的數(shù)據(jù)處理，即要對結(jié)構(gòu)化/半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行處理。

（2）數(shù)據(jù)實(shí)時性問題。從數(shù)據(jù)計(jì)算響應(yīng)性能角度看，大數(shù)據(jù)處理可分為實(shí)時/準(zhǔn)實(shí)時與非實(shí)時計(jì)算，流式計(jì)算通常屬于實(shí)時計(jì)算，查詢分析類計(jì)算通常也要求具有高響應(yīng)性能，而批處理和復(fù)雜數(shù)據(jù)挖掘計(jì)算通常屬于非實(shí)時或線下計(jì)算，那些數(shù)據(jù)需要實(shí)時計(jì)算，那些數(shù)據(jù)需要離線計(jì)算，要提前評估和準(zhǔn)備。

（3）數(shù)據(jù)關(guān)聯(lián)性問題。如MapReduce 適用于處理數(shù)據(jù)關(guān)系較為簡單的計(jì)算任務(wù)，但社會網(wǎng)在絡(luò)等具有復(fù)雜數(shù)據(jù)關(guān)系的計(jì)算任務(wù)則需要研究和使用圖數(shù)據(jù)計(jì)算模式。

（4）并行計(jì)算的體系和硬件平臺的搭建。大數(shù)據(jù)處理通常需要使用基于集群的分布式存儲與并行計(jì)算體系結(jié)構(gòu)和硬件平臺，尤其是隨著很多需要高響應(yīng)性能的大數(shù)據(jù)查詢分析計(jì)算問題的出現(xiàn)，MapReduce 其在計(jì)算性能上往往難以滿足要求，用內(nèi)存計(jì)算完成高速的大數(shù)據(jù)處理已經(jīng)成為大數(shù)據(jù)計(jì)算的一個重要發(fā)展趨勢。

數(shù)據(jù)分析和數(shù)據(jù)挖掘需要集成的、經(jīng)過清洗的、可信的、可高效訪問的數(shù)據(jù)，通過大數(shù)據(jù)分析和挖掘，大數(shù)據(jù)的價(jià)值才可以更好的發(fā)揮出來。大數(shù)據(jù)環(huán)境下的分析和挖掘方法與傳統(tǒng)的小數(shù)據(jù)統(tǒng)計(jì)分析有很多不同，這些方向也是構(gòu)建大數(shù)據(jù)能力和體系時需要解決的問題。大數(shù)據(jù)時代，數(shù)據(jù)分析和數(shù)據(jù)挖掘體系需要解決以下問題：

（1）大規(guī)模數(shù)據(jù)的處理和分析。大數(shù)據(jù)環(huán)境下的數(shù)據(jù)分析需要處理大規(guī)模的且數(shù)據(jù)量急速增長的數(shù)據(jù)。在這種情況下，我們可以采用抽樣的技術(shù)來把數(shù)據(jù)規(guī)模變小，以便利用已有的技術(shù)手段來進(jìn)行數(shù)據(jù)分析。但在某些領(lǐng)域，抽樣會導(dǎo)致信息的丟失。所以，如何應(yīng)對TB級別甚至更高量級數(shù)據(jù)量進(jìn)行分析，是大數(shù)據(jù)分析相對于小數(shù)據(jù)分析的最大挑戰(zhàn)。

（2）數(shù)據(jù)分析的深度和廣度。一方面，由于大數(shù)據(jù)種類的多樣性，不僅僅包括結(jié)構(gòu)化的數(shù)據(jù)，還包括半結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)，使得可以分析的維度變多，數(shù)據(jù)分析的廣度變得更寬，可以從更多的維度發(fā)現(xiàn)小數(shù)據(jù)所不能發(fā)現(xiàn)的洞察。第二方面，結(jié)合大數(shù)據(jù)的算法和更為復(fù)雜的統(tǒng)計(jì)分析模型，我們可以做更深度的分析，比如預(yù)測客戶流失的概率以及流失的原因，實(shí)時監(jiān)測和定位數(shù)據(jù)異動的原因等。因此，相對于小數(shù)據(jù)，大數(shù)據(jù)在數(shù)據(jù)分析的深度和廣度都有更為明顯的優(yōu)勢，從數(shù)據(jù)更好的發(fā)現(xiàn)知識并加以利用進(jìn)而指導(dǎo)人們的決策。

（3）數(shù)據(jù)分析和數(shù)據(jù)挖掘的實(shí)時性。在大數(shù)據(jù)時代，數(shù)據(jù)分析越快、越及時，對商業(yè)價(jià)值的貢獻(xiàn)則越大，查詢和分析的實(shí)時處理能力，對于人們及時獲得決策信息，做出有效反應(yīng)是非常關(guān)鍵的前提。如根據(jù)用戶最近購買行為、瀏覽行為通過大數(shù)據(jù)技術(shù)來及時的“猜測”用戶的潛在需求，推薦用戶最想購買的商品，并推送有有效的促銷信息促成用戶購買。這個猜測和推薦的過程越快效果越好。但是，在面對大數(shù)據(jù)，數(shù)據(jù)分析和數(shù)據(jù)挖掘的實(shí)時性成為大數(shù)據(jù)應(yīng)用最大的挑戰(zhàn)。因此，構(gòu)建實(shí)時計(jì)算能力如利用spark、storm等實(shí)時計(jì)算技術(shù)成為提升數(shù)據(jù)分析實(shí)時性的關(guān)鍵。

（4）數(shù)據(jù)分析的自動化和可視化結(jié)合。在大數(shù)據(jù)時代，我們需要利用大數(shù)據(jù)技術(shù)實(shí)現(xiàn)分析的自動化，讓機(jī)器能做的事情充分的讓機(jī)器來完成。要實(shí)現(xiàn)“機(jī)器”自動化的數(shù)據(jù)分析，前提是讓“人”提前設(shè)置好數(shù)據(jù)分析的模式。這樣，人可以把更多的分析經(jīng)驗(yàn)和思路沉淀為分析模式，讓機(jī)器不斷的利用分析模式來及時的、自動化的計(jì)算，從而使得數(shù)據(jù)分析可以更好的提高效率。同時，如果我們還可以利用大數(shù)據(jù)可視化的手段把復(fù)雜的計(jì)算結(jié)果用簡單易用的可視化數(shù)據(jù)產(chǎn)品展示出來，將有利于“大數(shù)據(jù)用戶”更好的理解數(shù)據(jù)分析的結(jié)果，更好運(yùn)用數(shù)據(jù)來做更多有效的決策?？傊髷?shù)據(jù)可視化與大數(shù)據(jù)分析自動化的結(jié)合，一方面由于機(jī)器的自動化計(jì)算提高了分析效率，另一方面，由于可視化提供了用戶對數(shù)據(jù)的直觀分析和展示，提升了數(shù)據(jù)的易用性。如果還可能，大數(shù)據(jù)可視化可以進(jìn)一步結(jié)合人機(jī)交互，將能帶來更好的分析效果。大數(shù)據(jù)可視化方面結(jié)合人機(jī)交互的功能，本質(zhì)上是提供了人和數(shù)據(jù)的“對話”功能，可以更好的探索數(shù)據(jù)中的隱含信息，進(jìn)行更好的推理，獲得更深入的洞察。

總之，互聯(lián)網(wǎng)產(chǎn)品的數(shù)據(jù)管理體系需要產(chǎn)品經(jīng)理、產(chǎn)品運(yùn)營人員、開發(fā)人員和數(shù)據(jù)分析師共同合作完成，并不是數(shù)據(jù)分析師或者是產(chǎn)品經(jīng)理一個人就能完成的事情。為了更好的建設(shè)符合大數(shù)據(jù)時代的產(chǎn)品運(yùn)營的數(shù)據(jù)體系，我們需要充分理解數(shù)據(jù)體系的商業(yè)目標(biāo)，做出科學(xué)嚴(yán)謹(jǐn)?shù)漠a(chǎn)品數(shù)據(jù)體系，做好數(shù)據(jù)上報(bào)的規(guī)范，構(gòu)建大數(shù)據(jù)存儲和計(jì)算的能力，做好數(shù)據(jù)的生命周期管理，搭建具有大數(shù)據(jù)技術(shù)能力的數(shù)據(jù)分析和數(shù)據(jù)挖掘體系，并在這些基礎(chǔ)上形成數(shù)據(jù)體系設(shè)計(jì)、數(shù)據(jù)上報(bào)采集、數(shù)據(jù)存儲計(jì)算和數(shù)據(jù)分析挖掘的良性循環(huán)。