曹永誠：數據是新能源但不是多多益善

數據至少得有三個條件才具備有效性，也才能產出效益

文：曹永誠

發布時間： 2019-05-09 18:59:00

『數據』的身價近年來不斷飆升，受人矚目的程度也達到顛峰，它被無限上綱的重視，甚至被比喻成新能源。社會大眾對數據的蒐集也產生無比的興趣，以為數據就像礦石一樣，可以煉出黃金，可以賺很多很多錢。

總覺得數據越多越好，好像這是一種財富，要盡可能蒐集與儲存，但其實這想法半對半錯，固然『有效的』數據可以產出很高的價值。無奈的是，大部分的數據都不具備有效性。

因為我曾帶領團隊做數據分析，著實做出不少有效的實際案例。

因此研討會後就常有工廠的人跑來問我，說他們公司的資料庫已經累積了三年以上好多G的數據，有沒有機會可以幫他們做大數據分析，讓這些數據產出價值。因為這些數據每年都得花掉很多錢供養，包括買硬體、備份以及維護人員等，卻總是看不到價值產出。但若說要把數據殺掉，卻也不敢，所以就這樣繼續耗著。

其實這種狀況我很常遇到，很可惜的是，我只能無奈的回覆: 『靠運氣囉』。為何耗資供養的大量數據，竟然落到供養很貴卻又不敢殺掉的泥沼呢? 那是因為數據要能符合有效性，至少必須先具備三個條件。

首先是，想要運用數據產出某價值，則影響它的必要因子都得齊備才行 (相關性因子也行)。

例如，想預測機台烤箱的健康程度，假設影響因子有三個: 溫度、電流、氣壓，那麼三者的數據就都得齊備才行。缺了任何一個，無論後續用什麼演算法或軟體，都無法建立數學模型來產出價值。這好比打麻將需要四個人，三缺一的話，根本沒辦法打，並不能打3/4 (75%)的麻將。也常有人問我，那該怎麼辦? 能不能把數據補回?

我大概都會笑笑的告訴他『是有機會，但得向哆啦A夢借時光機回到過去才行』。其實，逝者已矣，來者可追，請別再為錯過太陽而流淚，不然你也將錯過群星，還是盡快改善數據蒐集的系統或安裝新感測器吧!

當然，工廠可以產出價值的項目很多。當您的數值欄位很多，或許也可以用暴力法多方嘗試，說不定可以產出一些剛好因子齊備的成果。只不過這是亂槍打鳥，得靠運氣。

但在最初期剛開始嘗試大數據時，由於缺乏經驗與專業，就有可能所蒐集到的數據因為運氣很背，每一種數學模型都建構不起來。遇到這種情況請別氣餒，在做大數據分析之前的數據蒐集，也是得花學費持續回饋修正與改善，希望看到此文的老闆們也能夠理解這事實。