？做資料質量分析是一種什麼樣的體驗？和資料統計相同嗎？

1樓：華矩數診台

你這裡的資料統計我理解應該是資料統計分析；

在資料統計分析前，我們首先要做的就是對資料進行預處理，將那些所謂的「髒資料」給去除掉，提高資料統計分析的準確性和有效性。也就是說資料質量分析是資料統計分析的重要開頭。只有正確有效的資料才能統計、挖掘出真正隱藏的資訊。

否則則會導致很嚴重的損失。說到資料預處理，他有多種方法，比如：資料整合，資料清洗，資料歸約等。

其中資料清洗主要指的是對原始資料集中的無關資料，重複資料，錯誤資料，篩選掉與分析主題無關的資料，處理預設值，異常值等。這些資料處理技術在資料分析之前使用，大大提高了資料探勘模式的質量，降低實際挖掘所需要的時間。

在統計學領域，有些人將資料分析劃分為描述性統計分析、探索性資料分析以及驗證性資料分析；其中，探索性資料分析側重於在資料之中發現新的特徵，而驗證性資料分析則側重於已有假設的證實或證偽。

探索性資料分析是指為了形成值得假設的檢驗而對資料進行分析的一種方法，是對傳統統計學假設檢驗手段的補充。

Excel是最常用的分析工具，可以實現基本的分析工作，在商業智慧型領域Cognos、Style Intelligence、Microstrategy、Brio、BO和Oracle以及國內產品如Yonghong Z-Suite BI套件等。

資料質量分析工具有Informatica DQ、華矩的Trillium、Apache Griffin、DataCleaner等，相對來說，Trillium的歷史比較久一些，大致從上世紀80年代開始研究資料質量，理念也先進些。