在任何組織中進行決策時,最大的問題和障礙之一是:“我們可以信任數據的品質嗎?”沒有組織願意根據有缺陷的數據做出策略決策,數據品質和可靠性的不確定性可能會成為收入和成長的障礙。
在這篇文章中,我們將概述幾種數據品質最佳實踐,這些實踐將有助於提高組織對數據品質的信心並簡化您的決策過程。
什麼是數據品質?
數據品質通常被定義為衡量數據對於預期目的的準確性、完整性、一致性和相關性的指標。
雖然「資料品質」存在於資料管理環境中,但它在業務環境中也有重要的細微差別。
當然,有關數據品質的一些基本問題是“數據準確嗎?”以及“其中是否包含不良記錄?”您可以將其擴展到諸如“數據完整嗎?”之類的問題。以及“我們在收集數據時是否遺漏了重要資訊?”您想知道資料是否缺少應包含的內容。這就是一致性在資料品質最佳實踐中發揮作用的地方。
例如,當您建立表單來收集資料時,教師資料庫 您需要決定哪些欄位是必需的,哪些欄位是可選的。如果您的一些受訪者填寫了可選字段,而另一些則將其留空,您的決策者是否可以認為所有結果記錄都是一致的?有些人會;有些人會。其他人會抱怨數據不完整。一致性的差異對數據品質很重要。
數據品質的另一個要素是業務相關性,這可能更主觀。您是否正在收集(並付費儲存)與當前業務目的無關的資料?品質不僅關乎資料庫中儲存的內容;這是關於數據是否適合使用並支援業務需求。數據中應該包含的內容真的存在嗎?
為什麼保持數據品質很重要?
您的資料是一種資產,您依靠它來經營您的業務。您希望透過分析數據來找到更深層業務問題的答案,從而充分利用數據。作為一個組織,您希望從數據中獲得什麼?
您的關注點決定了組織中資料品質的定義。從最表面的層面來看,您需要基本的交易資料質量,以便您可以運送產品並獲得報酬。但假設您想要進行更深層的工作並使用數據來優化客戶體驗。假設您想使用這些數據來尋找相鄰市場,然後增加您的收入和您的公司。這些目標將擴展您對資料品質的定義。
用於對資料進行分析的產品的豐富性是維護資料品質的另一個論點。這些能力不再是財力雄厚的大型企業的專有領域。 如果沒有專門的數位處理團隊,中小型企業分析和使用數據變得前所未有的容易。這使決策者更容易獲得新的見解,但使基於高品質數據的決策變得更加重要。
數據品質最佳實踐
1. 讓最高管理階層參與進來。
如果您認為要讓每個人都相信數據品質的重要性,而數據品質不是來自高層人員,那麼您可能正在打一場艱苦的戰鬥。
您的高階主管必須相信數據質量,因為他們必須促進並積極參與數據優先文化。當然,作為組織的最終決策者,最高管理層在基於高品質數據做出這些決策方面擁有既得利益。
2. 將資料品質納入資料治理架構的一部分
長期以來,資料治理僅限於監管使用者處理和應用組織資料的方式。大多數情況下,這是一種告訴他們不允許對數據做什麼的練習。最近,它被認為以最小的風險充分利用數據,用戶檢查數據的優點並對其負責。
這就是為什麼資料品質已成為資料治理和賦權的核心要素,如何創造一個像你一樣聊天的人工智慧 以及為資料治理提供資金的主要驅動力之一。數據治理計劃的基本期望是用戶將能夠展示數據驅動帶來的改進結果,而這反過來又取決於數據品質。
您的資料治理框架涵蓋任何給定資料資產的多個方面:
這是什麼意思?
它與業務有什麼關係?
誰最終對這些數據負責?
它採用什麼技術?
用戶如何存取它?
此資料來源的品質水準如何?
所有這些方面都有助於進行適用性分析。
3. 將資料品質納入資料管理員和資料擁有者的職責中
如果您擁有這些數據並從使用中受益,那麼您也有責任確保其品質。
F
或者例如,您組織中信用卡交易資料的擁有者應負責確保 PCI 合規性。行銷資料的擁有者應對 CAN-SPAM 合規性負責,並確保查出虛假電子郵件地址。
當然,大多數組織都不夠大,無法聘請專門的資料管理員和資料所有者。一般來說,交易資料的管理者或所有者是財務官員,而對行銷數據來說,則是行銷官員;管理工作是一項附加在日常工作中的責任。即便如此,組織應該確保資料品質的責任是某人工作說明的一部分。
4.使用商業術語表
您希望業務使用者能夠看到用自己的語言表達的資料相關術語。就像物理層面的資料品質不僅僅意味著完整的記錄和必填欄位一樣,業務術語表中的術語也不僅僅意味著資料庫模式。術語表術語適用於圍繞資料的業務規則,這些規則滿足業務對該資料施加的要求,這涉及資料品質的指標。
業務詞彙表中的給定術語可以附加到 10 個不同資料庫中的 10 個不同欄位。從那時起,您開始從業務角度而不是從機械角度看待品質的整體治理。熱門資料庫 它勾選了資料品質記分卡上的一致性框,因為該術語與所有 10 個資料庫的相同指標和期望相關聯。
使用業務術語表是建立業務視角而不是技術視角的一部分,具有資料品質的整體視圖。它將允許您了解並一致地評估整個組織的數據品質。
5. 建立品質指標
這讓你回到了機械視角和商業視角之間的差異。從機械上講,您可以使用資料管理工具來評估資料質量,這些工具可以翻閱資料庫記錄並解決問題。但業務關心的品質指標是通用的、有方向性的:這個資料來源的品質趨勢是什麼?品質是提高了還是下降了?是否一致?指標可讓您分析資料品質並做出決策,例如:
對給定輸入進行更多控制
添加驗證數據的流程並在必要時修復它
等待有人提出數據故障單
建立指標實際上來自於定義特定方面的資料品質。例如,在定義潛在客戶品質之前,您不知道如何衡量潛在客戶品質。
6. 根據這些指標進行監控並進行定期審核
建立可揭示商業智慧的儀表板,以顯示自上季以來資料品質的變化以及是否已達到品質目標。該流程與任何其他業務職能的流程類似,但您也希望獲得能夠推動組織採取行動的見解。
最好的數據品質解決方案在數據創建之前就解決了品質問題,這具有可持續性元素。企業級資料庫平台可讓您配置特定規則,規定哪些內容可以進入欄位和記錄,哪些內容不能進入欄位和記錄。在資料進入資料庫之前控制資料輸入比事後清理更具可持續性。
數據品質審核顯示您對照指標的進度。您的數據品質水準發生了什麼變化?你有正確的規則嗎?它們更新了嗎?當企業更改特定術語的定義時,是否通知了所有受影響的使用者?審計程序是否考慮了這項變更?
如果您的審核發現資料品質問題,解決該問題的最佳方法是執行根本原因分析,然後以程式解決問題。