TSR數字貨幣交易平台
發布時間: 2022-03-22 20:38:53
⑴ 誰知道數據管理方面的知識
數據管理目錄
1定義
2管理階段
一，人工管理階段 二，文件系統階段 三，資料庫系統階段3面向應用
面向數據應用的數據管理概念 面向數據應用的數據管理對象4反洗黑錢
5AML
AML 程序中用於比較的欄位1定義
數據管理[1]是利用計算機硬體和軟體技術對數據進行有效的收集、存儲、處理和應用的過程。其目的在於充分有效地發揮數據的作用。實現數據有效管理的關鍵是數據組織。隨著計算機技術的發展，數據管理經歷了人工管理、文件系統、資料庫系統三個發展階段。在資料庫系統中所建立的數據結構，更充分地描述了數據間的內在聯系，便於數據修改、更新與擴充，同時保證了數據的獨立性、可靠、安全性與完整性，減少了數據冗餘，故提高了數據共享程度及數據管理效率。2管理階段一，人工管理階段20世紀50年代中期以前，計算機主要用於科學計算，這一階段數據管理的主要特徵是：（1），數據不保存。由於當時計算機主要用於科學計算，一般不需要將數據長期保存，只是在計算某一課題時將數據輸入，用完就撤走。不僅對用戶數據如此處置，對系統軟體有時也是這樣。（2），應用程序管理數據。數據需要由應用程序自己設計、說明和管理，沒有相應的軟體系統負責數據的管理工作。（3），數據不共享。數據是面向應用程序的，一組數據只能對應一個程序，因此程序與程序之間有大量的冗餘。（4），數據不具有獨立性。數據的邏輯結構或物理結構發生變化後，必須對應用程序做相應的修改，這就加重了程序員的負擔。二，文件系統階段20世紀50年代後期到60年代中期，這時硬體方面已經有了磁碟、磁鼓等直接存取存儲設備；軟體方面，操作系統中已經有了專門的數據管理軟體，一般稱為文件系統；處理方式上不僅有了批處理，而且能夠聯機實時處理。用文件系統管理數據具有如下特點：（1），數據可以長期保存。由於大量用於數據處理，數據需要長期保留在外存上反復進行查詢、修改、插入和刪除等操作。（2），由文件系統管理數據。同時，文件系統也存在著一些缺點，其中主要的是數據共享性差，冗餘度大。在文件系統中，一個文件基本上對應於一個應用程序，即文件仍然是面向應用的。當不同的應用程序具有部分相同的數據時，也必須建立各自的文件，而不能共享相同的數據，因此數據冗餘度大，浪費存儲空間。同時，由於相同數據的重復存儲、各自管理，容易造成數據的不一致性，給數據的修改和維護帶來了困難三，資料庫系統階段20世紀60年代後期以來，計算機管理的對象規模越來越大，應用范圍有越來越廣泛，數據量急劇增長，同時多種應用、多種語言互相覆蓋地共享數據集合的要求越來越強烈，資料庫技術邊應運而生，出現了同意管理數據的專門軟體系統——資料庫管理系統。用資料庫系統來管理數據比文件系統具有明顯的優點，從文件系統到資料庫系統，標志著資料庫管理技術的飛躍。3面向應用前面講到數據管理經歷了人工管理、文件管理、資料庫管理等三個階段，主要是利用計算機硬體和軟體技術對數據進行有效的收集、存儲、處理和應用的過程。隨著信息技術的進步，管理信息系統將面向大規模的組織提供業務支持，不僅要覆蓋整個組織的各類業務，而且要覆蓋整個組織（全球或者全國）。為此，作為管理信息系統的核心功能，數據管理將要進入一個新的階段，即面向數據應用的數據管理。面向數據應用的數據管理概念數據管理，即對數據資源的管理。按照en:DAMA的定義：「數據資源管理，致力於發展處理企業數據生命周期的適當的建構、策略、實踐和程序」。這是一個高層而包含廣泛的定義，而並不一定直接涉及數據管理的具體操作（摘自維基網路）。與網路的定義比較，網路的定義針對的是數據應用過程中數據的管理，即傳統的數據管理，而維基網路的定義更高一層，針對的是企業數據全生命周期所涉及應用過程數據的管理，即對數據變化的管理，或者說是針對描述數據的數據（元數據）的管理，在此我們稱之為面向應用的數據管理。根據管理學理論，幾個人的團隊可以靠自覺、自律，幾十個人就要有人管理，幾百個人就要有一個團隊管理，幾千或幾萬人就必須要依靠計算機輔助團隊管理。通常覆蓋全國的企業和機構，其整個組織的管理分為總部機構、省級機構、市級機構、以及基層機構等等各層級機構；在每個層級機構中還設置了直接從事相應業務的管理和職能部門和非直接從事業務的管理和職能部門（如人事、辦公、後勤、審計等）；每個部門又是由若干員工為管理對象構成的。同時，還制定了一系列的制度去規范和約束機構、部門、人員等管理對象的活動、行為等。同樣，數據管理隨著管理對象——數據的增加，管理的方式（階段）也會隨之提升。通常的大型管理信息系統，其整個項目分為總集成、分項目、子項目、每個子項目又有若干內部項目組等等管理層級；在每個管理層級中都涉及直接服務於業務的業務功能（如業務交易、賬務處理、行政管理、結果展現等等）和非直接服務於業務的非業務功能（如定義、配置、監控、分析、記錄、調度等等）；每個業務和非業務性質的功能又分別由若干數據集合為對象（如流程、表單、數據項、演算法、元數據、日誌等等）所構成的。同時，也需要制定一系列制度、規則和標准去約束項目、功能、數據等管理對象的活動和變化。由此可見，傳統的數據管理側重的數據對象是流程、表單、數據項、演算法等直接面向具體業務需求的數據；面向應用的數據管理所涉及的數據對象，還增加了通過標准化的手段，描述流程、表單、數據項、演算法等應用對象的數據（即它們對應的元數據），以及記錄各類數據變化結果的檔案、記錄運行狀態的日誌等等非直接面向業務的數據，以實現對各類應用業務需求的載入、變化、記錄、復用等過程的管理。見下圖數據空間示意圖
面向數據應用的數據管理對象面向數據應用的數據管理對象。面向數據應用的數據管理所管理的數據對象，主要是那些描述構成應用系統構件屬性的元數據，這些應用系統構件包括流程、文件、檔案、數據元（項）、代碼、演算法（規則、腳本）、模型、指標、物理表、ETL過程、運行狀態記錄等等。通常意義的元數據（Metadata），是描述數據的數據（data aboutdata），主要是描述數據屬性（property）的信息。這些信息包括數據的標識類屬性，如命名、標識符、同義名、語境等等；技術類屬性，如數據類型、數據格式、閾值、計量單位等等；管理類屬性，如版本、注冊機構、提交機構、狀態等等；關系類屬性，如分類、關系、約束、規則、標准、規范、流程等等。而面向數據應用的數據管理所涉及的元數據，主要是描述那些應用系統構件屬性的信息。除了傳統元數據屬性以外，每個不同的構件還有其特有的屬性，比如流程要有參與者和環節的屬性、物理表要有部署的屬性、ETL要有源和目標的屬性、指標要有演算法和因子的屬性等等。每一個構件必然對應一個或多個（一個構件的不同分類）元模型，元模型是元數據的標准，每一個元數據都應該遵循其對應元模型的定義。比如每個數據項（元）都有自己的名字、標識符、數據類型、數據格式、發布狀態、注冊機構等等屬性，這些屬性的集合就是這個數據項的元數據。而每個數據項的元數據都是由哪些屬性描述、每個屬性應該如何描述、以及描述的規則等等約束稱之為元模型。電子政務數據元標准（GB/T 19488.1-2004）就是電子政務數據項(元)的元模型。傳統的元數據管理通常均在相關業務實現後，通過專門元數據管理系統的抽取功能載入元數據，這種方式由於需要在事後人工地啟動載入或維護（事後補錄業務屬性）元數據的過程，往往很難及時獲取元數據的變化，確保元數據與實際情況的一致性。在實現面向應用的數據管理時，應該採用主動的元數據管理模式，即遵循元模型的標准，通過人機交互過程載入元數據（本地元數據），在可能的情況下同時產生數據對象（應用系統構件）的配置或可執行腳本（如果條件不具備，也要利用人機交互所產生的元數據，作為其它相關工具產生可執行腳本的依據）。每當需要變更配置或修改腳本時，也是通過這個人機交互過程實現，同步產生新的元數據，保證了元數據與實際的一致性。
主動的元數據管理模式
見下圖面向數據應用的數據管理意義和方法傳統應用系統（Application Systems）往往是針對特定應用的，需要固化需求的，難以支持變化的管理信息系統。而金稅三期項目是建立針對全國性的組織，覆蓋整個組織所有管理業務和所有用戶的管理信息系統。這樣的應用系統，業務需求的「變化」是常態的，「不變」是暫態的；面對整個組織，各部門和層級的業務「不同」是客觀存在的，「統一」是逐步實現的，繼而持續拓展（開始新的不同）的。為此，必須要有一個不僅能提供業務需求的實現，更要能夠提供可支持業務需求的變化，可對它們變化進行跟蹤和管理，可以支持持續優化的用戶體驗的，企業化生產的新型應用系統（AS2.0）產品集合作為支撐。AS2.0中必須對整個組織業務需求的變化過程和結果加以控制、記錄和管理，面向數據應用的數據管理就是AS2.0關鍵基礎構件的一個產品，並且是它可行性的基礎。傳統應用系統的數據管理所關注的是數據的增值過程，其功能的實現重在關注和強調業務需求內容的載入、內容的ETL、內容的組織、內容的加工以及內容的反映。這些功能的都是通過編碼實現的，固化的軟體代碼。AS2.0的數據管理所關注的增加了元數據的集合、歷史數據的集合和狀態數據的集合，並且利用主動的元數據管理工具進行配置和載入實現的軟體代碼。同時，將其對應的本地元數據匯集形成元數據集合，實現對各種業務需求的變化實施載入，加以捕獲，進行記錄，實現跟蹤達到對變化的管理；將與內容和變化相關的歷史記錄加以標准化的封裝形成檔案，實現歷史資料的組織、復用和卸載等功能達到對歷史的管理；將AS2.0各種構件運行狀態信息實時捕獲，加以記錄，綜合分析，及時反映，實現整個系統運行時狀態的綜合管理。綜上所述，隨著數據對象拓展了變化的記錄、歷史的記錄、狀態的記錄，標志著數據管理進入了新的階段——面向數據應用的數據管理，也標志著應用系統開始進入AS2.0時代。4反洗黑錢數據管理是反洗黑錢 (AML) 的核心所在金融服務提供商需要比以往任何時候都要更加深入地了解他們的客戶。洗黑錢是許多政府在打擊犯罪和恐怖主義時考慮的一個主要問題，正因如此，他們已針對其管轄范圍內運營的金融服務組織發布了眾多指南。數據管理是反洗黑錢 (AML)的核心所在。例如，歐盟的《反黑錢第三指令》和《美國愛國者法案》都很注重以下領域中需要受到關注和嚴格管理的數據質量：·客戶身份標識·了解客戶 (KYC)·客戶（或增強的）盡職調查反洗黑錢中的Informatica數據質量解決方案Informatica
® Data Quality TM 包括用於業務和合規性數據分析的桌面工作台。它易於使用的界面可讓那些需要充分了解數據和業務流程的用戶創建自身的數據質量規則，以確定潛在的可疑或欺詐行為。 這種易於使用的功能是企業的一個關鍵優勢。簡言之，無需等待獨立部門來制定和部署規則，從而由於實施時間的延遲而增加泄露風險。如今，公司不但可以制定、部署和集中管理規則，而且還可以快速對不斷變化的業務情況做出反應。Informatica Data
Quality 解決方案用於交叉引用多個數據集。這種交叉引用可讓企業按照以下列表來識別和驗證客戶和交易數據：· 觀察列表（內部、政府和第三方）· 死亡率列表· 政界人士 (PEP) 列表· 抑制列表· 地址數據· 參考數據最後，一旦規則建立後，可以通過 IT
組織對它們進行部署和優化，並設定為定期執行。這種自動檢查可以確保在使用定期、計劃的批處理作業的持續基礎上管理數據，非常適用於連續的客戶盡職調查 (CDD) 和特殊的可疑活動報告。反洗黑錢(AML)中的客戶信息計劃制定規則企業必須詳盡地了解他們的客戶。銷售、營銷和金融部門的有效運作都必須有準確和最新的客戶數據。過去，與數據保護相關的各種法規都要求更好的客戶數據質量，例如《銀行保密法》（美國）和
HIPAA。但是，立法者和監管者已通過附加的合規舉措對最近的一些違規行為做出了反應，包括《薩班斯—奧克斯利法案》、歐盟的《反黑錢第三指令》、《美國愛國者法案》、《金融工具市場法規》(MiFID) 和 Solvency
II。這其中的許多舉措表明了企業在以下領域內的整合要求：·數據治理·數據集成·數據存儲和倉庫· 商業智能和報告縱觀所有這些規則，表明了對管理數據質量計劃的一貫要求。有時候，這是一種隱含的要求，但在一般情況下，數據質量要求卻是明確的：需要實施涵蓋所有開戶客戶的程序：1. 捕獲所有客戶的 ID信息2. 驗證客戶身份3. 通知 CIP 流程的客戶4. 將客戶姓名與政府列表進行比較所需的身份信息（在開戶之前）：1. 姓名2. 街道地址（不需要郵政信息）3. 出生日期（個人）4. 身份號碼（對於美國公民，必須為美國納稅人身份證號碼）。第 326 節：客戶確認計劃《美國愛國者法案》要管理他們的客戶信息計劃 (CIP)，許多金融機構均會依賴於 Informatica 的數據質量產品。業務分析師使用基於角色的 Data Quality
Workbench 來定義規則，以確保 CIP 所需的數據適合於其目的。通常情況下，需要衡量和報告以下數據質量維度：· 完整性： 確保填寫所有 CIP數據· 符合性： 確保所有 CIP數據的格式均正確無誤· 一致性： 分析多個屬性以保證數據的一致性，例如貨幣與國家/地區和城市與國家/地區· 重復性： 此客戶是否已經存在？· 真實性： 此客戶是否在 PEP 列表上？此客戶是否與員工相關 (KYE)？此客戶是否與其他客戶相關？· 准確性： 確保 CIP數據都有效：日期、產品代碼、地址· 范圍： 本次交易是否超過某一數量？帳戶上的貨幣交易數量是否超過某一水平？分析師可以使用此類報告，快速確定在基於風險的 CIP 中需要引起關注的數據差異。例如：· 居住的國家/地區· 客戶業務的性質·帳戶或銀行產品的類型· 交易數量和交易值· 客戶在 PEP 列表上在數據捕獲（例如，打開新的帳戶）或通過批處理時，都可以生成高度精確的搜索結果和數據質量異常報告。通常情況下，數據質量改善流程適用於現有的客戶或交易數據，以提高 CDD
或促進歷史審查。可以使用 Informatica 或第三方報告引擎來提交報告。5AMLAML 程序中用於比較的欄位分析師也可以通過使用 Informatica Data Quality
解決方案，根據觀察列表來履行他們對客戶進行比較的監管要求。通常，在 AML 程序中用於比較的欄位包括：· 名字 x 出生年份· 姓氏 x 地址· 性別 x身份標識· 出生日期例如，業務分析師可以通過著重於出生年份（而不是完整的出生日期）來單獨權重各個欄位。在此示例報告中，如圖 2
中的示例，可以生成客戶數據集和參考數據集之間所有潛在匹配的列表，例如觀察列表。可以通過預先確定的權重來觸發 AML
警報，使相關人士關注這些匹配。如果匹配 AML 報告中的這些記錄不是真正的匹配，可以設定標記以避免今後的報告使用同樣的匹配。
搜索和匹配流程也可只用於確定和刪除系統中的重復內容。潛在重復內容可通過基於 Web 的客戶提交給數據質量管理員，前者將審查質量欠佳的記錄，並選定一個在重復內容中擁有最佳數據的主記錄或完美記錄。AML 演算法內置數據質量防火牆CIP 是全面了解客戶 (KYC) 計劃的一個子集，該計劃最終需要相同的數據質量流程。通常情況下，數據質量管理員擴展 Informatica Data Quality 解決方案的 CIP
功能，以便納入與客戶的財務狀況和投資目標相關的數據。使用 Informatica 公認的技術方法，可以改進和驗證客戶的數據，從而協助實現 KYC 目標。因此，它不但包括對欺詐行為的更多檢測，而且還可增強客戶關系數據和銷售市場部分。從效果上來說，這在 AML 演算法或第三方引擎的前面內置了一個數據質量防火牆。這些防火牆實現兩個功能：· 確定質量欠佳的數據：標准化、清洗數據和/或及時擴充，從而提高 AML 引擎的效率並降低風險的出現。· 確定潛在的欺詐行為：在將數據載入到引擎之前，使用數據質量業務規則，盡早地抓捕欺詐行為。圖 4 顯示了數據質量防火牆的挖掘視圖。它包含逐條記錄的數據質量等級 （O 列）。在 0% 至 100%
之間對其進行評分，這些等級首先用於指向包含最差 DQ 的記錄。業務分析師可以根據具體情況，輕易地調整這些等級的權重。此外，該報告還強調了 CIP/KYC 風險等級，這些風險等級均適用於使用 Informatica Data Quality 的數據。這些風險等級確定了可能會導致欺詐行為的特定數據方案，即使在將數據載入到 AML 引擎之前。AML 程序的重要組成部分：客戶盡職調查對新的和現有的客戶進行充分全面的客戶盡職調查 (CDD) 是任何 AML 程序的重要組成部分。CDD 依賴於優質的 CIP 和
KYC數據以及流程來監控客戶關系的改善情況，並將他們的服務用作整體風險控制功能的一部分。 《美國愛國者法案》、《反黑錢第三指令》和其他法律都非常高度重視 CDD，且
Informatica Data Quality 也非常適合於提供持續的監控以應對這些要求。 如上述所論，積極的數據質量管理可以確保隨著時間的推移，CDD
使用的數據質量越低，而效率卻越高。第 II 章客戶盡職調查第 8 條第 1 節1. 客戶盡職調查測量應包括：(a) 識別客戶並驗證客戶的身份 ……(b)
在適當的情況下，識別愛益者，並採取基於風險和充分的措施來核實他的身份，以便本指令所涵蓋的機構或人員對所了解的受益者滿足，包括法人、信託或類似的法律安排，採取基於風險和充分的措施來了解所有權並控制客戶的
結構；(c)
獲得有關業務關系的宗旨和目的性的信息；(d) 對業務關系進行持續的監控，包括交易審查......歐盟的《反黑錢第三指令》AML 數據質量規則示例參考右圖6電話營銷電話營銷中，銷售團隊、產品、營銷資料庫構成了「誰來賣」、「賣什麼」、「賣給誰」、這三個必不可少的要素。作為目的銷售對象的匯合---營銷數據，則更在電話營銷工作中起到至關重要的作用，如何科學、標准地管理與運用這些珍貴的數據資源，應該成為每一個電話營銷工作管理者需求認真考慮與實在執行的問題。下面讓我們從理論動手，看看電話營銷中「數據管理」需求關注的那些環節！
第一項關註：數據的導入
數據在導入前需求做一定的處置，以保證運用過程中可維護、可統計與可剖析。
首先，需求對原始數據屬性停止剖析與定義。通常，電話營銷中會調用來自不同渠道的各類數據，這些數據分別有其本身的特性。這就使得我們需求先辨別相似地域屬性（本地與異地）、性別屬性（男與女）、年齡屬性（不同年齡段）、收入屬性（高中低收入群體）、行業屬性（金融、IT行業）等。然後依據這些不同的特性，將數據屬性停止歸類與編碼，經過電話銷售來對這些數據做進一步的處置。進而，我們才能夠剖析並且找到最合適產品銷售的用戶群，以完成數據信息的優先獲取與選用，將數據資源得到最大化應用。
其次，這有一項看似簡單卻十分有意義的工作，就是要在數據導入前對數據預先做一下處置，刪除一些無效數據，比方短少聯絡電話的數據、聯絡電話號碼缺位的數據，或者與目的客戶群屬性不分歧的數據。由於這些工作布置在數據導入前，因而可以經過對原始數據的批量處置，以最高效地得到更契合撥打規范的數據，同時保證分配到一線TSR手中的數據是精確而有效的，儉省他們的時間以及工作效率。
最後，在數據正式投入運用前，也倡議對原始數據停止編號與備份，由於一旦數據分配到TSR手中，必然隨著銷售工作的推進，對數據信息不時停止維護與更新，當需求查看數據的原始信息時，就需求這個備份的原始資料庫了。由於前期曾經對原始數據停止編號，此時我們只需求用數據編號在原始資料庫中做一個簡單的對應關系查詢即可。
完成以上處置，如今我們就能夠將數據資源導入，並等待著經過電話營銷，為我們帶來豐厚的利潤！
第二項關註：數據的運用
經過處置的數據在導入後顯得劃一、有序，這是一個好的開端。
接下來請讓我們一同來理解一下數據的運用過程。營銷數據被TSR運用的同時，會對數據停止一系列的維護，其中主要包括對撥打狀態及銷售狀態的記載與更改。下面讓我們一同來看一下有幾種撥打狀態及銷售狀態，以及這些狀態分別關於我們有哪些意義。
撥打狀態：撥打狀態就是該營銷數據中的電話號碼等聯絡方式在聯絡後的接通狀況。通常我們能夠依據下圖所示的狀態來標注。
標注了撥打狀態的數據就具有了進一層的意義-----數據的生命力。那些屬於永遠也無法接通的數據就全部從TSR這里
「Cancel」掉，再也不要調出來佔用TSR的時間；「忙音/通話中」的數據需求優先給予「錯時撥打」的注重，由於這種狀態標明這個電話仍在運用中，繼續聯絡的接通可能性也將是最大的！順便說一下，關於需求「繼續聯絡」的數據，應該採用「錯時撥打」的方式。所謂錯時撥打主要是錯開工作日及非工作日，或錯開白晝時間及晚上時間。只要經過「工作日撥打」、「非工作日撥打」、「白晝時間」及「晚上時間」的錯開撥打，才能夠做到數據資源的有效應用。
再來看一下「銷售狀態」。銷售狀態只針對電話接通並且找到聯絡人的數據而停止標識的三種狀態：
- 勝利：電話銷售勝利
- 待跟進：聯絡人需求思索，或銷售未完成，需求進一步跟進
- 回絕：聯絡人不承受銷售的產品或效勞，電話銷售失敗
同樣，回絕的用戶我們也需求找出用戶回絕的主要緣由有哪些，經過與數據屬性的對應，採取有效措施進步銷售的勝利率。
第三項關註：數據的應用
經歷通知我們，數據是不需求均勻分配給每一個TSR的，由於不同的TSR對數據的運用狀況不同。在分配數據時我們應該依據每一個TSR對數據的運用狀況來實時停止有效的調控。
這時，有兩個參數能夠協助我們完成營銷數據的調控：「勝利接觸率」、「待跟進率」。以下分別引見。
勝利接觸率=接觸到的用戶數據總和/接通數據總和×100%。勝利接觸率是判別數據有效性的一個指標。經過勝利接觸率來理解所撥打的數據中，有幾數據可以找到聯絡人既銷售對象。勝利接觸率是一個變化的狀態值，隨著數據的二次撥打、三次撥打以至於更屢次的撥打，勝利接觸率會有所進步。為在一定水平上進步數據的有效應用狀況，可設定「最低勝利接觸率」，當所分配數據的「勝利接觸率」低於設定的目的值時，減少新數據的分配，同時請求TSR對未接通數據中的「忙音/通話中」、「無人接聽」停止錯時屢次撥打，以到達進步「勝利接觸率」進而更有效應用數據的目的。
待跟進率=待跟進的數據總和/接觸到聯絡人的數據總和×100%。依據公式不難了解，「待跟進率」所關注的是在可以找到聯絡人的數據中，有幾數據是需求待跟進的。在對數據分配停止控制的過程中，針對這個指標，需求設定「最高待跟進率」。
設定「最高待跟進率」。為使數據資源可以很好應用，並且可以及時地與正在思索的聯絡人停止二次銷售，把握住最佳的跟進機遇，我們需求TSR定期看待跟進數據停止追呼。當超越「最高待跟進率」時，則標明該TSR所調用的營銷數據中，待跟進狀態的數據曾經過多，此時需求減少新數據的分配，以使其集中精神跟進有意向但仍在猶疑的銷售對象。
經過營銷數據中「勝利接觸率」這個指標的控制找到更多的聯絡人，經過「待跟進率」這一指標的控制，找到更多的勝利銷售時機。對這兩個指標的關注，是電話營銷「數據管理」的重要內容
熱點內容