CGFT：大数据的关键技术主要体现在哪方面？

CGFT是特许全球金融科技师，在人们谈到大数据时，往往并非仅指数据本身，而是数据和大数据技术这二者的综合。

大数据技术是指随着大数据的采集、传输、处理和应用的相关技术，是一系列使用非传统的工具来对大量的结构化、半结构化和非结构化数据进行处理，从而获得分析和预测结果的一系列数据处理和分析技术。

从数据分析全流程的角度，大数据技术主要包括数据采集、数据存储和管理、数据处理与分析、数据安全和隐私保护等几个层面的内容。

特许全球金融科技师CGFT一级

1、数据采集

利用etl工具将分布的、异构数据源中的数据，如关系数据、平面数据文件等，抽取到临时中间层后进行清洗、转换、集成，*后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础，也可以把实时采集的数据作为流计算系统的输入，进行实时处理分析。

2、数据存储和管理

利用分布式文件系统、数据仓库、关系数据库、NoSQL数据库、云数据库等，时间对结构化、半结构化和非结构化海量数据的存储和管理。

3、数据处理与分析

利用分布式并行编程模型和计算框架，结合机器学习和数据挖掘算法，实现对海量数据的处理和分析；对分析结果进行可视化呈现，帮助人们更好地理解数据、分析数据。

4、数据安全和隐私保护

在从大数据中挖掘潜在的巨大商业价值和学术价值的同时，构建隐私数据保护体系和数据安全体系，有效保护个人隐私和数据安全。