CGFT考试中大数据云计算的关键技术是什么呢?在CGFT考试中基础知识很重要,我们一起看看!云计算的关键技术包括虚拟化、分布式存储、分布式计算、多租户等。

(1)虚拟化

虚拟化技术是云计算基础架构的基石,是指将一台计算机虚拟为多台逻辑计算机,在一台计算机上同时运行多个逻辑计算机,每个逻辑计算机可运行不同的操作系统,并且应用程序都可以在相互独立的空间内运行而互不影响,从而显著提高计算机的工作效率。

虚拟化的资源可以是硬件(如服务器、磁盘和网络),也可以是软件。以服务器虚拟化为例,它将服务器物理资源抽象成逻辑资源,让一台服务器变成几台甚至上百台相互隔离的虚拟服务不再受限于物理上的界限,而是让CPU、内存、磁盘、I/O等硬件变成可以动态管理的“资源池”从而提高资源的利用率,简化系统管理,实现服务器整合,让IT对业务的变化更具适应力。


(2)分布式存储

面对数据爆炸的时代,集中式存储已经无法满足海量数据的存储需求,分布式存储应运而生GFS(Google File System)是谷歌公司推出的一款分布式文件系统,可以满足大型、分布式、对大量数据进行访问的应用的需求。GFS具有很好的硬件容错性,可以把数据存储到成百上千台服务器上面,并在硬件出错的情况下尽量*数据的完整性。GFS还支持GB或者TB级别超大文件的存储,一个大文件会被分成许多块,分散存储在由数百台机器组成的集群里。

HDFS(Hadoop Distributed File System)是对GFS的开源实现,它采用了更加简单的“一次写入、多次读取”文件模型,文件一旦创建、写入并关闭了,之后就只能对它执行读取操作,而不能执行任何修改操作;同时,HDFS是基于Java实现的,具有强大的跨平台兼容性,只要是JDK支持的平台都可以兼容。

(3)分布式计算

面对海量的数据,传统的单指令单数据流顺序执行的方式,已经无法满足快速数据处理的要求;同时,我们也不能寄希望于通过硬件性能的不断提升来满足这种需求,因为,由于晶体管电路已经逐渐接近其物理上的性能*限,摩尔定律已经开始慢慢失效,CPU处理能力再也不会每隔18个月翻一番。

MapReduce将复杂的、运行于大规模集群上的并行计算过程抽象为两个函数——MapReduce并把一个大数据集切分成多个小的数据集,分布到不同的机器上进行并行处理,*大提高了数据处理速度,可以有效满足许多应用对海量数据的批量处理需求。Hadoop开源实现了MapReduce编程框架,被广泛应用于分布式计算。

(4)多租户

多租户技术目的在于使大量用户能够共享同一堆栈的软硬件资源,每个用户按需使用资源,能够对软件服务进行客户化配置,而不影响其他用户的使用。多租户技术的核心包括数据隔离、客户化配置、架构扩展和性能定制。