技术分享
云计算与大数据学习之绪论
2021-06-25
文章目录
1、应知应会
大数据之父:
吉姆·格雷(网上数据不一,无法确定,待查)
云计算之父:
马克·贝尼奥夫(网上数据不一,无法确定,待查)
物联网之父:
凯文·阿什顿人工智能之父:
约翰·麦卡锡万维网发明人,第一个网页开发者:
蒂姆·伯纳斯·李在信息产业的发展历程中,
硬件驱动力和
网络驱动力,作为两个重要的内在动力在不同时期起着重要的作用。
- 自助服务
是区分简单的B/S架构与真正云计算的重要标准。
科学研究的四个范式:
观测实验、
理论、
计算仿真、
数据。
云计算既是
商业模式,也是
计算模式。
2、云计算(Cloud computing)基础
什么是云计算?
云计算(cloud computing,台湾译作云端运算),是分布式计算技术的一种,其最基本的概念,是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序,再交由多部服务器所组成的庞大系统经搜寻、计算分析之后将处理结果回传给用户。[1]
云计算概念图
- 自助服务
:指在云计算服务中,用户以自助的方式获取服务。
- 通过网络分发服务
:指无时无刻通过互联网以各种方式访问这种服务。
- 可衡量的服务
:指将云计算平台的资源使用情况通过可衡量的指标反映出来。
- 资源的灵活调度
:服务的规模可快速伸缩,以自动适应业务负载的动态变化。
- 资源池化
:指将所有设备的运算能力放在一个池中,在进行统一分配。
- SaaS
:软件即服务。指一种通过Internet获取软件的服务,用户无需购买软件,而是向提供商租用基于Web的软件,来管理企业经营活动。
- IaaS
:基础设施即服务。指一种通过Internet访问完善的计算机基础设施获取服务。
- PaaS
:平台即服务。指将软件研发的平台作为一种服务,通过SaaS的模式提交给用户。
- DaaS
:数据即服务。指云端提供商负责建立全部的IT环境,收集用户所需的全部基础数据并做数据分析,为数据分析结果或算法提供编程接口,让数据成为服务。
- 公有云
:指第三方提供商为用户提供的能够使用的云,核心属性是共享资源服务。[2]
- 私有云
:指为一个客户单独使用而构建的能够使用的云,核心属性是专有资源。[3]
- 社区云
:指由几个组织共享的云端基础设施,它们支持特定的社群,有共同的关切事项。[4]
- 混合云
:指融合了公有云和私有云的云。[5]
3、大数据(Big data)基础
什么是大数据?
大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。[7]
大数据的特征(4V)
- 大量化
(Volume):数据大量化指数据量十分巨大,已经从TB级别跃至PB级别。
- 多样化
(Variety):数据类型繁多指结构化数据、半结构化数据和非结构化数据。
- 快速化
(Velocity):处理速度快指实时分析结果秒级响应。
- 价值化
(Value):价值密度低指数据的价值密度远低于传统关系数据库中已有的那些数据。
数据大小的量级
数据量的大小是用计算机存储容量的单位来计算的,其基本单位是字节(Byte),其他单位与Byte的换算和解释如下:
1 Byte(B) 相当于一个英文字母;
1 Kilobyte(KB)=1024 B(千) 相当于一则短篇故事的内容;
1 Megabyte(MB)=1024 KB() 相当于一则短篇小说的文字内容;
1 Gigabyte(GB)=1024 MB() 相当于贝多芬第五交响曲的乐谱内容;
1 Terabyte(TB)=1024 GB() 相当于一家大型医院中所有X光图片内容;
1 Petabyte(PB)=1024 TB() 相当于50%全美学术研究图书馆藏书信息;
1 Exabyte(EB)=1024 PB() 5EB相当于人类历史上记载的所有信息;
1 Zettabyte(ZB)=1024 EB() 如同全世界海滩上的沙子数量的总和;
1 Yottabyte(YB)=1024 ZB() 1024个像地球一样的星球上的沙子数量总和。
4、大数据与云计算的关系
云计算与大数据之间的区别
云计算是硬件资源的虚拟化,而大数据是海量数据的高效处理。
云计算与大数据之间的关系
大数据必然无法用单台的计算机进行处理,必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。
- 标签:
-
容灾备份