《PySpark大数据分析实战》-01.关于数据

📋 博主简介

💖 作者简介：大家好，我是wux_labs。😜
热衷于各种主流技术，热爱数据科学、机器学习、云计算、人工智能。
通过了TiDB数据库专员（PCTA）、TiDB数据库专家（PCTP）、TiDB数据库认证SQL开发专家（PCSD）认证。
通过了微软Azure开发人员、Azure数据工程师、Azure解决方案架构师专家认证。
对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Databricks的使用有丰富的经验。
📝 个人主页：wux_labs，如果您对我还算满意，请关注一下吧~🔥
📝 个人社区：数据科学社区，如果您是数据科学爱好者，一起来交流吧~🔥
🎉 请支持我：欢迎大家点赞👍+收藏⭐️+吐槽📝，您的支持是我持续创作的动力~🔥

文章目录

《PySpark大数据分析实战》-01.关于数据
- 前言
- 关于数据
- 结束语

《PySpark大数据分析实战》-01.关于数据

前言

大家好！今天为大家分享的是《PySpark大数据分析实战》第1章第1节的内容：关于数据。

关于数据

随着进入互联网时代，我们便进入了一个数据大爆炸的时代。由于互联网整合资源的能力在不断提高，越来越多的社会资源被网络化和数字化，数据可以承载的价值在不断提高，大数据正在成为整个互联网技术发展的重要动力，正在成为企业重要的生产资料之一。大数据主要呈现出几个层面的特点：

1）体量大（Volume）。普通人日常接触到的数字化信息，一本小说、书籍的大小只有几百KB，一首MP3歌曲的大小只有几MB，一部电影的大小有几百MB到几GB，想要存储日常生活、工作中的资料，几TB就已经能满足大部分人的需求了。但是在企业中就不同了，电商网站每天的商品交易数据能够达到几十TB，社交网站用户每天产生的数据能达到几百TB。互联网企业的数据已经达到PB、EB甚至ZB级别。

2）种类多（Variety）。广泛的数据来源决定了大数据种类的多样性，任何形式的数据都可以产生作用。这其中包括存储在关系型数据库中的结构化数据，也包括文本、图片、音频、视频等非结构化数据。

3）速度快（Velocity）。大数据的产生非常迅速，这些数据都需要快速及时地处理，因为这些海量的数据中大部分数据的价值并不高，花费大量的资本去存储这些数据并不划算。而对于有价值的数据则需要快速地生成分析结果，用于指导生产生活实践。

4）价值密度低（Value）。在这些海量的数据中，有价值的数据所占的比例很小，并且分散在这些海量的数据中，其价值密度远低于传统关系型数据库中已有的数据。大数据的最大价值在于通过从海量数据中挖掘出对未来趋势与预测分析有价值的数据。

5）真实性（Veracity）。大数据的真实性由IBM提出，认为互联网上留下的都是人类行为的真实电子踪迹，能真实地反映人们的行为。但是人们后来发现，互联网的虚拟性和隐匿性，导致互联网上存在大量虚假的、错误的数据。不同领域、不同来源的数据，可靠性是有差异的，舆情数据的真实性尤其值得考量。因此，这个特点在后来被悄然隐去了。大数据中存在一定程度的噪声和不确定性，在处理和分析时需要考虑数据的真实性和可靠性。

6）可视化（Visualization）。大数据所面临的数据量大、数据来源多样、数据复杂多变，这些都使得人们难以直接了解和处理数据。因此，大数据分析需要注重结果的可视化，这也是大数据与传统数据分析不同的一个重要特点。可视化结果更直观、更易懂、更能形象的解释数据内在联系。大数据可视化需要呈现出高质量的图形和直观的视觉效果，使得数据分析和决策更加精准和有力。

想要从这些海量数据中提取有价值的数据，我们必须想方设法好好地存储和分析这些数据。大数据的基本处理流程，主要包括数据采集、存储管理、处理分析、结果呈现等环节。

谷歌作为一个搜索引擎，每天要爬取海量的数据，因此需要解决数据的存储问题。数据通常使用硬盘来进行存储，一块硬盘的容量总是有限的，虽然硬盘的存储容量多年来一直在提升，但对于海量的数据依然无法用一块硬盘来存储。虽然可以提高硬盘的存储容量，但更大的容量意味着需要更长的数据读取时间，减少数据读取时间的办法是减少一块硬盘上存储的数据量。当无法用一块硬盘来存储所有数据时，我们不必要想方设法打造一块超级硬盘，而是应该千方百计综合利用更多的硬盘来进行存储。每一块硬盘存储一部分数据，更多的硬盘一起就可以存储下海量的数据，这样不仅能存储海量的数据，而且读取数据的时候还可以同时从多块硬盘上读取，缩短了读取所有数据需要的时间。数据存储的问题是有解决方案了，但是对于这种存储方案还有更多的问题需要解决：当需要读取一个文件的时候，需要从哪块硬盘进行读取？当遇到一个超大文件，以至于一块硬盘都存放不下而被拆分到多块硬盘进行存储，需要从哪几块硬盘进行读取才能获得一个完整的文件？当某一块硬盘发生故障，硬盘上的数据无法读取时，如何保证数据不丢失？为了满足谷歌迅速增长的数据处理需求，谷歌实现了一个谷歌分布式文件系统（Google File System，GFS），并于2003年发表了一篇论文The Google File System专门描述了GFS的产品架构。

对于爬取回来的海量数据如何呈现给用户，这就涉及到海量数据的运算，例如需要对数据进行聚合、排序等。为了解决其搜索引擎中的大规模网页数据的并行化处理，谷歌提出了分布式计算模型MapReduce。MapReduce的灵感来源于函数式编程语言中的内置函数map()和reduce()。在函数式编程语言中，map()函数对集合中的每个元素做计算，reduce()函数对集合中的每个元素做迭代。集合中的元素能够做迭代，说明集合中的元素是相关的，比如具有相同的数据类型，并且reduce()函数的返回值也与集合中的元素具有相同的数据类型。将map()函数和reduce()函数结合起来，就可以理解为map()函数将杂乱无章的原始数据经过计算后得到具有相关性的数据，这些数据再由reduce()函数进行迭代得到最终的结果。在MapReduce计算模型里，Map阶段将杂乱无章的原始数据按照某种特征归纳起来，Reduce阶段就可以对具有相同特征的数据进行迭代计算，得到最终的结果。在2004年，谷歌发表了一篇论文MapReduce: Simplified Data Processing on Large Clusters向全世界介绍了他们的MapReduce系统。