2）关于存储策略 策略ID 策略名称 副本分布 15 Lazy_Persist RAM_DISK:1，DISK:n-1 12 All_SSD SSD:n 10 One_SSD SSD:1，DISK:n-1 7 Hot(default) DISK:n 5 Warm DSIK:1，ARCHIVE:n-1 2 Cold ARCHIVE:n 说明：从Lazy_Persist到Cold，分别代表了设备的访问速度从快到慢 人工智能资料下载，可百度访问：尚硅谷官网 5.2.8 LAZY_PERSIST 策略测试 （1）继续改变策略，将存储策略改为 lazy_persist [atguigu@hadoop102 hadoop-3.1.3]$ hdfs storagepolicies -setStoragePolicy -path /hdfsdata -policy lazy_persist （2）手动转移文件块 RAM_DISK， 其他副本存储在 DISK 中，这是因为，我们还需要配置“dfs.datanode.max.locked.memory”， “dfs.block.size”参数。 那么出现存储策略为 LAZY_PERSIST 时，文件块副本都存储在 DISK 上的原因有如下两 点： （1）当客户端所在的 DataNode 节点没有 RAM_DISK 时，则会写入客户端所在的 DataNode 节点的

RDD）与操作（返回值不是一个 RDD） 1. 转换(Transformations) (如：map, filter, groupBy, join 等)，Transformations 操作是 Lazy 的，也就是说从一个 RDD 转换生成另一个 RDD 的操作不是马上执行，Spark 在遇 到 Transformations 操作时只会记录需要这样的操作，并不会去执行，需要等到有 Actions

Windows 家族 28 / 74 Hadoop 動物園 29 / 74 HDFS：Distributed File System MapReduce：Distributed Data Analysis Engine Avro：Language-Neutral Data Serialization System (2010-05 成為 Top-Level Project) Mahout：Scalable Learning HBase：Distributed Data Storage (2010-05 成為 Top-Level Project) Pig：High Level Language for Data Analysis (2010-09 成為 Top-Level Project) Hive：Data Warehousing and SQL-Like Query (2010-09 成為 Top-Level Project) matters for designing massive data systems. 53 / 74 Google 2010 年發表了 Dremel 研究論文，是一個具有 Interactive Analysis of Web- Scale Datasets 能力的系統 Apache Drill 是 Dremel 的 Open Source 版本，號稱可以 Scale Out 到 10,000+ 的

(kmeans) – Linear Regression (fitlm) – Logistic & Generalized Linear Regression (fitglm) – Discriminant Analysis Classification (fitcdiscr) – Partition for Cross Validation (cvpartition) – Linear Support Vector

Analytical Query HiBench 1.0 paper (“The HiBench Suite: Characterization of the MapReduce-Based Data Analysis”) published in ICDE’10 workshops HiBench 2.2 released to open source under Apache License 2.0