怎样使用Linux和HDFS创建RDD？

　　Spark可以从Hadoop支持的任何存储源中加载数据去创建RDD，包括本地文件系统和HDFS等文件系统。

　　接下来，我们通过Spark中的SparkContext对象调用textFile()方法加载数据创建RDD。这里以Linux本地系统和HDFS分布式文件系统为例，讲解如何创建RDD。

　　1. 从Linux本地文件系统加载数据创建RDD

　　在Linux本地文件系统中有一个名为test.txt的文件，具体内容如文件1所示。

　　 文件1 test.txt

 1  hadoop spark
 2  itcast heima
 3  scala spark
 4  spark itcast
 5  itcast hadoop

　　在Linux本地系统读取test.txt文件数据创建RDD，具体代码如下：

  scala> val test=sc.textFile("file:///export/data/test.txt")
  test: org.apache.spark.rdd.RDD[String]=file:///export/data/test.txt
              MapPartitionsRDD[1] at textFile at :24

　　上述的代码中，文件路径中的“file：//”表示从本地Linux文件系统中读取文件。“test:org.apache.spark.rdd.RDD[String]...”是命令执行后返回的信息，而test则是一个创建好的RDD。当执行textFile()方法后，Spark会从Linux本地文件test.txt中加载数据到内存中，在内存中生成了一个RDD对象(即test)，并且这个RDD里面包含若干个String类型的元素，也就是说，从test.txt文件中读取出来的每一行文本内容，都是RDD中的一个元素。

　　2. 从HDFS中加载数据创建RDD

　　假设，在HDFS上的“/data”目录下有一个名为test.txt的文件，该文件内容与文件3-1相同。接下来，我们通过加载HDFS中的数据创建RDD，具体代码如下：

 scala> val testRDD=sc.textFile("/data/test.txt")
  testRDD:org.apache.spark.rdd.RDD[String]=/data/test.txt MapPartitionsRDD[1]
                      at textFile at :24

　　执行上述代码后，从返回结果testRDD的属性中看出RDD创建完成。在上述代码中，我们通过textFile(“/data/test.txt”)方法来读取HDFS上的文件，其中方法testFile()中的参数为“/data/test.txt”文件路径，传入的参数也可以为“hdfs://localhost:9000/data/test.txt”和“/test.txt”路径，最终所达效果是一致的。

什么是Sqoop？Sqoop发展历程简介

大数据的数据仓库特点简介

黑马程序员大数据培训课程 

传智播客大数据培训课程