12 数据格式[[u’3′, u’5′], [u’4′, u’6′], [u’4′, u’5′], [u’4′, u’2′]] 拆分或截取的原始数据， 可以通过 map 中的 x[0], x[1] 来获取对应列的数据
可以通过 map 来转换为key-value 数据格式 例如： df3 = df2.map(lambda x: (x[0], x[1]))key-value 数据格式
[(u’3′, u’5′), (u’4′, u’6′), (u’4′, u’5′), (u’4′, u’2′)] 中每一个（） 表示一组数据， 第一个表示key 第二个表示value
3）PipelinedRDD 类型表示 key-value形式数据
13 RDD类型转换
userRdd = sc.textFile(“D:datapeople.json”)
userRdd = userRdd.map(lambda x: x.split(” “))结果： [Row(userAdd=’shanghai’, userAge=20, userName=’zhangsan’, userSalary=13), Row(userAdd=’beijin’, userAge=30, userName=’lisi’, userSalary=15 香港云主机)]2） 创建 DataFrame
userDF = sqlContext.createDataFrame(userRows)if name == ‘main‘:
spark = SparkSession.builder.config(conf = SparkConf()).getOrCreate()15 dateFrame,sql,json使用详细示例
####”””
A simple example demonstrating basic Spark SQL features.
Run with:
./bin/spark-submit examples/src/main/python/sql/basic.py
“””
from future import print_functionfrom pyspark.sql import SparkSessionfrom pyspark.sql import Rowfrom pyspark.sql.types import *def basic_df_example(spark):def schema_inference_example(spark):def programmatic_schema_example(spark):if name == “main“:
相关推荐: CompletableFuture在java中报错如何处理
这篇文章主要介绍“CompletableFuture在java中报错如何处理”，在日常操作中，相信很多人在CompletableFuture在java中报错如何处理问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”Comple 香港…
免责声明：本站发布的图片视频文字，以转载和分享为主，文章观点不代表本站立场，本站不承担相关法律责任；如果涉及侵权请联系邮箱：360163164@qq.com举报，并提供相关证据，经查实将立刻删除涉嫌侵权内容。
微信扫一扫 
