安装jupyter notebook并集成pyspark记录

spark计算结果做持久化，保存到本地文件的示例：

1. # 直接保存，会保存成文件夹
   
2. read_txt.saveAsTextFile("file:///home/xiaohuzi/spark_exercise/data/save_testfile.txt")
   
3. 
   
4. # 先 collect 再保存为 txt
   
5. save_to_csv(read_txt.collect())

复制代码

spark计算结果如果需要写入hadoop的HDFS, 则调用对应的api：

1. #!coding:utf-8
   
2. import sys
   
3. from hdfs.client import Client
   
4. 
   
5. #设置utf-8模式
   
6. reload(sys)
   
7. sys.setdefaultencoding( "utf-8" )
   
8. 
   
9. #关于python操作hdfs的API可以查看官网:
   
10. #https://hdfscli.readthedocs.io/en/latest/api.html
    
11. 
    
12.    
    
13. #追加数据到hdfs文件   
    
14. def append_to_hdfs(client,hdfs_path,data):
    
15.     client.write(hdfs_path, data,overwrite=False,append=True)
    
16.    
    
17. #覆盖数据写到hdfs文件
    
18. def write_to_hdfs(client,hdfs_path,data):
    
19.     client.write(hdfs_path, data,overwrite=True,append=False)
    
20.   
    
21. #移动或者修改文件  
    
22. def move_or_rename(client,hdfs_src_path, hdfs_dst_path):
    
23.     client.rename(hdfs_src_path, hdfs_dst_path)

复制代码

内容分析应用 发表于 2021-8-31 14:54
spark计算结果做持久化，保存到本地文件的示例：

先做collect是什么目的？

Fuller 发表于 2021-8-31 15:42
先做collect是什么目的？

上面示例保存到本地文件，用了collect方法。一次collect操作会将分布式各个节点上的数据汇聚到一个driver节点上，而这么一来，后续所执行的运算和操作就会脱离这个分布式环境而相当于单机环境下运行。

按相关文档的说明，在单机环境下做测试使用collect问题不大， 但分布式环境下尽量规避用collect，会有性能问题。