Spark Error

配置historyserver时:

图片说明

因为端口被占用了

SparkStreaming updateStateByKeyde 使用时 –checkpoint报错

图片说明

原因在使用的时候,并没有设置checkPoint 检测点
检测点的目的就是为了保存上一次的结果数据。如果没有检测点的话,那么将无法保存上一次结果
如果要保证中间数据不丢失的话,可以借助其它的工具,如hdfs
ssc.checkpoint(“hdfs://kd0301:9000/spark_checkpoint/”)

文章目录
  1. 1. 配置historyserver时:
  2. 2. SparkStreaming updateStateByKeyde 使用时 –checkpoint报错
,