Spark Streaming 处理中文异常的解决方案

Spark Streaming 处理中文异常的解决方案

最近用Spark Streaming从Kafka接数据进行处理，是对中文的内容进行计算。发现处理时中文全变成了????????的形式，导致处理的结果和预期的不一样。但把数据放在redis或者放入下游的kafka topic，中文又正常了。为了防止是因为打日志的编码问题导致的判断出错，专门对算法进行了判断，的确就是对?????的东西处理了，而不是原中文字符串。

Charset.defaultCharset()   或者   System.getProperty("file.encoding") 可以查看程序运行时环境的编码

进行对比，发现本地的是Utf-8，是理想的。而提交到集群上的任务，输出为ISO-8859-1，直接导致了程序运行时处理的中文都变成了?????

解决方案是修改一下提交spark任务的客户端配置(提交该任务的机器，不是去修改集群)，找到spark-env.sh比如/etc/spark/conf/spark-env.sh，设置

export SPARK_JAVA_OPTS=" -Dfile.encoding=UTF-8 -Dsun.jnu.encoding=UTF-8 "

再次提交任务后，发现中文可以正常的处理了。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。