本文介绍了使用多行选项和编码选项读取CSV的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
在Azure Databricks中，当我使用multiline = 'true'和encoding = 'SJIS'读取CSV文件时，似乎忽略了编码选项。
如果我使用选项Spark使用其缺省值，
但我的文件是SJIS格式。
有没有什么解决办法，有没有帮助感谢。
以下是我正在使用的代码，并且我正在使用pyspark。
df= sqlContext.read.format('csv').options(header='true',inferSchema='false',delimiter=' ',encoding='SJIS',multiline='true').load('/mnt/Data/Data.tsv')
推荐答案
遗憾的是，不能同时使用"MULTINE"和"CHARSET"，如果同时使用，编码将设置为默认。
Azure数据库字符集：默认为UTF-8，但可以设置为其他有效的字符集名称。
为了解释清楚，我在输入文件上以编码sjis签名"Cash+邃"签名ﾂｮ为例，作为"签名签名"列。
这是预期行为，如果您使用multiline=true和encoding/charset to "SJIS"，则返回的输出与default charset UTF-8相同。
默认：字符集"UTF-8"
编码/字符集为"SJIS"：
希望这能有所帮助。
这篇关于使用多行选项和编码选项读取CSV的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持编程学习网！
本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除！