本文介绍了使用Databricks中的dbutils.fs.ls输出创建数据帧的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
所以，我是一个初学者，在Databricks上学习Spark编程(Pyspark)-
我要做什么？
列出目录中的所有文件并将其保存到数据帧中，以便我能够对此文件列表应用筛选、排序等。为什么？因为我正在尝试查找目录中最大的文件。为什么下面不起作用？我遗漏了什么？
从pyspk.sql.ypes导入StringType
sklist=dbutils.fs.ls(源文件)
df=spk.createDataFrame(sklist，StringType())
推荐答案
好吧，实际上，我想通了：)。我只想把问题留在这里，以防有人从中受益。
所以基本上，问题出在模式上。并不是列表中的所有元素都是字符串类型。因此，我显式创建了一个架构，并在createDataFrame函数中使用它。
工作代码-
from pyspark.sql.types import StructType, StructField, IntegerType, StringType
ddlSchema = StructType([
StructField('path',StringType()),
StructField('name',StringType()),
StructField('size',IntegerType())
])
sklist = dbutils.fs.ls(sourceFile)
df = spark.createDataFrame(sklist,ddlSchema)
这篇关于使用Databricks中的dbutils.fs.ls输出创建数据帧的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持编程学习网！
本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除！