本文介绍了分析异常：路径不存在：dbfs:/databricks/python/lib/python3.7/site-packages/sampleFolder/data；的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
我将以下代码打包到一个WHL文件中：
from pkg_resources import resource_filename
def path_to_model(anomaly_dir_name: str, data_path: str):
filepath = resource_filename(anomaly_dir_name, data_path)
return filepath
def read_data(spark) -> DataFrame:
return (spark.read.parquet(str(path_to_model("sampleFolder", "data"))))
我确认WHL文件正确地包含了sampleFold/data/目录下的拼图文件。当我在本地运行此程序时，它可以工作，但当我将此WHL文件上载到dBFS并运行时，我收到以下错误：
AnalysisException: Path does not exist: dbfs:/databricks/python/lib/python3.7/site-packages/sampleFolder/data;
谢谢。
推荐答案
默认情况下，数据库上的Spark处理dBFS上的文件，直到您显式更改架构。在您的例子中，path_to_model函数返回字符串/databricks/python/lib/python3.7/site-packages/sampleFolder/data，因为它没有显式模式，所以Spark使用dbfs模式。但该文件在本地节点上，而不是在dBFS上-这就是Spark找不到它的原因。
dbutils.fs.cp命令来完成。将代码更改为：
def read_data(spark) -> DataFrame:
data_path = str(path_to_model("sampleFolder", "data"))
tmp_path = "/tmp/my_sample_data"
dbutils.fs.cp("file:" + data_path, tmp_path, True)
return (spark.read.parquet(tmp_path))
这篇关于分析异常：路径不存在：dbfs:/databricks/python/lib/python3.7/site-packages/sampleFolder/data；的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持编程学习网！
本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除！