如何使用数据库将CSV写回Azure Blob存储?

How do you write a CSV back to Azure Blob Storage using Databricks?(如何使用数据库将CSV写回Azure Blob存储?)
本文介绍了如何使用数据库将CSV写回Azure Blob存储?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

我正在努力回写Azure Blob存储容器。我可以使用以下内容从容器中读取内容:

storage_account_name = "expstorage"
storage_account_key = "1VP89J..."
container = "source"

spark.conf.set("fs.azure.account.key.{0}.blob.core.windows.net".format(storage_account_name), storage_account_key)

dbutils.fs.ls("dbfs:/mnt/azurestorage")

我尝试了多种方法来回写我的容器,只是在进行搜索,但我找不到一种确定的方法。

这里有一个指向使用SAS密钥的备用密钥的链接,但我不想混合/匹配密钥类型。

Write dataframe to blob using azure databricks

推荐答案

若要写入Blob存储,您只需指定路径,以dbfs:/mnt/azurestorage

开始
df.write
 .mode("overwrite")
 .option("header", "true")
 .csv("dbfs:/mnt/azurestorage/filename.csv"))
这将创建一个包含分布式数据的文件夹。如果您正在寻找单个CSV文件,请尝试执行以下操作:

df.toPandas().to_csv("dbfs:/mnt/azurestorage/filename.csv")

如果您只使用 pandas ,您将无法访问dBFS API,因此您需要使用本地文件API,这意味着您的路径必须以/dbfs/开头,而不是dbfs:/,如下所示:

df.to_csv(r'/dbfs/mnt/azurestorage/filename.csv', index = False)

这篇关于如何使用数据库将CSV写回Azure Blob存储?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!

本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除!

相关文档推荐

How do I read an Excel file directly from Dropbox#39;s API using pandas.read_excel()?(如何使用PANDAS.READ_EXCEL()直接从Dropbox的API读取Excel文件?)
Is there any way to quot;extractquot; the dtype conversion functionality from pandas read_csv?(有没有办法从 pandas Read_CSV中提取数据类型转换功能?)
Highlighting rows based on a condition(根据条件突出显示行)
How to downcast numeric columns in Pandas?(如何在 pandas 中向下转换数字列?)
Sort quot;Datequot; in Multi-Index(在多索引中排序日期(Q))
How to prevent groupby from surclassing index?(如何防止Groupby超越指数?)