在Databricks中将变量从Scala传递到Python

Pass variables from Scala to Python in Databricks(在Databricks中将变量从Scala传递到Python)
本文介绍了在Databricks中将变量从Scala传递到Python的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

我正在使用Databricks,并试图在同一个Scala笔记本中将一个数据帧从Scala传递到Python。我使用以下命令将数据帧从Python传递给Spark:

%python
python_df.registerTempTable("temp_table")


val scalaDF = table("temp_table")

如何反向执行相同的操作?非常感谢!!

推荐答案

反之亦然。在Scala中:

scalaDF.registerTempTable("some_table")

在Python中:

spark.table("some_table")

如果使用最新版本的Spark,则应使用createOrReplaceTempView代替registerTempTable

这篇关于在Databricks中将变量从Scala传递到Python的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!

本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除!

相关文档推荐

Leetcode 234: Palindrome LinkedList(Leetcode 234:回文链接列表)
How do I read an Excel file directly from Dropbox#39;s API using pandas.read_excel()?(如何使用PANDAS.READ_EXCEL()直接从Dropbox的API读取Excel文件?)
subprocess.Popen tries to write to nonexistent pipe(子进程。打开尝试写入不存在的管道)
I want to realize Popen-code from Windows to Linux:(我想实现从Windows到Linux的POpen-code:)
Reading stdout from a subprocess in real time(实时读取子进程中的标准输出)
How to call type safely on a random file in Python?(如何在Python中安全地调用随机文件上的类型?)