如何在Databricks笔记本中获取运行参数和运行ID?

How do you get the run parameters and runId within Databricks notebook?(如何在Databricks笔记本中获取运行参数和运行ID?)
本文介绍了如何在Databricks笔记本中获取运行参数和运行ID?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

将Databricks笔记本作为作业运行时,您可以指定可在笔记本代码中使用的作业或运行参数。然而,从文档中并不清楚您实际是如何获取它们的。我希望能够获得所有参数以及作业ID和运行ID。

推荐答案

作业/运行参数

当笔记本作为作业运行时,任何job parameters都可以使用Databricks自动提供和导入的dbutils包作为词典获取。代码如下:
run_parameters = dbutils.notebook.entry_point.getCurrentBindings()

如果作业参数为{"foo": "bar"},则上面代码的结果为{'foo': 'bar'}。请注意,数据库仅允许将作业参数从str映射到str,因此键和值始终为字符串。 请注意,如果笔记本以交互方式运行(而不是作为作业),则词典将为空。getCurrentBinding()方法似乎也适用于获取笔记本的任何活动widget values(交互运行时)。

获取jobID和runID

要获取jobIdrunId,您可以从dbutils获取包含该信息的上下文json。(改编自databricks forum):

import json
context_str = dbutils.notebook.entry_point.getDbutils().notebook().getContext().toJson()
context = json.loads(context_str)
run_id_obj = context.get('currentRunId', {})
run_id = run_id_obj.get('id', None) if run_id_obj else None
job_id = context.get('tags', {}).get('jobId', None)

因此在上下文对象中,runId的按键路径为currentRunId > idjobId的按键路径为tags > jobId

这篇关于如何在Databricks笔记本中获取运行参数和运行ID?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!

本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除!

相关文档推荐

Leetcode 234: Palindrome LinkedList(Leetcode 234:回文链接列表)
How do I read an Excel file directly from Dropbox#39;s API using pandas.read_excel()?(如何使用PANDAS.READ_EXCEL()直接从Dropbox的API读取Excel文件?)
subprocess.Popen tries to write to nonexistent pipe(子进程。打开尝试写入不存在的管道)
I want to realize Popen-code from Windows to Linux:(我想实现从Windows到Linux的POpen-code:)
Reading stdout from a subprocess in real time(实时读取子进程中的标准输出)
How to call type safely on a random file in Python?(如何在Python中安全地调用随机文件上的类型?)