AWS GLue中的AWS区域

AWS region in AWS Glue(AWS GLue中的AWS区域)
本文介绍了AWS GLue中的AWS区域的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

如何获取执行当前胶水作业的区域?


当粘合作业开始执行时,我看到输出

Detected region eu-central-1

在AWS Lambda中,我可以使用以下行来获取当前区域:

import os
region = os.environ['AWS_REGION']

但是,AWS_REGION环境变量似乎不在Glue中,因此引发了KeyError

KeyError: 'AWS_REGION'


我需要该区域的原因是我正在尝试获取所有数据库和表,如this question中所述,并且我不想在创建boto客户端时对该区域进行硬编码。

推荐答案

一种选择是将AWS_REGION作为作业参数传递。例如,如果您从Lambda触发作业:

import os

response = client.start_job_run(
    JobName = 'a_job_name',
    Arguments = {'--AWS_REGION': os.environ['AWS_REGION'] } 
)

或者,如果您使用AWS::Glue::Job云表单资源定义作业:

GlueJob:
  Type: AWS::Glue::Job
  Properties:
    Role: !Ref GlueRole
    DefaultArguments:
      "--AWS_REGION": !Sub "${AWS::Region}"
    Command:
      ScriptLocation: !Sub s3://${GlueScriptBucket}/glue-job.py
      Name: glueetl

然后您可以使用getResolvedOptions:

提取职务代码中的AWS_REGION参数
import sys
from awsglue.utils import getResolvedOptions

args = getResolvedOptions(sys.argv, ['AWS_REGION'])
print('region', args['AWS_REGION'])

这篇关于AWS GLue中的AWS区域的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!

本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除!

相关文档推荐

Leetcode 234: Palindrome LinkedList(Leetcode 234:回文链接列表)
How do I read an Excel file directly from Dropbox#39;s API using pandas.read_excel()?(如何使用PANDAS.READ_EXCEL()直接从Dropbox的API读取Excel文件?)
subprocess.Popen tries to write to nonexistent pipe(子进程。打开尝试写入不存在的管道)
I want to realize Popen-code from Windows to Linux:(我想实现从Windows到Linux的POpen-code:)
Reading stdout from a subprocess in real time(实时读取子进程中的标准输出)
How to call type safely on a random file in Python?(如何在Python中安全地调用随机文件上的类型?)