使用Pandas AWS Glue Python外壳作业

Using Pandas AWS Glue Python Shell Jobs(使用Pandas AWS Glue Python外壳作业)
本文介绍了使用Pandas AWS Glue Python外壳作业的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

AWS文档 https://docs.aws.amazon.com/glue/latest/dg/add-job-python.html

提到

运行Python外壳作业的环境支持以下各项 库:

...

pandas (需要通过python setupTools安装 配置,setup.py)

但没有提到如何进行安装。

如何在AWS Glue Python外壳作业中使用 pandas ?

推荐答案

  1. 转到https://docs.aws.amazon.com/glue/latest/dg/add-job-python.html#create-python-extra-library。检查部分 为"如何为Python外壳作业创建安装文件"创建一个Python.egg或.whl文件
  2. 在setup.py文件中,添加install_requires=['pandas==0.25.1']行:
setup(name="<module name>",
        version="0.1",
        packages=['<package name if any or ignore>'],
        install_requires=['pandas==0.25.1']
    )

我还编写了一个小的外壳脚本来部署Python外壳作业,而不需要手动创建鸡蛋文件,并通过CloudForms上传到S3和部署。脚本会自动完成所有操作。 您可以在https://github.com/fatangare/aws-python-shell-deploy

找到代码

这篇关于使用Pandas AWS Glue Python外壳作业的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!

本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除!

相关文档推荐

Leetcode 234: Palindrome LinkedList(Leetcode 234:回文链接列表)
How do I read an Excel file directly from Dropbox#39;s API using pandas.read_excel()?(如何使用PANDAS.READ_EXCEL()直接从Dropbox的API读取Excel文件?)
subprocess.Popen tries to write to nonexistent pipe(子进程。打开尝试写入不存在的管道)
I want to realize Popen-code from Windows to Linux:(我想实现从Windows到Linux的POpen-code:)
Reading stdout from a subprocess in real time(实时读取子进程中的标准输出)
How to call type safely on a random file in Python?(如何在Python中安全地调用随机文件上的类型?)