本文介绍了使用Pandas AWS Glue Python外壳作业的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
AWS文档 https://docs.aws.amazon.com/glue/latest/dg/add-job-python.html提到
运行Python外壳作业的环境支持以下各项 库:...
pandas (需要通过python setupTools安装 配置,setup.py)
但没有提到如何进行安装。
如何在AWS Glue Python外壳作业中使用 pandas ?
推荐答案
- 转到https://docs.aws.amazon.com/glue/latest/dg/add-job-python.html#create-python-extra-library。检查部分 为"如何为Python外壳作业创建安装文件"创建一个Python.egg或.whl文件
- 在setup.py文件中,添加
install_requires=['pandas==0.25.1']
行:
setup(name="<module name>", version="0.1", packages=['<package name if any or ignore>'], install_requires=['pandas==0.25.1'] )
我还编写了一个小的外壳脚本来部署Python外壳作业,而不需要手动创建鸡蛋文件,并通过CloudForms上传到S3和部署。脚本会自动完成所有操作。 您可以在https://github.com/fatangare/aws-python-shell-deploy
找到代码这篇关于使用Pandas AWS Glue Python外壳作业的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!
本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除!