本文介绍了如何在私有网络上运行Dataflow Python？的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
ApacheBeam2.1.0添加了对在专用子网络上没有公共IP的数据流运行器上提交作业的支持，这是我们满足防火墙规则所需的。我计划使用Squid代理访问apt-get、pip等来安装python依赖项；一个代理实例已经在运行，并且我们在setup.py脚本中设置了代理。
python $DIR/submit.py
--runner DataflowRunner
--no_use_public_ips
--subnetwork regions/us-central1/subnetworks/$PRIVATESUBNET
--staging_location $BUCKET/staging
--temp_location $BUCKET/temp
--project $PROJECT
--setup_file $DIR/setup.py
--job_name $JOB_NAME
当我尝试通过pythonAPI运行时，在我有机会启用代理之前，在Worker启动期间出错。在我看来，每个工作人员都会首先尝试安装数据流SDK：
在此期间，它尝试更新requests，但无法连接到pip：
推荐答案
我设法用NAT网关而不是代理解决了这个问题。按照special configurations下的说明-我必须编辑其中一个步骤，以通过网关自动路由数据流工作实例：
gcloud compute routes create no-ip-internet-route --network my-network
--destination-range 0.0.0.0/0
--next-hop-instance nat-gateway
--next-hop-instance-zone us-central1-a
--tags dataflow --priority 800
我使用了标记dataflow而不是no-ip，后者是所有数据流工作进程的网络标记。
在这种情况下，NAT网关似乎比代理更容易解决问题，因为它无需配置工作进程即可路由流量。
这篇关于如何在私有网络上运行Dataflow Python？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持编程学习网！
本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除！