本文介绍了多处理和SelSelence巨蟒的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
我有3个驱动程序(Firefox浏览器),我希望它们do something
出现在网站列表中。
我有一个员工定义为:
def worker(browser, queue):
while True:
id_ = queue.get(True)
obj = ReviewID(id_)
obj.search(browser)
if obj.exists(browser):
print(obj.get_url(browser))
else:
print("Nothing")
因此,工作人员只需访问包含ID的队列,然后使用浏览器执行某些操作。
我希望有一个工作进程池,这样一旦工作进程完成使用浏览器在id_定义的网站上执行某些操作,它就会立即开始使用相同的浏览器在队列中找到的下一个id_上执行某些操作。然后我就有了这个:
pool = Pool(processes=3) # I want to have 3 drivers
manager = Manager()
queue = manager.Queue()
# Define here my workers in the pool
for id_ in ids:
queue.put(id_)
for i in range(3):
queue.put(None)
这里我有一个问题,我不知道如何定义我的员工,以便他们在池中。我需要为每个司机分配一个Worker,所有Worker共享相同的ID队列。这个是可能的吗?我该怎么做?
我的另一个想法是创建一个浏览器队列,以便如果驱动程序什么都不做,它将由Worker获取,以及队列中的id_,以便执行新进程。但我对多处理完全陌生,实际上不知道如何编写这段代码。
感谢您的帮助。
推荐答案
您可以尝试在Worker中实例化浏览器:
def worker(queue):
browser = webdriver.Chrome()
try:
while True:
id_ = queue.get(True)
obj = ReviewID(id_)
obj.search(browser)
if obj.exists(browser):
print(obj.get_url(browser))
else:
print("Nothing")
finally:
brower.quit()
这篇关于多处理和SelSelence巨蟒的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!
本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除!