在 __init__ 上的 scrapy 管道中使用参数

Using arguments in scrapy pipeline on __init__(在 __init__ 上的 scrapy 管道中使用参数)
本文介绍了在 __init__ 上的 scrapy 管道中使用参数的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

我有一个scrapy pipelines.py,我想得到给定的参数.在我的 spider.py 中,它运行良好:

i have a scrapy pipelines.py and i want to get the given arguments. In my spider.py it works perfect:

class MySpider( CrawlSpider ):
    def __init__(self, host='', domain_id='', *args, **kwargs):

        super(MySpider, self).__init__(*args, **kwargs)
        print user_id
        ...

现在,我需要我的 pipelines.py 中的user_id"来创建像domain-123.db"这样的 sqlite 数据库.我在整个网络上搜索我的问题,但我找不到任何解决方案.

Now, i need the "user_id" in my pipelines.py to create the sqlite database like "domain-123.db". I search the whole web about my problem, but i cant find any solution.

有人可以帮我吗?

PS:是的,我在管道类中尝试了 super() 函数,例如 spyer.py,它不起作用.

PS: Yes, i try'ed the super() function within my pipelines Class like the spyer.py, it dont work.

推荐答案

spider 的构造函数中设置参数:

Set the arguments inside the spider's constructor:

class MySpider(CrawlSpider):
    def __init__(self, user_id='', *args, **kwargs):
        self.user_id = user_id

        super(MySpider, self).__init__(*args, **kwargs) 

并在 open_spider() 中阅读它们a> 管道方法:

And read them in the open_spider() method of your pipeline:

def open_spider(self, spider):
    print spider.user_id

这篇关于在 __init__ 上的 scrapy 管道中使用参数的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!

本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除!

相关文档推荐

Leetcode 234: Palindrome LinkedList(Leetcode 234:回文链接列表)
How do I read an Excel file directly from Dropbox#39;s API using pandas.read_excel()?(如何使用PANDAS.READ_EXCEL()直接从Dropbox的API读取Excel文件?)
subprocess.Popen tries to write to nonexistent pipe(子进程。打开尝试写入不存在的管道)
I want to realize Popen-code from Windows to Linux:(我想实现从Windows到Linux的POpen-code:)
Reading stdout from a subprocess in real time(实时读取子进程中的标准输出)
How to call type safely on a random file in Python?(如何在Python中安全地调用随机文件上的类型?)