代码之家 › 专栏 › 技术社区 › snoob dogg

刮,在管道前等待

scrapy html python

snoob dogg · 技术社区 · 6 年前

(我是新来的瘙痒)。

假设有一个站点 https://example.com 我想刮一下。

<body>
<ul>
    <li>
        title_foo
        <a href="https://example.com/title_foo">a desription</a>
    </li>
    <li>
        title_bar
        <a href="https://example.com/title_bar">an another desription</a>
    </li>
</ul>
</body>

遵循 <a> 链接,我可以得到一个描述,我需要在创建我的项目,并将它们发送到我的管道将存储到我的数据库。

比如说,当我跟随 https://example.com/title_foo

<div class="a-descrption">
    a description
</div>

items.py ,我:

class MyItem(scrapy.Item):
    title = scrapy.Field()
    description = scrapy.Field()

import scrapy
from scrapy_project.items import MyItem

class MySpider(scrapy.Spider):
    name = "my_spider"

    def start_requests(self):
        urls = [
            'https://example.com',
        ]
        for url in urls:
            yield scrapy.Request(url=url, callback=self.parse)

    def parse(self, response):
        for li in response.xpath('//li/text()').getall()
            yield {"title": li }

问题

1 回复 | 直到 6 年前

renatodvc 6 年前

在您的示例中,唯一刮取的字段是 title ,所以我不完全确定,但听起来你想刮在 https://example.com ,请求详细信息页面(如 https://example.com/title_foo )把描述删掉 yield description 和 标题 .

这类问题的常见解决方案是使用 cb_kwargs 或meta。( )

cb_kwargs

class MySpider(scrapy.Spider):
    name = "my_spider"

    start_urls = ['https://example.com',]

    def parse(self, response):
        for li in response.xpath('//li'):
            title = li.xpath('text()').get()
            url_to_detail_page = li.xpath('a/@href').get()
            yield scrapy.Request(
                url=url_to_detail_page,
                callback=self.parse_detail_page,
                cb_kwargs={
                    'title': title
                })

    def parse_detail_page(self, response, title):  # Notice title as a keyword arg
        description = response.xpath('//div[@class="a-descrption"]//text()').getall()
        yield {
            'title': title,
            'description': description,
        }

这里是第一页的数据,存储到 标题

推荐文章

code-geek · Jquery根据单选按钮选择隐藏或显示文本字段

1 年前

Jamie · 在CSS链接的文件名中添加Jinja占位符

1 年前

ptownbro · 重叠分区标签,同时保持以下所有分区和内容就位

1 年前

Luke Frost IEng MIMechE · Bootstrap 5.3在Div中的项目位置没有如我所期望的那样显示

1 年前

Reegan · 使用Angular ngFor指令在html中渲染嵌套对象值

1 年前

wqyutv · 当找不到文件时,任何破坏错误的东西都不会出现,我该怎么解决这个问题?

1 年前

user29519291 · 为不同的变量创建一个带有可重用Click函数的简单菜单

1 年前

Gukkey · 在React中明确隐藏日期类型输入后,如果我单击父div,如何显示日期选择器?

1 年前

Lorenzo Bertolaccini · 在Angular项目中通过对话框后,在控制台中显示但在HTML中不显示的数据数组

1 年前

john Rizzo · 按钮背景颜色、悬停和活动状态存在问题

1 年前