代码之家 › 专栏 › 技术社区 › max

漂亮的soup find()没有返回?

beautifulsoup web-scraping python

max · 技术社区 · 6 年前

我正在尝试分析此上的HTML website .

我想从这些文件中获取文本 span 元素与 class = "post-subject"

实例:

<span class="post-subject">Set of 20 moving boxes (20009 or 20011)</span>

<span class="post-subject">Firestick/Old xbox games</span>

当我运行下面的代码时, soup.find() 收益率 None . 我不知道发生了什么事?

import requests
from bs4 import BeautifulSoup


page = requests.get('https://trashnothing.com/washington-dc-freecycle?page=1')
soup = BeautifulSoup(page.text, 'html.parser')

soup.find('span', {'class': 'post-subject'})

1 回复 | 直到 6 年前

Ian-Fogelman 6 年前

为了帮助您开始,下面应该加载页面,您需要获得正确的 gecko driver 然后可以用硒来实现。我没有看到一个类:在链接的页面上发布主题,但是您可以将登录的按钮单击自动化为:

availbutton = driver.find_element_by_id('buttonAvailability_1')
availbutton.click()

from bs4 import BeautifulSoup
from selenium import webdriver

driver = webdriver.Firefox()
driver.get('https://trashnothing.com/washington-dc-freecycle?page=1')

html = driver.page_source
soup = BeautifulSoup(html,'lxml')
print(soup.find('span', {'class': 'post-subject'}))

推荐文章

Google User · Django管理员在`list_display中未显示`creation_date`字段`

4 月前

user29747013 · 如何创建一个新的数据框架,其中包含原始数据框架中列的聚合列?

4 月前

ÎÎÎ½Î· ÎÎ®Î¹Î½Î¿Ï · Python lxml.html语法错误:使用lxml find时XPATH的谓词无效

4 月前

user29715306 · from_users=和chats=电视节目中的差异

4 月前

Redshoe · 当执行numpy.genfromtxt()时,python是否会读取文件的所有行?

5 月前

RASEL MAHMUD · 为什么以及如何在is_even()函数内的IF条件中递归X变量在满足0后递增?[副本]

5 月前

prayner · 更新嵌套字典包含列表中的项

5 月前

Bringo Jr · 我可以在O(n)中解决这个问题吗?

5 月前

Dave · 如何在for循环中修改列表值

5 月前

Shukurullox Komiljonov · 从记录中获得相互和解。使用SQL

5 月前