代码之家 › 专栏 › 技术社区 › Thomas

关于selenium/beautifulsoup html解析的问题

webdriverwait beautifulsoup parsing selenium html

Thomas · 技术社区 · 7 年前

HTML

<span class="itemName tiny">foo</span>
    <span class="fr">
        <span id="2kCf5PSJ0vuykePDtnKrGOKvepUq1suWY5xrArwfAEVl2RmP8xyaq388rH4_slash_63OS||CAD||PPR||CA" class="itemValue privacy valueTiny">bar</span>
        <span class="currencyType ">CAD</span>
    </span>

我的代码

html = driver.page_source
soup = BeautifulSoup(html, "html.parser")
balance = soup.find(text="foo").findNext('span id')
print(balance) <--- expecting "bar"
schequing = balance.text

但天平总是空的,我得到了这个错误。

File "C:/Users/thomas/PycharmProjects/test/mainapp/main.py", line 223, in bills
schequing = balance.text
AttributeError: 'NoneType' object has no attribute 'text'

有人知道如何用漂亮的汤解析html吗?我在这里的目的是用值foo查找,这是唯一的,然后得到下一个标记值,应该是bar。

1 回复 | 直到 7 年前

Corey Goldberg 7 年前

所需的元素是 动力元件 所以你必须使用 网络驱动器 对于 要可见的元素 然后按如下方式解析HTML:

driver=webdriver.Chrome(executable_path=r'C:\path\to\chromedriver.exe')
driver.get("your_url")
WebDriverWait(driver, 10).until(EC.visibility_of_any_elements_located((By.XPATH, "//span[@class='itemValue privacy valueTiny'][text()='bar']")))
html = driver.page_source
soup = BeautifulSoup(html, "html.parser")
balance = soup.find(text="foo").findNext('span id')
print(balance)

推荐文章

code-geek · Jquery根据单选按钮选择隐藏或显示文本字段

9 月前

Jamie · 在CSS链接的文件名中添加Jinja占位符

9 月前

ptownbro · 重叠分区标签,同时保持以下所有分区和内容就位

9 月前

Luke Frost IEng MIMechE · Bootstrap 5.3在Div中的项目位置没有如我所期望的那样显示

9 月前

Reegan · 使用Angular ngFor指令在html中渲染嵌套对象值

9 月前

wqyutv · 当找不到文件时,任何破坏错误的东西都不会出现,我该怎么解决这个问题?

9 月前

user29519291 · 为不同的变量创建一个带有可重用Click函数的简单菜单

9 月前

Gukkey · 在React中明确隐藏日期类型输入后,如果我单击父div,如何显示日期选择器?

9 月前

Lorenzo Bertolaccini · 在Angular项目中通过对话框后,在控制台中显示但在HTML中不显示的数据数组

9 月前

john Rizzo · 按钮背景颜色、悬停和活动状态存在问题

9 月前