如果您试图提取所有值,那么您可以让beautifulsoup返回所有项,然后python可以筛选您想要的值。例如:
from bs4 import BeautifulSoup
html = """<div class="box1">
<table class="table1">
<tr><td class="label">Item1</td><td>Value1</td></tr>
<tr><td class="label">Item2</td><td>Value2</td></tr>
<tr><td class="label">Item3</td><td>Value3</td></tr>
<tr><td class="label">Item4</td><td>Value4</td></tr>
</table>
</div>"""
soup = BeautifulSoup(html, "html.parser")
div = soup.find("div", class_="box1")
values = []
for tr in div.find_all('tr'):
values.append(tr.find_all("td")[1].text)
print(values)
为您提供一个值列表:
['Value1', 'Value2', 'Value3', 'Value4']
或者,如果要将所有数据作为列包含在列表中:
soup = BeautifulSoup(html, "html.parser")
div = soup.find("div", class_="box1")
columns = []
for tr in div.find_all('tr'):
columns.append([td.text for td in tr.find_all("td")])
columns = list(zip(*columns))
print(columns)
print(columns[1]) # display the 2nd column
给你:
[('Item1', 'Item2', 'Item3', 'Item4'), ('Value1', 'Value2', 'Value3', 'Value4')]
('Value1', 'Value2', 'Value3', 'Value4')
list(zip(*columns))
是将行列表转换为列列表的一种方法。