代码之家 › 专栏 › 技术社区 › Nettle

用Rvest删除超链接

rvest dplyr r

Nettle · 技术社区 · 8 年前

my.url <- "https://comptroller.defense.gov/Budget-Materials/Budget2019/"
my.xpath <- '//*[@id="LiveHTMLWrapper92093"]/div/div'

x <- read_html(my.url) %>% 
  html_node(xpath = my.xpath) 

{xml_node}
<div style="width: 710px; height: 600px; overflow: auto;">
[1] <h5 style="text-align: left; background-color: #dbdbe4;"><a name="press" style=" ...
[2] <p><a href="/Portals/45/Documents/defbudget/fy2019/fy2019_Press_Release.pdf" sty ...
[3] <p style="margin-top: 1px; margin-bottom: 0px;"><strong><span style="font-family ...
[4] <p style="margin-top: 1px; margin-bottom: 0px;"><strong><span style="font-family ...
[5] <p><strong>\n- <a href="https://www.defense.gov/News/Transcripts/Transcript-View ...
[6] <h5 style="text-align: left; background-color: #dbdbe4;"><a name="summary" style ...
[7] <div style="height: 50px;">\n<a href="/Portals/45/Documents/defbudget/fy2019/FY2 ...
[8] <strong><strong>\n<b><strong>\n<b>\n<strong>\n</strong>\n<strong>\n</strong>\n<s ...

理想情况下,我希望输出一个数据框,其中一列包含文本,另一列包含关联的href。

1 回复 | 直到 7 年前

Alexandre georges 7 年前

这里有一个解决方案:

my.url <- "https://comptroller.defense.gov/Budget-Materials/Budget2019/"
my.xpath <- '//*[@id="dnn_ctr92093_ContentPane"]'

x <- read_html(my.url) %>% 
  html_node(xpath = my.xpath) %>% html_nodes("a") %>% html_text()

y <- read_html(my.url) %>% 
  html_node(xpath = my.xpath) %>% html_nodes("a") %>% html_attr("href") 

y <- ifelse(grepl(pattern = "/Portals/",y), paste0("https://comptroller.defense.gov",y),y)

df <- as.data.frame(cbind(x,y))

推荐文章

maru1898 · Rvest html_节点跨div其他项

4 年前

AlphaScorpion · 文本挖掘-查找以前缀开头的单词

8 年前

Lazer · Rvest XML网页抓取

8 年前

BadAtCoding · 为什么我的函数要创建重复项?

8 年前

JHall651 · 如何在r中从需要交互的网页中刮取文本

8 年前

NR_DTW987 · 使用R

8 年前

Conor Neilson · html\u节点返回链接的两个结果

8 年前

Tyler Rinker DaniM · rvest:xpath在当前节点上获取文本,并删除子节点

8 年前

RMacey · 使用rvest从Yahoo finance获取基金数据

8 年前

Chris S. · 使用Splashrer刮取网页并加载更多按钮

8 年前