问题是Twitter(x.com)不会直接返回带有图片或原始帖子的网页。之后,他们使用JavaScript加载实际的网页。 Twitter试图阻止你通过简单的请求抓取页面,因为他们提供付费的API。API允许开发人员轻松访问内容。 即使你得到了真正的网页,它也不会包含任何图像。html文档只指向图像的地址。

除非您使用网站提供的某种API,否则无法使用请求模块从javascript动态渲染的网站下载图像。但是,您可以使用Selenium打开浏览器并呈现HTML代码。

如果您正确设置了Selenium,下面的代码将从一个示例twitter帖子中下载图片。

import time
from selenium import webdriver
from bs4 import BeautifulSoup
import urllib.request

#file to save
picture_filename = 'my_picture.png'

#open firefox browser
driver = webdriver.Firefox()

#open url
driver.get('https://twitter.com/WagnerRM/status/1697373778114715742/photo/1')

#wait enough time for page to render
time.sleep(10)

#using beautiful soup to find the image we want
soup = BeautifulSoup(driver.page_source)
images = soup.find_all('img')

images = [img['src'] for img in images if '/media/' in img['src']]
for image in images:
    urllib.request.urlretrieve(image, picture_filename)

PS:

要打开浏览器,你首先需要安装它的网络驱动程序。上面的代码使用Firefox。例如,如果您使用的是Windows,则可以使用以下代码。

pip install webdrivermanager
webdrivermanager firefox --linkpath ./

这将把一个名为geckodriver.exe的文件下载到用于打开浏览器的当前路径。