aiaiask.com©

开花即结果 提问即答案

python爬虫爬取微博top100
原始问题:

python爬虫爬取微博top100

要爬取微博Top100,可以按照以下步骤进行:

  1. 打开微博热搜榜页面,找到Top100的入口,复制入口链接。
  2. 使用Python的requests库向该链接发送请求,获取页面内容。
  3. 使用正则表达式或者BeautifulSoup等库解析页面内容,获取Top100的相关信息,如微博标题、链接、热度等。
  4. 将获取到的信息存储到本地文件或者数据库中。

下面是一个简单的示例代码:

import requests
from bs4 import BeautifulSoup

url = 'https://s.weibo.com/top/summary?cate=realtimehot'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
items = soup.select('.td-02')

for item in items:
    title = item.select_one('a').text
    link = 'https://s.weibo.com' + item.select_one('a')['href']
    hot = item.select_one('.hot').text
    print(title, link, hot)

这段代码使用requests库向微博热搜榜页面发送请求,然后使用BeautifulSoup库解析页面内容,获取Top100的标题、链接和热度信息,并打印输出。你可以根据自己的需求,将获取到的信息存储到本地文件或者数据库中。

python爬虫爬取微博top100
https://www.aiaiask.com/ask/33125.html
AI / 模型DeepSeek
时间 / DATEJune 8, 2023, 3:19 PM
语言zh-CN
IP / 区域河南 漯河