原始问题:
帮我写一个爬虫代码,爬取3d建模里的资料
import requests
from bs4 import BeautifulSoup
def get_3d_data():
url = 'http://www.3dmodeling.org/' # 要爬取的网站地址
# 发送请求,获取目标网页数据
response = requests.get(url)
# 对获取到的数据进行解析
soup = BeautifulSoup(response.text, 'lxml')
# 找到所有以‘a’开头的标签,并循环遍历出来
for link in soup.find_all('a'):
# 获取链接的文字部分,即为我们要找的信息(3D建模里的资料)
print(link.text)
# 拿到链接中关于 3D建模里 的 URL 部分
if '3D' in link['href']:
# 进一步请求该 URL 并解析出其中 3D 建模里 的内容
response2 = requests.get(link['href'])
soup2 = BeautifulSoup(response2.text, 'lxml')
for info in soup2.find_all('p'):
print (info) # 打印出所有关于 3D 建模里 的信息
Prev:帮我写一个爬虫代码