import requests
from bs4 import BeautifulSoup
 
# 用来抓取VIP视频的网址 
url = 'https://www.vipjiexi.com/vip/'  # 爬取的网址为VIP视频站的主页，由此可以得到所有VIP视频的连接地址。 
# 设置请求头，伪装成浏览器去请求网站数据，否则有些网站会出现403 forbidden的情况。 
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.135 Safari/537.36'}  # 可以在浏览器中F12找到对应信息。  

 # 向目标url地址发送get请求，返回一个response对象  
response = requests.get(url, headers=headers)  

 # 检测是否正常返回数据  
if response:   

    # 返回文本数据，并使用utf-8进行解码     print(response_text)  

    soup = BeautifulSoup(response_text, 'html5lib')      # 利用BeautifulSoup将html文本转化为BeautifulSoup对象     print(soup)     

    video_list = soup.find('div', class_='video-list')      # 查找class="video-list"标签     print(video_list)