Python爬虫【如何爬取内容（html）和解析内容】

好的，下面是一个简单的Python爬虫爬取网页数据并解析数据的教程：

1. 确定目标网站和要爬取的信息 首先，需要确定要爬取的网站和要提取的信息。可以使用Python的requests库向网站发送HTTP请求获取HTML源代码，并使用BeautifulSoup库解析HTML文档获取目标数据。 例如，我们要爬取CSDN博客的文章标题和链接，可以先打开CSDN博客主页，右键查看网页源代码，找到文章标题和链接所在的HTML标签。 2. 发送HTTP请求获取HTML源代码 接下来，使用Python的requests库向网站发送HTTP请求，获取HTML源代码。 ``` import requests url = 'https://blog.csdn.net/' response = requests.get(url) html = response.text ``` 3. 解析HTML文档获取目标数据 使用BeautifulSoup库解析HTML文档，获取目标数据。 ``` from bs4 import BeautifulSoup soup = BeautifulSoup(html, 'html.parser') titles = soup.find_all('div', class_='title') for title in titles: link = title.find('a').get('href') title_text = title.find('a').text.strip() print(title_text, link) ``` 上述代码中，通过`find_all`方法找到所有class属性为"title"的div标签，然后在每个div标签中找到第一个a标签，获取链接和标题文本。 4. 完整代码 ``` import requests from bs4 import BeautifulSoup url = 'https://blog.csdn.net/' response = requests.get(url) html = response.text soup = BeautifulSoup(html, 'html.parser') titles = soup.find_all('div', class_='title') for title in titles: link = title.find('a').get('href') title_text = title.find('a').text.strip() print(title_text, link) ```