测试函数
Python 爬虫脚本入门指南
在当今的互联网时代,数据收集和分析变得越来越重要，Python作为一种强大的编程语言，以其简洁易用的特点，在网络抓取任务中得到了广泛的应用，本文将为您提供一个基础的Python爬虫脚本示例，帮助您开始您的数据采集之旅。
导入必要的库
我们需要导入一些常用的Python库来完成网页请求、解析HTML和处理数据等操作，最常用的是requests和BeautifulSoup。
import requests from bs4 import BeautifulSoup
发起HTTP请求
使用requests.get()方法向目标网站发起GET请求，并获取响应内容。
response = requests.get('https://example.com')
检查响应状态码是否为200（成功），以确保请求正常进行。
if response.status_code == 200:
print("Request successful!")
else:
print(f"Request failed with status code {response.status_code}")
解析HTML内容
利用BeautifulSoup对象从响应中提取所需信息。
soup = BeautifulSoup(response.content, 'html.parser')
提取特定数据
假设我们要从页面上提取所有的标题（<h1>标签）并打印出来。
print(title.text)
处理异常情况
为了提高代码的健壮性,我们应添加错误处理逻辑来应对可能遇到的问题。
try:
response.raise_for_status()
except HTTPError as http_err:
print(f'HTTP error occurred: {http_err}')
except Exception as err:
print(f'Other error occurred: {err}')
完整示例代码
以下是一个完整的Python爬虫脚本示例,用于从指定网站提取所有链接并打印出来。
import requests
from bs4 import BeautifulSoup
def fetch_links(url):
try:
# 发送GET请求
response = requests.get(url)
# 检查响应状态码
if response.status_code == 200:
print(f"Request successful for {url}")
else:
print(f"Request failed for {url} (status code {response.status_code})")
# 使用BeautifulSoup解析HTML
soup = BeautifulSoup(response.content, 'html.parser')
# 找到所有的<a>标签并将它们的所有链接存储在一个列表中
links = [a['href'] for a in soup.find_all('a')]
return links
except Exception as e:
print(f"An error occurred while fetching the URL: {e}")
fetch_links('https://www.example.com')
通过这个简单的例子,您可以看到如何创建一个基本的Python爬虫脚本来获取并处理网络数据，随着经验的积累，您可以尝试更复杂的数据提取任务，如登录认证、动态加载的内容处理等，希望这些步骤能为您开启Python爬虫脚本的世界提供一个良好的起点！
上一篇