处理响应
Python 爬虫实例100例：探索数据抓取与分析的世界
Python作为一种强大的编程语言，拥有丰富的库支持和简洁的语法结构，使其成为进行网络爬虫开发的理想选择，本篇文章将详细介绍100个经典的Python爬虫实例，帮助读者深入了解如何使用Python编写高效、可靠的网络爬虫。
基础框架介绍
我们来了解一下常用的Python爬虫框架——Scrapy。Scrapy是一个开源的跨平台Web应用框架，主要用于构建大型动态网站的数据抓取任务，它具有模块化的结构，支持多种协议（如HTTP、HTTPS等）以及复杂的并发处理能力。
pip install scrapy
实例一：简单网页抓取
问题描述: 将某个网页上的所有文字内容提取出来并保存到本地文件中。
代码实现:
import requests
from bs4 import BeautifulSoup
def fetch_text(url):
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
text = soup.get_text()
return text
if __name__ == "__main__":
url = "https://example.com"
with open("output.txt", "w") as file:
file.write(fetch_text(url))
实例二：HTML解析与DOM操作
问题描述: 解析特定HTML文档中的表单信息,并提交表单以获取响应。
代码实现:
from urllib.parse import urlencode
import requests
data = {"username": "test_user", "password": "test_password"}
url = "http://www.example.com/login"
response = requests.post(url, data=urlencode(data))
print(response.text)
实例三：利用代理IP进行网页抓取
问题描述: 使用代理IP地址从互联网上抓取网页数据,提高数据采集效率。
代码实现:
proxies = {
'http': 'http://your_proxy_ip:port',
'https': 'https://your_proxy_ip:port'
}
try:
response = requests.get('http://www.yourwebsite.com', proxies=proxies)
except requests.exceptions.RequestException as e:
print(e)
实例四：使用BeautifulSoup解析XML数据
问题描述: 提取XML文档中的标签属性值。
代码实现:
from bs4 import BeautifulSoup
xml_data = """
<root>
<person name="Alice" age="30"/>
<person name="Bob" age="25"/>
</root>
"""
soup = BeautifulSoup(xml_data, 'xml')
for person in soup.find_all('person'):
print(person.name, person['age'])
实例五：处理JavaScript渲染的网页
问题描述: 当网页被JavaScript渲染时,通过控制台访问原始HTML源码来获取所需数据。
代码实现:
import selenium
from selenium.webdriver.common.keys import Keys
driver = webdriver.Chrome()
driver.get("https://example.com")
# 使用JavaScript执行命令
element = driver.execute_script("return document.documentElement.outerHTML")
print(element)
driver.quit()
实例六：使用Selenium进行自动化测试
问题描述: 在不直接访问网页的情况下模拟用户行为。
代码实现:
from selenium import webdriver
options = webdriver.ChromeOptions()
options.add_argument("--start-maximized")
driver = webdriver.Chrome(options=options)
driver.get("https://example.com")
input_box = driver.find_element_by_name("q")
input_box.send_keys("selenium python")
input_box.submit()
results = driver.find_elements_by_css_selector(".result")
for result in results:= result.find_element_by_tag_name("h3").text
link = result.find_element_by_tag_name("a").get_attribute("href")
print(title)
print(link)
print("-" * 50)
driver.quit()
实例七：利用正则表达式提取特定格式的内容
问题描述: 自动化地从文本中提取符合预定义模式的信息。
代码实现:
import re
pattern = r'[\w]+'
with open("input.txt", "r") as file:
content = file.read().replace('\n', '')
matches = re.findall(pattern, content)
for match in matches:
print(match)
实例八：使用Requests库发送自定义请求
问题描述: 发送带有自定义头信息或参数的HTTP请求。
代码实现:
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get("https://api.github.com/events", headers=headers)
print(response.json())
实例九：使用Flask搭建轻量级Web服务
问题描述: 创建简单的Web服务用于存储和查询爬取的数据。
代码实现:
from flask import Flask, request, jsonify
app = Flask(__name__)
@app.route('/fetch', methods=['GET'])
def fetch():
query = request.args.get('query')
if not query:
return jsonify({'error': 'Missing query parameter'}), 400
# Simulate fetching from database or API
result = {'message': f'Retrieved {query} from the database'}
return jsonify(result)
if __name__ == '__main__':
app.run(debug=True)
实例十：使用Pillow库处理图像
问题描述: 对网页图片进行下载和基本图像处理。
代码实现:
from PIL import Image
img_path = "path/to/image.jpg"
image = Image.open(img_path)
width, height = image.size
print(f"Image size: {width}x{height}")
# Perform some operations here...
十个例子涵盖了Python爬虫的不同应用场景，包括网页抓取、数据解析、自动化测试、代理IP管理、JavaScript渲染处理、正则表达式匹配、自定义请求发送、Flask服务搭建以及图像处理等，每个实例都展示了如何在实际项目中有效地运用Python的爬虫功能，通过这些示例，读者可以对Python爬虫有更全面的认识和理解,为后续深入学习和实践打下坚实的基础。
上一篇