爬虫策略和反爬措施是网络爬虫技术中的两个重要方面。爬虫策略决定了爬虫如何高效、有序地抓取互联网上的数据，而反爬措施则是网站为了保护自己的数据不被恶意抓取而采取的一些技术手段。下面我将详细讲解这两部分内容，并提供一些代码示例。
爬虫策略
广度优先遍历（BFS）：先抓取起始网页的所有直接链接，再逐层扩展。
深度优先遍历（DFS）：从起始网页开始，沿着一条路径尽可能深地抓取，直到无法继续，然后回溯。
PageRank：根据页面的重要性来决定抓取的优先级，类似于 Google 的 PageRank 算法。
反向链接策略：优先抓取那些被多个页面链接到的页面。
用户代理（User-Agent）轮换：模拟不同的浏览器访问，避免被识别为爬虫。
延迟和时间策略：设置请求间隔，避免对服务器造成过大压力。
重试策略：对失败的请求进行重试，可能由于网络问题或服务器暂时不可用。
数据去重：确保不重复抓取同一页面或数据。
代码示例（广度优先爬虫）：
import requests
from urllib.parse import urljoin
from bs4 import BeautifulSoup
import time
class BFSCrawler:
def __init__(self, start_url, max_depth):
self.start_url = start_url
self.max_depth = max_depth
self.visited = set()
self.queue = [(self.start_url, 0)]
def crawl(self):
while self.queue:
current_url, depth = self.queue.pop(0)
if depth > self.max_depth:
continue
if current_url in self.visited:
continue
self.visited.add(current_url)
print(f"Crawling: {current_url}")
self.fetch_and_parse(current_url, depth)
def fetch_and_parse(self, url, depth):
try:
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
for link in soup.find_all('a', href=True):
new_url = urljoin(self.start_url, link['href'])
if new_url not in self.visited:
self.queue.append((new_url, depth + 1))
time.sleep(1) # 延迟避免压力过大
except Exception as e:
print(f"Error fetching {url}: {e}")
# 使用示例
crawler = BFSCrawler('http://example.com', 3)
crawler.crawl()
反爬措施
User-Agent检测：服务器检查请求头中的User-Agent字段，拒绝非浏览器User-Agent的请求。
IP限制：限制单个IP在一定时间内的请求次数。
验证码：在频繁请求或可疑行为后要求输入验证码。
JavaScript挑战：使用JavaScript生成或验证内容，基础爬虫无法执行JS。
AJAX数据加载：数据通过AJAX请求异步加载，不在初始HTML中。
Cookie和Session检查：验证请求是否携带有效的Cookie和Session。
动态改变网页结构：定期改变HTML结构，使基于旧结构的爬虫失效。
代码示例（应对User-Agent检测）：
import requests
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
response = requests.get('http://example.com', headers=headers)
print(response.text)
反反爬策略
修改User-Agent：使用常见浏览器的User-Agent。
使用代理IP：轮换IP地址以规避IP限制。
保持会话：使用requests.Session来保持Cookie。
执行JavaScript：使用Selenium或Puppeteer来执行JS。
解析AJAX：分析XHR请求，直接获取数据。
代码示例（使用Selenium执行JavaScript）：
from selenium import webdriver
browser = webdriver.Chrome()
browser.get('http://example.com')
# 执行JavaScript代码
browser.execute_script('window.scrollTo(0, document.body.scrollHeight);')
content = browser.page_source
print(content)
browser.quit()