Python爬虫（9）Python数据存储实战：基于pymysql的MySQL数据库操作详解

一、背景与核心价值

在数据驱动的互联网时代，数据存储技术是构建应用系统的基石。文件存储（如TXT/CSV）适合简单场景，但面临并发性差、查询效率低等问题。‌MySQL作为关系型数据库的典型代表‌，凭借其开源、高性能、事务支持等特性，成为Web应用、数据分析等领域的主流存储方案。

‌为什么选择pymysql？‌

作为Python连接MySQL的轻量级库，pymysql提供纯Python实现，兼容MySQLdb API，支持Python 3.x，规避了旧库的环境依赖问题，是Python开发者操作MySQL的首选工具。

二、pymysql核心操作详解

2.1 环境准备

# 安装pymysql（需提前安装MySQL服务）
pip install pymysql

2.2 数据库连接与基础操作

import pymysql

# 建立数据库连接
conn = pymysql.connect(
    host='localhost',
    user='root',
    password='your_password',
    database='test_db',
    charset='utf8mb4',
    cursorclass=pymysql.cursors.DictCursor  # 返回字典格式数据
)

try:
    with conn.cursor() as cursor:
        # 创建数据表
        sql_create = """
        CREATE TABLE IF NOT EXISTS users (
            id INT AUTO_INCREMENT PRIMARY KEY,
            name VARCHAR(50) NOT NULL,
            email VARCHAR(100) UNIQUE
        )
        """
        cursor.execute(sql_create)
        
        # 插入数据（参数化查询防止SQL注入）
        sql_insert = "INSERT INTO users (name, email) VALUES (%s, %s)"
        cursor.execute(sql_insert, ('Alice', 'alice@example.com'))
    
    # 提交事务
    conn.commit()
    
    # 查询数据
    with conn.cursor() as cursor:
        sql_select = "SELECT * FROM users WHERE name = %s"
        cursor.execute(sql_select, ('Alice',))
        result = cursor.fetchone()
        print(result)  # 输出：{'id': 1, 'name': 'Alice', 'email': 'alice@example.com'}

finally:
    conn.close()  # 关闭连接

2.3 事务处理与错误回滚

try:
    conn.begin()  # 显式开启事务
    # 执行多个操作...
    conn.commit()
except Exception as e:
    conn.rollback()  # 发生错误时回滚
    print(f"操作失败: {e}")

2.4 高级功能：批量插入与性能优化

data = [('Bob', 'bob@test.com'), ('Charlie', 'charlie@test.com')]
sql = "INSERT INTO users (name, email) VALUES (%s, %s)"
with conn.cursor() as cursor:
    cursor.executemany(sql, data)  # 批量插入提升效率
conn.commit()

三、pymysql进阶技巧

3.1 连接池管理（推荐使用DBUtils）

from dbutils.pooled_db import PooledDB

pool = PooledDB(
    creator=pymysql,
    host='localhost',
    user='root',
    password='your_password',
    database='test_db',
    maxconnections=10  # 控制并发连接数
)

3.2 SQL注入防御

• 必须使用参数化查询‌（如%s占位符），避免直接拼接SQL字符串。

3.3 与ORM框架对比

四、总结与最佳实践

4.1 技术选型建议‌：

1. 小型项目或需要精细控制SQL时，pymysql是轻量高效的解决方案
2. 中大型项目建议结合ORM框架（如SQLAlchemy）提升开发效率

4‌.2 性能优化方向‌：

1. 使用连接池减少连接开销
2. 批量操作代替单条提交
3. 合理设计索引提升查询速度

4.3 避坑指南‌：

1. 始终在finally块中关闭连接
2. 生产环境避免使用root账户
3. 定期备份数据库并监控慢查询日志

Python爬虫相关文章（推荐）