.NET ORM 框架 Dapper 批量插入全解析
在 .NET 开发中，与数据库交互是常见需求。Dapper 作为轻量级的 ORM（对象关系映射）库，在简化数据库交互方面表现出色。今天我们就来深入探讨 Dapper 实现批量插入的几种方法。
为什么需要批量插入
在实际业务场景中，当需要向数据库插入大量数据时，如果采用单条插入的方式，会频繁与数据库进行交互，导致性能下降。而批量插入可以将多个插入操作合并为一次，减少数据库交互次数，从而显著提高性能。
方法一：Execute 方法与 Table - Valued Parameters (TVP)
适用场景
这种方法适用于支持 TVP 的数据库，例如 SQL Server。
实现步骤
- 创建用户定义的表类型：在 SQL Server 中创建一个用户定义的表类型，用于存储要插入的数据。
CREATE TYPE dbo.MyTableType AS TABLE
(
Id INT,
Name NVARCHAR(50)
);
- 创建存储过程：编写一个存储过程，接收用户定义的表类型作为参数，并将数据插入到目标表中。
CREATE PROCEDURE dbo.InsertMyTable
@MyTable dbo.MyTableType READONLY
AS
BEGIN
INSERT INTO MyTable (Id, Name)
SELECT Id, Name FROM @MyTable;
END
- C# 代码实现：在 C# 中使用 Dapper 调用存储过程进行批量插入。
using System;
using System.Collections.Generic;
using System.Data;
using System.Data.SqlClient;
using Dapper;
public class MyEntity
{
public int Id { get; set; }
public string Name { get; set; }
}
public class Program
{
public static void Main()
{
string connectionString = "connection_string";
using (IDbConnection dbConnection = new SqlConnection(connectionString))
{
List<MyEntity> entities = new List<MyEntity>
{
new MyEntity { Id = 1, Name = "Name1" },
new MyEntity { Id = 2, Name = "Name2" }
};
var table = new DataTable();
table.Columns.Add("Id", typeof(int));
table.Columns.Add("Name", typeof(string));
foreach (var entity in entities)
{
table.Rows.Add(entity.Id, entity.Name);
}
string sql = "EXEC dbo.InsertMyTable @MyTable";
var param = new { MyTable = table.AsTableValuedParameter("dbo.MyTableType") };
dbConnection.Execute(sql, param);
}
}
}
注意事项
AsTableValuedParameter 方法是 Dapper.Contrib 或其他扩展库的一部分，你可能需要安装相应的 NuGet 包。
独特见解
这种方法将数据封装在用户定义的表类型中，通过存储过程进行插入，使得数据库操作更加安全和高效。但需要在数据库端进行额外的配置，增加了一定的维护成本。
方法二：SqlBulkCopy 高效批量插入
适用场景
对于大量数据的批量插入，SqlBulkCopy 是最佳选择。
代码示例
using (var connection = new SqlConnection(connectionString))
{
connection.Open();
using (var bulkCopy = new SqlBulkCopy(connection))
{
bulkCopy.DestinationTableName = "MyTable";
bulkCopy.ColumnMappings.Add("Name", "Name");
bulkCopy.ColumnMappings.Add("Age", "Age");
var table = new DataTable();
table.Columns.Add("Name", typeof(string));
table.Columns.Add("Age", typeof(int));
table.Rows.Add("Alice", 25);
table.Rows.Add("Bob", 30);
table.Rows.Add("Charlie", 35);
bulkCopy.WriteToServer(table);
}
}
优点
性能极高，适合处理大量数据。它直接将数据批量写入数据库，避免了多次 SQL 语句的执行，大大提高了插入效率。
独特见解
SqlBulkCopy 是专门为批量插入设计的，在处理大量数据时优势明显。但它只能用于 SQL Server 数据库，缺乏一定的跨数据库兼容性。
方法三：使用事务批量插入
实现思路
通过事务将多个插入操作打包，确保原子性。如果其中一个插入操作失败，整个事务将回滚，保证数据的一致性。
代码示例
using (var connection = new SqlConnection(connectionString))
{
connection.Open();
using (var transaction = connection.BeginTransaction())
{
try
{
var sql = "INSERT INTO MyTable (Name, Age) VALUES (@Name, @Age)";
var users = new[]
{
new { Name = "Alice", Age = 25 },
new { Name = "Bob", Age = 30 },
new { Name = "Charlie", Age = 35 }
};
connection.Execute(sql, users, transaction);
transaction.Commit();
}
catch (Exception ex)
{
transaction.Rollback();
Console.WriteLine($"Error: {ex.Message}");
}
}
}
优点
确保所有插入操作要么全部成功，要么全部失败，保证了数据的完整性。
独特见解
事务机制在处理数据插入时非常重要，尤其是在对数据一致性要求较高的场景中。但事务的使用会增加一定的性能开销，需要根据实际情况进行权衡。
方法四：使用自定义扩展方法
实现思路
结合 Dapper 和 SqlBulkCopy 实现一个高效的批量插入扩展方法。
代码示例
public static class DapperExtensions
{
public static void BulkInsert<T>(this IDbConnection connection, string tableName, IEnumerable<T> data)
{
using (var bulkCopy = new SqlBulkCopy(connection.ConnectionString))
{
bulkCopy.DestinationTableName = tableName;
var table = new DataTable();
var properties = typeof(T).GetProperties();
foreach (var prop in properties)
{
table.Columns.Add(prop.Name, Nullable.GetUnderlyingType(prop.PropertyType) ?? prop.PropertyType);
bulkCopy.ColumnMappings.Add(prop.Name, prop.Name);
}
foreach (var item in data)
{
var row = table.NewRow();
foreach (var prop in properties)
{
row[prop.Name] = prop.GetValue(item) ?? DBNull.Value;
}
table.Rows.Add(row);
}
bulkCopy.WriteToServer(table);
}
}
}
// 使用示例
using (var connection = new SqlConnection(connectionString))
{
var users = new[]
{
new User { Name = "Alice", Age = 25 },
new User { Name = "Bob", Age = 30 },
new User { Name = "Charlie", Age = 35 }
};
connection.BulkInsert("MyTable", users);
}
优点
结合了 Dapper 的灵活性和 SqlBulkCopy 的高性能，同时通过扩展方法简化了代码的使用。
独特见解
自定义扩展方法提高了代码的复用性和可维护性。开发人员可以根据不同的业务需求，灵活调整扩展方法的实现。
总结
在选择批量插入方法时，需要根据实际情况进行权衡：
- 小批量数据：可以使用
Execute方法或事务，实现简单，能满足基本需求。 - 大量数据：优先选择
SqlBulkCopy，以获得最佳的性能。 - 简化代码：可以使用 Dapper.Contrib 或自定义扩展方法，提高开发效率。
通过合理选择和使用 Dapper 的批量插入方法，能够显著提升 .NET 应用程序与数据库交互的性能。
前些天发现了一个比较好玩的人工智能学习网站，通俗易懂，风趣幽默，可以了解了解AI基础知识，人工智能教程，不是一堆数学公式和算法的那种，用各种举例子来学习，读起来比较轻松，有兴趣可以看一下。
人工智能教程