ExcelToMySQL:批量导入Excel到MySQL数据库的自动化工具
简介
ExcelToMySQL 是一个可以批量导入excel到mysql数据库的自动化工具。自动化是其最大的特点,因为它可以根据excel自动创建表并最终导入数据到数据库而不需要做任何手工设置。批量是它另一个特点,因为可以做到自动化,所以你可以一次性导入成百上千张表而不是一个一个导。
工具特色:
自动:工具可以根据excel自动设置表名、列名、列类型及其长度,最终创建表并导入数据,或者根据excel与数据库的自动匹配追加或者更新数据
批量: 通常你只能用其他工具一个一个手动导入excel到数据库,但是现在,你可以一次性导入成百上千张表
简单: 只需要提供excel文件位置和目标数据库连接信息,工具就能开始工作直到excel全部被导入
快捷:全部导入100张1万行x10列的excel用时不到2分钟,导入10个小文件更是不到1秒钟(办公笔记本测试)
智能:你是否手动导入时经常遇到错误?不要担心!工具可以轻松避免或者自动纠正。
定时: 可以自由设置定时导入,也可以搭配windows计划任务程序,实现定时调度
实时: 当定时间隔设置为0时,即可实现excel到数据库的实时数据同步刷新!
安全:工具完全在脱机环境工作,无任何数据上传下载操作。对数据库的操作做到可视、可控和可回滚,不含带不可控的数据操作。
软件下载
支持环境
- 操作系统:Windows7/8/10/11(x64)和Linux(x64)
- 数据库:MySQL 5.6/5.7/8.0
- Excel:xls/xlsx/xlsm/csv
注:较旧的Win7系统可能需安装必要系统组件才能运行,如需帮助可以联系作者
使用方法:
一、图形化界面使用方法
1.、点击ExcelToMySQL.exe启动程序
2.、选择excel并填入数据库连接信息
3、选择选项(可选)
4、点击开始
二、后台调用使用方法
可以在其他应用中调用ExcelToMySQL后台程序,实现无图形化界面导入。后台调用方法:
1.切换工作目录到ExcelToMySQL.exe所在目录
2.执行命令:ExcelToMySQL.exe saved_configuration/默认.yml
其中ExcelToMySQL.exe为命令,saved_configuration/默认.yml为参数配置文件,该配置文件保存了图形化界面的所有输入,参数具体含义可联系作者咨询。
也可以直接使用绝对路径调用,
如:C:/ExcelToMySQL2.0.1/ExcelToMySQL.exe saved_configuration/默认.yml
Linux系统同理。
三、企业网页版使用方法
ExcelToMySQL-web企业网页版可安装在一台服务器上,在局域网内实现多人免安装共同使用。
典型使用场景:
场景一:一键导入excel到数据库
场景二:多个excel文件批量导入到数据库
场景三:合并多个excel文件数据
场景四:定时导入excel到数据库
场景五:实时同步刷新excel数据到数据库
菜单
配置:
可打开,保存,另存,删除和导入界面配置
数据源:
文件: 选择文件作为数据源,单个或者多个被选中的文件将被
文件夹: 选择文件夹作为数据源,文件夹下所有excel都将被导入
选项介绍:
Excel:
选择需要被导入的excel文件或文件夹。
选择文件(默认):选择一个或多个excel文件,被选中的文件将被导入
选择文件夹(通过菜单栏-数据源-文件夹切换):选择一个文件夹,该文件夹下所有excel将被导入
MySQL连接:
填入目标数据库的连接信息。
服务器:本地数据库填写localhost,远程数据库填写其所在服务器IP地址
端口:
用户名:
密码:
Excel选项:
遍历子目录
遍历所选目录及其子目录下所有excel文件
仅导入最近更新的文件
记录上次成功导入excel的时间,下次导入时只导入该时间后有更新的excel(重新选择数据源后且文件夹变更后失效)
CSV文件编码:
默认为AI识别,表示工具自动探测,如果能确定所有CSV文件编码,
你可以指定(可选择和输入)以提高效率
指定要导入的sheet序号或名称:
sheet序号例如:1,sheet名称例如:Shhet1,不填默认全部导入
指定要忽略的sheet名称起始符:
例如填写:@,那么名称以@开始的sheet都将被忽略,不填默认全部导入
表头所在行数:
指定将第几行作为列名,第一行从1开始,不填默认为1。
可以填0,表示数据从第一行开始,列名以A,B,C。。。命名
数据开始行数:
数据开始行数,不填默认为2
跳过结尾行数:
跳过文件末尾行数,不填默认为0
去除单元格值首尾空格:
去除单元格值首尾空格
将空白单元格替换为NULL
将空白单元格替换为NULL
将这些值单元格值替换为null:
对于常见的excel错误单元格或者某特定的值,以逗号分隔填入,这些单元格值将被替换为null。比如:#NA,null,0,不填默认不替换
将数据按这些列去重
多列以逗号分割,例如:col1,col2,整行去重填*,不填默认不去重
MySQL选项:
表若存在先删除:
导入前若数据库表已存在,执行drop table if exists操作
注:谨慎操作工具对数据库表的所有操作除此项不可回滚外,其余选项导入失败均可回滚
表若存在先清空:
导入前删除表数据,执行delete from操作(不是tuncate,导入失败可回滚)
表若不存在先新建:
导入前若数据库表不存在,执行create table if not exists操作
将所有数据导入到同一张表:
将所有excel数据都导入到输入的表
将这些数据导入到同一张表:
sheet名相同:将sheet名相同的数据导入同一张表,且以sheet名作为表名
excel名相同:将excel文件名相同的数据导入同一张表
excel名相似:将excel文件名相似的数据导入同一张表
使用正则表达式提取表名
从excel文件名中使用正则表达式提取表名,不填默认为原excel文件名
转换表名和列名中文为英文
将表名和列名中的中文转换为拼音
为创建的表名添加前缀:
为创建的表名指定前缀以示区分
创建表时添加一列值为自增id的主键列
创建表时在数据库表中添加一列,该列将存储数自动增长的数字,并作为该表的主键
将excel文件名(可正则提取) 存到列
将exce文件名存到填写的列,可以对excel文件名应用正则表达式提取后再作为列值
当表列长度不够时,允许增加列长度:
当数据库表中列长度不够时,动态增加列长度,执行alter table modify column 操作
当excel存在多余的列时:
不处理:不做任何操作
忽略多余列:只导入匹配上的列数据
在表中增加新列:在库表中增加新列,执行alter table add column 操作
与excel与表数据重复时:
当库表存在主键或者唯一索引,并且出现数据重复时:
不处理:不做任何操作
忽略:忽略重复数据,执行insert ignore into 操作
更新:更新库表数据,根据唯一键更新库表数据
按这些列更新表数据:
多列以逗号分割,例如:col1,col2,不填默认不更新
定时选项:
要设置定时导入,必须先填间隔时间,比如1秒、1天,当时间间隔填0时,代表实时导入。
可以设置从何时开始导入,时间格式为:2023-01-01 00:00:00,如不填,则代表定时从现在开始
其他:
导入前清空日志文件
导入前清空该配置下的日志文件记录
关于工具如何工作:
下面描述了一些工具工作时的逻辑
如何确定表名:
如果excel里只包含一个sheet >> excel文件名
如果excel里包含多个sheet >> excel文件名+_+sheet名
非文字字符例如括号都会被替换成_
如果表名长度超过了数据库限制 >> 截断
如何确定列名:
默认使用第一行作为列名,如果列名全为空,将用下一个非空行作为列名
如果存在列名为空,将用abcd等作为列名
字符例如括号都会被替换成_
如果列名重复,使用列名+计数作为列名
如何确定列类型:
工具将计算每列最大长度,如果小于255,将使用varchar(255),
如果大于255,将使用text。
定时调度
工具可以直接在命令行模式下后台运行(没有图形化界面),因此,可以在windows或者linux对其配置定时任务,实现定时运行。
只需要添加一个配置文件(.yml)作为其参数即可,工具通过读取该配置文件里面的配置自动运行。
- ExcelToMySQL.exe saved_configuration/定时任务1.yml
详细使用教程:定时导入excel到数据库