【Mysql数据库系列】Mysql将CSV格式文件内数据导入数据库,奇思妙想,出奇制胜

热门系列:


目录

1、前言

2、正题

2.1 使用命令将CSV文件导入数据库

2.2 遇到的问题

2.2.1 问题一:乱码

2.2.2 问题二:导入时因数据特殊值原因报错

2.3 换个姿势导入数据库

3、总结


1、前言

前段时间,因需求需要,从外部得到一份CSV格式的股票信息文件,需要导入到内部数据库。在定义好格式和数据表之后,便开整了。

一开始心想,通过数据库可视化界面(我用的是dbeaver,挺好用,推荐大家试试),一键梭哈,完事~~~!但是,转念一想,上线时候咋整,还不是得命令操作!所以,还是老实用命令处理吧!


2、正题

2.1 使用命令将CSV文件导入数据库

这里你说明一点,数据库表和导入文件的字段,需要对应上,否则导入数据可能会错乱!!!

以下是导入命令:

LOAD DATA INFILE 'D:\Java\\WorkFile\\prodFile\\source.csv' INTO TABLE table_name
CHARACTER SET utf8 
fields terminated by "," enclosed by ""
LINES TERMINATED BY '\r\n'
IGNORE 1 LINES
(column1,column2,column3,column4,column5);

命令注释:

  • table_name:是被导入的数据库表名
  • column:字段名
  • CHARACTER SET utf8: 是设置导入的数据字符按utf8格式(否则可能出现乱码)
  • FIELDS TERMINATED BY ',':指定字段分隔符
  • OPTIONALLY ENCLOSED BY '"':认为双引号中的是一个独立的字段。Excel 转 CSV 时,有特殊字符(逗号、顿号等)的字段,会自动用双引号引起来
  • LINES TERMINATED BY '\n':指定行分隔符,注意,在 Windows 平台上创建的文件,分隔符是 '\r\n'

顺带说下连接数据库的命令吧,如下:

我是win10环境,先进入自己本地mysql的安装路径下,进入bin目录,在地址栏输入cmd,打开命令终端,如下:

然后输入一下命令:

mysql -h ip地址 -u mysql账号名 -p 

然后输入密码,即可登录连接上自己的数据库了~~~~!如此选择指定数据库后,就可以输入上述命令进行导入了~~

不出意外的话,就可以顺利导入啦。。。

 

2.2 遇到的问题

2.2.1 问题一:乱码

但是,天将降大任于斯人也,必先劳其筋骨,饿其体肤。。。。。所以,我导入失败了~~~ 乱码了,我丢!!!!

尝试了很多办法,不得其解。后来没办法,我想换一种方式解决~

就是用自己本地的数据库,使用dbeaver界面导入功能先把数据导入,然后再导出sql脚本。。后续上线或是其他环境的数据库,直接使用sql脚本,就应该没问题了。。。

2.2.2 问题二:导入时因数据特殊值原因报错

现在使用dbeaver导入功能导入:

然鹅,,,另一个问题出现了。。TMD导入时,因为不明数据,导致导入报错。并且通过CSV文件,我筛查了很久·,去掉了所有标点符号,奇异字符。也是不行~~~

看了dbeaver的报错日志:但是显示的列是按十六进制显示的,并且显示不全。。。就很蛋疼~~~~

头皮发麻_头皮发麻表情

 

2.3 换个姿势导入数据库

没办法,终极大招 ~~~,上才艺!

后来痛定思痛,我们的目标是将数据导入进去,什么方式,不重要!所以,我们不能局限在传统的导入方式上,换个姿势,我们是否可以把CSV内的数据,手动格式化成SQL脚本呢。这样不就可以导入了吗?

于是,抠出CSV内的数据,放在文本中,使用CTRL+H,然后使用替换大法哈哈,这样sql脚本就成啦~~

剩下导入的过程,我就不再赘述啦。。。大功告成!!!


3、总结

我觉得开发过程中,想法很重要!!!别人都说程序员,思想容易固化,所以:

1、解决问题的过程中,多想几种解决方式,不要执着于一种方式

2、思考问题的时候,尽量全局性去想,不要顾头不顾尾

最后,有感兴趣的朋友,欢迎在下方留言讨论,点赞关注哈~~~~~

善良勤劳勇敢而又聪明的老杨 CSDN认证博客专家 Java
一个喜欢学习,热爱分享的Java技术人!The more you know, the more you don't know!
微信搜索关注时代名猿,免费领取VIP精品学习视频、BAT大厂面试资料、IT技术电子书籍
已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: 博客之星2020 设计师:CY__ 返回首页