在参考文档上进行了,遇到的编码乱码问题,
感谢与参考:https://blog.csdn.net/tonydz0523/article/details/82529941#commentBox
https://blog.csdn.net/L1558198727/article/details/83987269
## 使用sqlachemy
* 使用Python3 将csv格式存入MySql数据库,用sqlalchemy 要比pymysql 简单一些
安装 pip install sqlalchemy
乱码问题解决:原csv数据文件有中文,转换到数据库,在数据库名csv_to_sql名后面加?charset=utf8'
#同样先与mysql 建立连接:
import pandas as pd
from sqlalchemy import create_engine
from datetime import datetime
from sqlalchemy.types import NVARCHAR, Float, Integer
# 连接设置 连接mysql 用户名root 密码rootroot 地址localhost:3306 database:csv_to_sql
engine = create_engine('mysql+pymysql://root:rootroot@localhost:3306/csv_to_sql?charset=utf8') #在数据库名csv_to_sql名后面加?charset=utf8'
# engine = create_engine('mysql+pymysql://root:rootroot@localhost:3306/csv_to_sql',encoding='utf8')#加在后面没有用!
# 建立连接
con = engine.connect()
# help(engine.connect)
# ### pandas读取csv文件:,网易财经的股票历史数据含中文,编码为gbk
# ### pandas读取csv文件:,网易财经的股票历史数据含中文,编码为gbk
df = pd.read_csv('./data/tempstock1.csv', encoding='gbk',usecols=[0, 3, 4, 5, 6, 11], parse_dates=['日期'])
df.head()
###类型转换function
# pandas类型和sql类型转换
def map_types(df):
dtypedict = {}
for i, j in zip(df.columns, df.dtypes): #df.columns是属性,df.types是属性和属性的存储类型
if "object" in str(j):
dtypedict.update({i: NVARCHAR(length=255)}) #设置属性存储时的类型与长度
if "float" in str(j):
dtypedict.update({i: Float(precision=2, asdecimal=True)})
if "int" in str(j):
dtypedict.update({i: Integer()})
return dtypedict
### 存入mysql :
dtypedict = map_types(df)
# 通过dtype设置类型 为dict格式{“col_name”:type}
df.to_sql(name='later_test12192018', con=con, if_exists='replace', index=False, dtype=dtypedict)