python数据分析之pandas数据预处理(数据合并与数据提取、loc、iloc、ix函数详解)
309
2022-08-23
dataframe.to_sql() 一次性插入过多报错
利用to_sql()方法 将dataframe 中的数据插入数据库;之前用的都没问题,这次突然报错,
system error: 10054 远程主机强迫关闭了一个现有的连接。
刚开始以为是连接数的和pool的问题,搞了半天调了半天参数还是报一样的错,
后面突然想到是不是一次性提交数据量过大造成开始测试小批量提交,错误消失了。尴尬的报错啊
# df分页插入 pageSize 超过3000就报错count = len(df_point)pageSize = 500page = math.ceil(count / pageSize)# 分批插入for i in range(page): start = pageSize * i end = pageSize * (i + 1) if end > count: end = count df = df_point.iloc[start:end] # 插入POINT表 不插入索引列 如果表存在就追加记录 df.to_sql("POINT", engine, index=False, if_exists='append')
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。
发表评论
暂时没有评论,来抢沙发吧~