MySQL中的大表每次都基于CSV更新行

Big table in mysql Updating rows based on csv every time(MySQL中的大表每次都基于CSV更新行)
本文介绍了MySQL中的大表每次都基于CSV更新行的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

我有一个包含50万行的表,我假设我每小时都会收到CSV文件,我需要根据CSV更新我的MySQL表。它可能包含新行,或者某些行可能会被修改。该表有一个主键(名为SKU)

Product表列:

  1. SKU
  2. 产品详情
  3. 价格

我希望尽快完成此操作,其中一个条件是我不能删除表并再次加载,因为我的主要要求是";支持将给定文件常规非阻塞并行接收到表";中。

我可以使用Python等脚本语言。

我有一个解决方案,就是创建一个临时表并将数据导入到表中,然后更新我的主表。

如有任何帮助或建议,我们将不胜感激

推荐答案

如果新数据是整个集合,请执行以下操作:

  1. CREATE TABLE new LIKE real;
  2. LOAD DATA INFILE INTO new ...这是唯一较慢的步骤,但不会影响real表。
  3. 如果您需要清理数据,请执行此步骤。否则,您不需要Python。
  4. RENAME TABLE real TO old, new TO real;此步骤速度很快。
  5. DROP TABLE old;

如果传入数据不包含所有SKU,请参阅此处的技术:http://mysql.rjweb.org/doc.php/staging_table

这篇关于MySQL中的大表每次都基于CSV更新行的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!

本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除!

相关文档推荐

Hibernate reactive No Vert.x context active in aws rds(AWS RDS中的休眠反应性非Vert.x上下文处于活动状态)
Bulk insert with mysql2 and NodeJs throws 500(使用mysql2和NodeJS的大容量插入抛出500)
Flask + PyMySQL giving error no attribute #39;settimeout#39;(FlASK+PyMySQL给出错误,没有属性#39;setTimeout#39;)
auto_increment column for a group of rows?(一组行的AUTO_INCREMENT列?)
Sort by ID DESC(按ID代码排序)
SQL/MySQL: split a quantity value into multiple rows by date(SQL/MySQL:按日期将数量值拆分为多行)