最近在构建气象数据库,数据量2000亿行,内含从1901年到现在的全球近3万站点的逐小时气象数据,有兴趣的可以去看看: https://clidb.org
数据结构的设计和查询优化真的是费了我不少心思,过几天有空可以来写写心得,不过本篇的重点还是在大数据导出导入过程中遇到的坑。
由于为了加速查询,我分了4个数据库、每个库3万个表,每个表12个分区,于是就出现了Errcode: 24 "Too many open files" when using LOCK TABLES这个问题。
其实解决办法很简单,加上参数就好:--skip-lock-tables 跳过lock table的步骤。