本文实例讲述了 php 导入大量数据到 mysql 性能优化技巧分享给大家供大家参考具体分析如下:
在 mysql 中我们结合 php 把一些文件导入到 mysql 中, 这里就来分享一下我对 15000 条记录进行导入时分析与优化, 需要的朋友可以参考一下.
之前有几篇文章, 说了最近 tiandi 在帮朋友做一个小项目, 用于统计电话号码的, 每次按需求从数据库里随机生成打包的电话号码, 然后不停地让人打这些电话号码推销产品 (小小鄙视一下这样的行为) 但是朋友要求帮忙, 咱也不能不帮啊, 是吧程序两个星期前已经做好, 测试完毕交工前几天朋友来电说, 每天导入电话号码的时间越来越长, 有时候一万条记录就要半个小时以上, 看看能不能想办法提高一下这个速度
我理了一下思路, 数据库结构很简单, 可以认为就两个字段, 一个字段存电话号码, 另一字段存类别, 类别分别为 c,d,e 等等, 分别代表已经拨通过此电话, 未拨通过此电话, 未拨打过此电话等等状态, 而整个程序逻辑是这样的.
拿到一个 txt 文件, 里面存的是电话号码
通过程序将 txt 文件导入到 mysql 里
导入的时候, 检测 txt 里的电话号码是否和 mysql 里的重复, 如果不重复, 直接插入新记录, 如果重复, 就需要按照判断电话号码所属类别来进行更新
由于每个 txt 里的电话号码导入时, 都需要做一次比较, 所以程序肯定会耗时一些, 这里我们先撇开这个原因, 因为本文章的标题是优化写入速度, 那么程序什么时候会写入记录呢? 通过上面的逻辑得知, 在匹配数据库时, 没有发现存在记录时会发生写入数据库操作(当然 update 也算, 只是这里只讨论 insert), 那么将上述逻辑转化为代码, 差不多如下:
代码如下:
- //$array 为 txt 文件 explode 出来的数组, 每一个为一个电话号码, $str 为类型
- for($i=0; $i {
- $tmpstr = "'". $array[$i] ."','". $str ."'";
- $sql="INSERT INTO".$usertable."(tel,type) VALUES (".$tmpstr.")";
- mysql_query($sql);
- }
以上代码完全正确, 但是效率低下, 当 txt 文件里包含了上万个电话号码时, 即会有上万次的插入数据库操作, 虽然每次的数据库写入操作都是很快的, 但是上万条累计下来, 这个执行时间不容忽视, tiandi 简单的测试了一下插入 15000 万条记录, 耗时差不多 5 分钟, 如果再加上之前的逻辑判断等等过程, 那么半个小时还真得不算少了, 这样可不行, 必须减少数据库库写入次数才对, 于是上面代码变更为以下:
代码如下:
- $sql2="INSERT INTO".$usertable."(tel,type,updatetime) VALUES";
- for($i=0; $i {
- $tmpstr = "'". $array[$i] ."','". $str ."'";
- $sql2 .= "(".$tmpstr."),";
- }
- $sql2 = substr($sql2,0,-1); // 去除最后的逗号
- mysql_query($sql2);
这样, 整个写入操作只有 1 次, 大大地缩短了执行时间, 差不多 10 秒就搞定了 15000 条记录, 好了, 本文到此结束, 如果你也遇上写入大量数据到 mysql 耗时长的问题时, 不如试试本文的优化方式.
来源: https://www.php1.cn/detail/php-545907e99b.html