php修改10万条数据,php处理10万级数据

如果用PHP赋值十万个变量数组(比如读取十万条mysql数据来用),做为后台管理脚本来运行会不会太耗系统资

你说的写文件是个思路。如果你只是要求某一个字段是唯一,可以把这个存在内存中,每次进行验证。然后把验证通过的数据写入文件,最后在统一从文件中读出来存入数据库。

站在用户的角度思考问题,与客户深入沟通,找到铁门关网站设计与铁门关网站推广的解决方案,凭借多年的经验,让设计与互联网技术结合,创造个性化、用户体验好的作品,建站类型包括:网站建设、做网站、企业官网、英文网站、手机端网站、网站推广、域名注册、网页空间、企业邮箱。业务覆盖铁门关地区。

但是又会出现个问题。如果你是10万条数据在文件里,你要是想用一个INSERT插入,那必须得先把这数据读到内存里,肯定也很慢,而且不稳定。如果你逐条读出插入,对数据库也是个消耗。不过你可以把数据拆散,比如每1000条插一次。

php 如何提高 “循环数据库修改操作”的速度

给你个思路

先最大化 PHP 效率充分利用 系统资源。

把 sql 拆开比如2万一个用一个 php 去跑 总共用5个 php 一起跑。

然后最大化 mysql 效率

查一下mysql 的瓶颈在哪。针对性的去优化。

查询慢 就看看索引什么的

写慢就查查 buffer 什么的。

这里强烈建议读写分离。

用不通的数据库实例去分别处理读写。

再看看磁盘 IO 性能。看看队列数据。不行就上阵列。或者单表部署单个磁盘。或者读写在不同的磁盘进行。

当然用缓存也可以。

比如把10万条都独出来存到 memcache 等内存缓存中。循环处理数据的时候读内存的数据不用查数据库。

还有终极大招。

你直接把数据库都搬内存里面。。。

php 对海量数据修改更新

Failed to create directory

CCLOG("AssetsManagerEx : can not create directory %s\n", fullPath.c_str());

unzClose(zipfile);

return false;

}

}

求助:用php一次更新10万条记录怎么办

检查下 php.ini 文件中的限制

upload_max_filesize

post_max_size

如果超出你提交的文件大小,就改大一些

改了之后重启 apache!

php mysql UPDATE 数据超过10多万条就不成功

检查下 php.ini 文件中的限制

upload_max_filesize

post_max_size

如果超出你提交的文件大小,就改大一些

改了之后重启 apache


分享文章:php修改10万条数据,php处理10万级数据
文章出自:http://pwwzsj.com/article/hdohcg.html