如何解决PHP使用mysql_query查询超大结果集超内存问题

5年以前  |  阅读数:969 次  |  编程语言:PHP 

再使用mysql_query查询超大结果集的时候会出现超出内存限制的致命错误,这是因为mysql_query采用的是查询全部结果然后把结果集全部缓存到内存中的方式。

mysql的查询还提供了另外一种查询方式,函数名为mysql_unbuffered_query,这个函数采用的是查出结果后立即操作结果集,并不会把结果集缓存到内存中,这样就避免了超出内存的情况发生。但是使用这个方法的代价就是不能再查询的时候使用获取总行之类的方法,因为这种方法是便查询边返回结果。同时在使用该方法的时候不能在同一数据库链接上执行其他的操作,想要执行其他操作的时候必须先终止当前操作,释放所有未缓存的sql查询所产生的结果行,或者重新实例化一个数据库连接,使用新链接进行其他操作。

以下是使用缓存和不使用缓存的对比(所查询的表中有1000多万行数据):


    function selecttest()
    {
    try {
    $pdo = new PDO("mysql:host=localhost;dbname=test", 'root', '123456');
    // 不使用缓存结果集方式
    // $pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
    $sth = $pdo->prepare('select * from test');
    $sth->execute();
    echo '最初占用内存大小:' . memory_get_usage() . "\n";
    $i = 0;
    while ($result = $sth->fetch(PDO::FETCH_ASSOC)) {
    $i += 1;
    if ($i > 10) {
    break;
    }
    sleep(1);
    print_r($result);
    echo '占用内存大小:' . memory_get_usage() . "\n";
    }
    } catch (Exception $e) {
    echo $e->getMessage();
    }
    }

上面使用到的是缓存所有结果集的方式,运行该函数时将会报超内存的错误,如下所示:

Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 204800000 bytes) in E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php on line 57

Call Stack:

0.0005 135392 1. {main}() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:0
0.0005 135568 2. test->selecttest() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:86
0.0055 142528 3. PDOStatement->execute() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:57

在执行$sth->execute();时超出内存限制;

将// $pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);这行的注释去掉后将使用不缓存结果集的方式,运行该函数将输出以下内容:

最初占用内存大小:144808


    Array
    (
    [id] => 1
    [a] => v
    [b] => w
    [c] => i
    )

占用内存大小:145544


    Array
    (
    [id] => 2
    [a] => b
    [b] => l
    [c] => q
    )

占用内存大小:145544


    Array
    (
    [id] => 3
    [a] => m
    [b] => p
    [c] => h
    )

占用内存大小:145536


    Array
    (
    [id] => 4
    [a] => j
    [b] => i
    [c] => b
    )

占用内存大小:145536


    Array
    (
    [id] => 5
    [a] => q
    [b] => g
    [c] => g
    )

占用内存大小:145536

可以看到,使用不缓存结果集的方式获取一行结果所占用的内存是极少的。这样就结局了超出内存限制的问题。

 相关文章:
PHP分页显示制作详细讲解
SSH 登录失败:Host key verification failed
获取IMSI
将二进制数据转为16进制以便显示
获取IMEI
文件下载
贪吃蛇
双位运算符
PHP自定义函数获取搜索引擎来源关键字的方法
Java生成UUID
发送邮件
年的日历图
提取后缀名
在Zeus Web Server中安装PHP语言支持
让你成为最历害的git提交人
Yii2汉字转拼音类的实例代码
再谈PHP中单双引号的区别详解
指定应用ID以获取对应的应用名称
Python 2与Python 3版本和编码的对比
php封装的page分页类完整实例