千家信息网

php如何读大文件某几行

发表于:2024-11-18 作者:千家信息网编辑
千家信息网最后更新 2024年11月18日,本篇内容介绍了"php如何读大文件某几行"的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!php读大文件
千家信息网最后更新 2024年11月18日php如何读大文件某几行

本篇内容介绍了"php如何读大文件某几行"的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

php读大文件某几行的实现方法:1、直接采用file函数来操作;2、调用Linux的tail命令来显示最后几行;3、使用PHP的fseek进行文件操作;4、通过PHP的stream_get_line函数实现读取。

本文操作环境:windows7系统、PHP7.1版、DELL G3电脑

php 怎么读大文件 某几行?

PHP读取大文件的多种方法介绍

读取大文件一直是一个头痛的问题,我们像使用php开发读取小文件可以直接使用各种函数实现,但一到大文章就会发现常用的方法是无法正常使用或时间太长太卡了,下面我们就一起来看看关于php读取大文件问题解决办法,希望例子能帮助到各位。

在PHP中,对于文件的读取时,最快捷的方式莫过于使用一些诸如file、file_get_contents之类的函数,简简单单的几行代码就能 很漂亮的完成我们所需要的功能。但当所操作的文件是一个比较大的文件时,这些函数可能就显的力不从心, 下面将从一个需求入手来说明对于读取大文件时,常用的操作方法。

需求:

有一个800M的日志文件,大约有500多万行, 用PHP返回最后几行的内容。

实现方法:

1. 直接采用file函数来操作

  由于 file函数是一次性将所有内容读入内存,而PHP为了防止一些写的比较糟糕的程序占用太多的内存而导致系统内存不足,使服务器出现宕机,所以默认情况下限制只能最大使用内存16M,这是通过php.ini里的 memory_limit = 16M 来进行设置,这个值如果设置-1,则内存使用量不受限制。

下面是一段用file来取出这具文件最后一行的代码:

  整个代码执行完成耗时 116.9613 (s)。

  我机器是2个G的内存,当按下F5运行时,系统直接变灰,差不多20分钟后才恢复过来,可见将这么大的文件全部直接读入内存,后果是多少严重,所以不在万 不得以,memory_limit这东西不能调得太高,否则只有打电话给机房,让reset机器了。

2.直接调用Linux的 tail 命令来显示最 后几行

  在Linux命令行下,可以直接使用 tail -n 10 access.log 很轻易的显示日志文件最后几行,可以直接用PHP来调用tail命令,执行PHP代码如下:

  整个代码执行完成耗时 0.0034 (s)

3. 直接使用PHP的 fseek 来进行文件操作

  这种方式是最为普遍的方式,它不需要将文件的内容全部读入内容,而是直接通过指针来操作,所以效率是相当高效的。在使用fseek来对文件进行操作时,也有多种不同的方法,效率可能也是略有差别的,下面是常用的两种方法:

方法一

  首先通过fseek找到文件的最后一位EOF,然后找最后一行的起始位置,取这一行的数据,再找次一行的起始位置, 再取这一行的位置,依次类推,直到找到了$num行。

实现代码如下

 0){ while ($t != "\n") { fseek($fp, $pos, SEEK_END); $t = fgetc($fp); $pos--; } $t = " "; $data .= fgets($fp); $line--;}fclose($fp);echo $data?>

  整个代码执行完成耗时 0.0095 (s)

方法二

  还是采用fseek的方式从文件最后开始读,但这时不是一位一位的读,而是一块一块的读,每读一块数据时,就将读取后的数据放在一个buf里,然后通过换 行符(\n)的个数来判断是否已经读完最后$num行数据。

实现代码如下

 $chunk) ? $chunk : $max - $len; fseek($fp, ($len + $seekSize) * -1, SEEK_END); $readData = fread($fp, $seekSize) . $readData; if (substr_count($readData, "\n") >= $num + 1) { preg_match("!(.*?\n){" . ($num) . "}$!", $readData, $match); $data = $match[0]; break; }}fclose($fp);echo $data;?>

整个代码执行完成耗时 0.0009(s)。

方法三

 0); $pos = $n + 1; $lines = array(); while (count($lines) <= $n) { try {  fseek($fp, -$pos, SEEK_END); } catch (Exception $e) {  fseek(0);  break; } $pos *= $base; while (!feof($fp)) {  array_unshift($lines, fgets($fp)); } } return array_slice($lines, 0, $n);}var_dump(tail(fopen("access.log", "r+"), 10));?>

整个代码执行完成耗时 0.0003(s)

方法四,PHP的stream_get_line函数 ,读取快速,读取50万条数据大文件,大概需要20秒左右的时间!例子代码如下

$fp = fopen('./iis.log', 'r'); //文件 while (!feof($fp)) {  //for($j=1;$j<=1000;$j++) {     //读取下面的1000行并存储到数组中  $logarray[] = stream_get_line($fp, 65535, "\n");     // break; // }    }

"php如何读大文件某几行"的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注网站,小编将为大家输出更多高质量的实用文章!

文件 代码 方法 函数 内存 内容 一行 数据 命令 方式 位置 常用 系统 例子 多种 情况 效率 文章 日志 时间 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 武萌太宗师服务器 公安厅采购网络安全软件 教育系统网络安全级别 计算机网络技术职业认知实践报告 深受欢迎的零信任网络安全 电力监控网络安全防护策略 nba数据库丹尼格林 网络安全行业对个人 网络安全龙头股哪些 武汉塞力斯医疗科技软件开发 数据库服务器cpu规律波动 云服务器怎么当电脑 宇视流媒体服务器摄像机怎么调试 世界贸易组织数据库技术入股 演练评估 网络安全 读电子软件开发有用吗 工商银行 服务器安全吗 华为数据库postgresql 2018国家网络安全战略 数据库技术有什么岗位 软件开发企业如何进行纳税筹划 数据库改某个字段值 承德市公安局网络安全 公共图书馆数据库使用规定 网络安全形式的认识 泰拉瑞亚发现服务器ip和端口 主域名和子域名绑定不同服务器 软件开发年终工作汇报 软件开发设计资质 上海智数库网络技术有限公司
0