php使用fputcsv實現大資料的匯出操作詳解
阿新 • • 發佈：2020-02-28
本文例項講述了php使用fputcsv實現大資料的匯出操作。分享給大家供大家參考，具體如下：
為了實驗大資料的匯出，我們這裡先自已建立一張大表，表結構如下:
CREATE TABLE `tb_users` ( `id` int(11) unsigned NOT NULL AUTO_INCREMENT COMMENT '使用者ID',`name` varchar(32) DEFAULT '' COMMENT '使用者名稱',`age` tinyint(3) DEFAULT '0' COMMENT '使用者年齡',`desc` varchar(255) DEFAULT '' COMMENT '使用者描述',`phone` varchar(11) DEFAULT '' COMMENT '使用者手機',`qq` varchar(16) DEFAULT '' COMMENT '使用者QQ',`email` varchar(64) DEFAULT '' COMMENT '使用者郵箱',`addr` varchar(255) DEFAULT '' COMMENT '使用者地址',PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
然後寫個php指令碼往這個表插入資料，程式碼如下:
<?php
set_time_limit(0);
ini_set('memory_limit','128M');
//使用TP3.2的String類，php7下會報錯，注意把類名換一下
require './String.class.php';
use Org\Util\NewString;
$begin = microtime(true);
$db = new mysqli('127.0.0.1','root','','test');
if($db->connect_error) {
die('connect error');
}
//資料插入語句
$insSql = '';
//一百萬資料，分200步，每步插入5000條
$step = 200;
$nums = 5000;
for($s = 0; $s < $step; ++$s) {
$insSql = 'INSERT INTO tb_users VALUES';
for($n = 0; $n < $nums; ++$n) {
$name = NewString::randString(3,4);
$age = mt_rand(1,120);
$desc = NewString::randString(64,4);
$phone = NewString::randString(11,1);
$qq = NewString::randString(13,1);
$email = $qq . '@qq.com';
$addr = NewString::randString(128,4);
$insSql .= "(NULL,'{$name}',$age,'{$desc}','{$phone}','{$qq}','{$email}','{$addr}'),";
}
$insSql = rtrim($insSql,',');
$db->query($insSql);
}
$end = microtime(true);
echo '用時:',$end - $begin;
$db->close();
裡面用到的TP3.2的String類大家自行上TP官網下載。整個用時2個多小時，最後資料大小662M。
現在我們用php提供的fputcsv來匯出這一百萬的資料，原理就是開啟一個標準輸出流，然後把資料按一萬條來分割，每一萬條就重新整理緩衝區。
<?php
set_time_limit(0);
ini_set('memory_limit','128M');
$fileName = date('YmdHis',time());
header('Content-Type: application/vnd.ms-execl');
header('Content-Disposition: attachment;filename="' . $fileName . '.csv"');
$begin = microtime(true);
//開啟php標準輸出流
//以寫入追加的方式開啟
$fp = fopen('php://output','a');
$db = new mysqli('127.0.0.1','test');
if($db->connect_error) {
die('connect error');
}
//我們試著用fputcsv從資料庫中匯出1百萬的資料
//我們每次取1萬條資料，分100步來執行
//如果線上環境無法支援一次性讀取1萬條資料，可把$nums調小，$step相應增大。
$step = 100;
$nums = 10000;
//設定標題
$title = array('ID','使用者名稱','使用者年齡','使用者描述','使用者手機','使用者QQ','使用者郵箱','使用者地址');
foreach($title as $key => $item) {
$title[$key] = iconv('UTF-8','GBK',$item);
}
//將標題寫到標準輸出中
fputcsv($fp,$title);
for($s = 1; $s <= $step; ++$s) {
$start = ($s - 1) * $nums;
$result = $db->query("SELECT * FROM tb_users ORDER BY id LIMIT {$start},{$nums}");
if($result) {
while($row = $result->fetch_assoc()) {
foreach($row as $key => $item) {
//這裡必須轉碼，不然會亂碼
$row[$key] = iconv('UTF-8',$item);
}
fputcsv($fp,$row);
}
$result->free();
//每1萬條資料就重新整理緩衝區
ob_flush();
flush();
}
}
$end = microtime(true);
echo '用時：',$end - $begin;
整個過程用時5分鐘，最終生成的csv檔案大小420M。
對於如何用phpexcel匯出大資料，並沒有什麼比較好的方案，phpexcel提供的一些快取方法，資料壓縮，雖然記憶體使用小了，但所用時間則加長了，時間換空間，顯然並不是最好的方案。比較靠譜的方法還是生成多個下載連結地址，把你要下載的資料，以get形式傳遞當前頁數，後臺進行資料分頁然後匯出。
<a href="/downSearchData.php?引數1=值1&引數2=值2&page=1" rel="external nofollow" >下載彙總結果1</a> <a href="/downSearchData.php?引數1=值1&引數2=值2&page=2" rel="external nofollow" >下載彙總結果2</a> <a href="/downSearchData.php?引數1=值1&引數2=值2&page=3" rel="external nofollow" >下載彙總結果3</a>
比如你有一個查詢資料表單，ID為searchFrm，然後你想把匯出資料按1萬條分割(phpexcel一次匯出1萬條是沒有問題的，效率還行)
<form id="searchFrm">
姓名<input type="text" name="uname">
<input type="button" id="searchDataBtn" value="匯出彙總結果">
</form>
<div id="searchDataList"></div>
<script type="script">
$("#searchDataBtn").on("click",function() {
var params = $("#searchFrm").serialize();
//獲取查詢資料的條數
$.get("/getSearchDataRows?" + params,function(data) {
var downDataList = "";
if(data["rows"]) {
//rows是資料總條數，pageSize是一頁多少條
var pageNum = Math.ceil(data["rows"] / data["pageSize"]);
for(var i = 1; i <= pageNum; ++i) {
downDataList += "<a href='/downSearchData.php?'" + params + "&page=" + i + ">下載彙總結果" + i + "</a> ";
}
$("#searchDataList").html(downDataList);
} else {
$("#searchDataList").text("沒有資料");
}
},"json");
return false;
});
</script>
更多關於PHP相關內容感興趣的讀者可檢視本站專題：《php+mysql資料庫操作入門教程》、《php+redis資料庫程式設計技巧總結》、《php面向物件程式設計入門教程》及《php常見資料庫操作技巧彙總》
希望本文所述對大家PHP程式設計有所幫助。