PHP 如何實現多程序 and mysql查詢效率
阿新 • • 發佈：2019-01-06
首先我來說說這個我的需求吧。
需求：
有極少的使用者來訪問我的網頁，但是一旦有使用者訪問，就會查詢資料庫，資料庫是極大的。如果直接查詢的話，那麼耗時很長，為了節約時間，有很多工作需要做，其中一個就是多程序（多執行緒）。比如，一個程序查詢一個table，這樣可以提高效率。然後將滿足要求的資料返回。
之前我轉了一篇如何進行多執行緒的，那個我最後還是沒有做成，就是技術沒過關。呵呵了。用php在linux命令列沒有問題，做的非常好，多程序也執行成功，就是不知道怎麼移植到網頁上去。網上有人說php不支援多執行緒，我想這個說法不妥吧。這就為本文拉開了序幕。
好了，我的用法呢，走了一個巧。不是你只讓我在php命令列下執行這個多執行緒嗎。那麼還有一個讓命令列執行的命令，不是嗎？system。
我的流程：
資料--->分析資料---->將資料傳送到執行多執行緒的php裡面--->多執行緒php進行多執行緒分配查詢資料--->回顯。
下面是一個例子：
比如我查詢一個關鍵字，首先是php介面，讓輸入介面（很簡陋）：
<html> <title>data</title> <body> <?php $_time = time(); echo 'the time now is'.date("Y-m-d H:i:s",$_time); echo "<br />"; ?> <form action="data_process.php" method="get"> keyword:<input type="text" name="keyword"/><br /> <input type="submit" name="submit" value="submit"/> </form> </body> </html>
這個時候進入data_process.php了。這個主要是分析一下資料，防止一些惡意的資料。當然我這裡沒有這麼做，留著以後改善。
第一次用到了system函式。呼叫php命令執行fenxi.php，傳遞了一個引數過去。<html> <body> <?php //include_once("db_connect.php") //函式:計時函式 //用法:Echo Runtime(1); function microtime_float() { list($usec, $sec) = explode(" ", microtime()); return ((float)$usec + (float)$sec); } $starttime = microtime_float(); $keyword = htmlspecialchars($_GET["keyword"]); if (empty($keyword)){ echo "keyword is null"; } else { echo "the result of $keyword are following:</br>"; <span style="color:#ff0000;"> system("/usr/local/php-zts/bin/php fenxi.php $keyword");</span> } $runtime = number_format((microtime_float()-$starttime),4).'s'; echo "used time :".$runtime; echo "all over"; ?> </body> </html>
重點來了。fenxi.php是如何做的呢。
<?php
$keyword = $argv[1];
class AsyncOperation extends Thread {
public function __construct($arg,$keyword){
$this->arg = $arg;
$this->keyword = $keyword;
}
public function run(){
if($this->arg){
system("/usr/local/php-zts/bin/php $this->arg $this->keyword");
}
}
}
$php = array("1.php","2.php","3.php","4.php","5.php","6.php","7.php","8.php");
for($i=0;$i < count($php);$i++)
{
$thread[$i] = new AsyncOperation($php[$i],$keyword);
}
for($i=0;$i < count($php);$i++)
{
$thread[$i]->start();
}
for($i=0;$i < count($php);$i++)
{
$thread[0]->join();
}
?>
這樣，將這個關鍵字就在這裡進行了分流。一個一個自己進去自己的php執行。每一個php的程式碼應該是類似的。
<?php
$keyword = $argv[1];
$myconn = mysql_connect("localhost","root","12345678");
mysql_query("set names 'utf8'");
$select = mysql_select_db("datadb",$myconn);
$sql = "select * from test1 where name1 like '$keyword%' or name2 like '$keyword%'";
$result = mysql_query($sql,$myconn) or die(mysql_error());
if ($result)
echo "precess 1:data from test1:</br>";
while($info = mysql_fetch_array($result))
{
echo "$info[0]----$info[1]</br></br>";//顯示資料
}
mysql_free_result($result);
mysql_close($myconn);
?>
這樣就進行了多執行緒操作。繞過了瀏覽器不能直接執行帶有Thread程式碼的缺陷。
這樣呢，到底好不好真不好說。我也就學習php2天不到，為了解決這個問題也是網上找了很多資料，絕大部分時間都是在安裝Thread環境，可惜還是不能再網頁上進行多執行緒，我想應該是可以的，只是我才疏學淺沒有找到門道啊。只好用這個辦法先來解決一下了。希望高手能夠提出有益意見。
附錄：
如何提高查詢的效率：（前提，都是查，不插入刪除等，mysql資料庫）
第一：改變引擎，不用InnoDB，用MyISAM。這個網上一查就知道原因。
MyISAM是MySQL的儲存引擎。MyISAM不支援事務、也不支援外來鍵，但其訪問速度快，對事務完整性沒有要求。
InnoDB儲存引擎提供了具有提交、回滾和崩潰恢復能力的事務安全。但是比起MyISAM儲存引擎，InnoDB寫的處理效率差一些並且會佔用更多的磁碟空間以保留資料和索引。
第二：建立索引
提高效率這個應該立馬考慮。我來說一下資料就知道這個提高有多少了。
我的一個測試table有400W資料（沒建立索引），用InnoDB，需要17秒左右，用MyISAM需要12秒。（我的查詢語句比較特別）
建立索引，要不到1秒。
注意一些sql語句，會讓索引無效的語句。
下面來自網頁：
有幾個問題我想我之前沒有想清楚。就是mysql什麼情況下才會使用索引。。所以or連結，索引不起作用。
1.對查詢進行優化，應儘量避免全表掃描，首先應考慮在 where 及 order by 涉及的列上建立索引。2.應儘量避免在 where 子句中使用!=或<>操作符，否則將引擎放棄使用索引而進行全表掃描。
3.應儘量避免在 where 子句中對欄位進行 null 值判斷，否則將導致引擎放棄使用索引而進行全表掃描，如：
select id from t where num is null
可以在num上設定預設值0，確保表中num列沒有null值，然後這樣查詢：
select id from t where num=0
4.應儘量避免在 where 子句中使用 or 來連線條件，否則將導致引擎放棄使用索引而進行全表掃描，如：
select id from t where num=10 or num=20
可以這樣查詢：
select id from t where num=10
union all
select id from t where num=20
5.下面的查詢也將導致全表掃描：
select id from t where name like '%abc%'
若要提高效率，可以考慮全文檢索。
6.in 和 not in 也要慎用，否則會導致全表掃描，如：
select id from t where num in(1,2,3)
對於連續的數值，能用 between 就不要用 in 了：
select id from t where num between 1 and 3
7.如果在 where 子句中使用引數，也會導致全表掃描。因為SQL只有在執行時才會解析區域性變數，但優化程式不能將訪問計劃的選擇推遲到執行時；它必須在編譯時進行選擇。然而，如果在編譯時建立訪問計劃，變數的值還是未知的，因而無法作為索引選擇的輸入項。如下面語句將進行全表掃描：
select id from t where [email protected]
可以改為強制查詢使用索引：
select id from t with(index(索引名)) where [email protected]
8.應儘量避免在 where 子句中對欄位進行表示式操作，這將導致引擎放棄使用索引而進行全表掃描。如：
select id from t where num/2=100
應改為:
select id from t where num=100*2
9.應儘量避免在where子句中對欄位進行函式操作，這將導致引擎放棄使用索引而進行全表掃描。如：
select id from t where substring(name,1,3)='abc'--name以abc開頭的id
select id from t where datediff(day,createdate,'2005-11-30')=0--'2005-11-30'生成的id
應改為:
select id from t where name like 'abc%'
select id from t where createdate>='2005-11-30' and createdate<'2005-12-1'
10.不要在 where 子句中的“=”左邊進行函式、算術運算或其他表示式運算，否則系統將可能無法正確使用索引。
11.在使用索引欄位作為條件時，如果該索引是複合索引，那麼必須使用到該索引中的第一個欄位作為條件時才能保證系統使用該索引，否則該索引將不會被使用，並且應儘可能的讓欄位順序與索引順序相一致。
12.不要寫一些沒有意義的查詢，如需要生成一個空表結構：
select col1,col2 into #t from t where 1=0
這類程式碼不會返回任何結果集，但是會消耗系統資源的，應改成這樣：
create table #t(...)
13.很多時候用 exists 代替 in 是一個好的選擇：
select num from a where num in(select num from b)
用下面的語句替換：
select num from a where exists(select 1 from b where num=a.num)
14.並不是所有索引對查詢都有效，SQL是根據表中資料來進行查詢優化的，當索引列有大量資料重複時，SQL查詢可能不會去利用索引，如一表中有欄位sex，male、female幾乎各一半，那麼即使在sex上建了索引也對查詢效率起不了作用。
15.索引並不是越多越好，索引固然可以提高相應的 select 的效率，但同時也降低了 insert 及 update 的效率，因為 insert 或 update 時有可能會重建索引，所以怎樣建索引需要慎重考慮，視具體情況而定。一個表的索引數最好不要超過6個，若太多則應考慮一些不常使用到的列上建的索引是否有必要。
16.應儘可能的避免更新 clustered 索引資料列，因為 clustered 索引資料列的順序就是表記錄的物理儲存順序，一旦該列值改變將導致整個表記錄的順序的調整，會耗費相當大的資源。若應用系統需要頻繁更新 clustered 索引資料列，那麼需要考慮是否應將該索引建為 clustered 索引。
17.儘量使用數字型欄位，若只含數值資訊的欄位儘量不要設計為字元型，這會降低查詢和連線的效能，並會增加儲存開銷。這是因為引擎在處理查詢和連線時會逐個比較字串中每一個字元，而對於數字型而言只需要比較一次就夠了。
18.儘可能的使用 varchar/nvarchar 代替 char/nchar ，因為首先變長欄位儲存空間小，可以節省儲存空間，其次對於查詢來說，在一個相對較小的欄位內搜尋效率顯然要高些。
19.任何地方都不要使用 select * from t ，用具體的欄位列表代替“*”，不要返回用不到的任何欄位。
20.儘量使用表變數來代替臨時表。如果表變數包含大量資料，請注意索引非常有限（只有主鍵索引）。
21.避免頻繁建立和刪除臨時表，以減少系統表資源的消耗。
22.臨時表並不是不可使用，適當地使用它們可以使某些例程更有效，例如，當需要重複引用大型表或常用表中的某個資料集時。但是，對於一次性事件，最好使用匯出表。
23.在新建臨時表時，如果一次性插入資料量很大，那麼可以使用 select into 代替 create table，避免造成大量 log ，以提高速度；如果資料量不大，為了緩和系統表的資源，應先create table，然後insert。
24.如果使用到了臨時表，在儲存過程的最後務必將所有的臨時表顯式刪除，先 truncate table ，然後 drop table ，這樣可以避免系統表的較長時間鎖定。
25.儘量避免使用遊標，因為遊標的效率較差，如果遊標操作的資料超過1萬行，那麼就應該考慮改寫。
26.使用基於遊標的方法或臨時表方法之前，應先尋找基於集的解決方案來解決問題，基於集的方法通常更有效。
27.與臨時表一樣，遊標並不是不可使用。對小型資料集使用 FAST_FORWARD 遊標通常要優於其他逐行處理方法，尤其是在必須引用幾個表才能獲得所需的資料時。在結果集中包括“合計”的例程通常要比使用遊標執行的速度快。如果開發時間允許，基於遊標的方法和基於集的方法都可以嘗試一下，看哪一種方法的效果更好。
28.在所有的儲存過程和觸發器的開始處設定 SET NOCOUNT ON ，在結束時設定 SET NOCOUNT OFF 。無需在執行儲存過程和觸發器的每個語句後向客戶端傳送 DONE_IN_PROC 訊息。
29.儘量避免向客戶端返回大資料量，若資料量過大，應該考慮相應需求是否合理。
30.儘量避免大事務操作，提高系統併發能力。
我的regexp語句，如果這麼兩條語句進行比較（在建立了索引的條件下）
select * from table where name = 'name'
select * from table where name regexp 'name'
時間可不一樣了，前面用時0.2秒，後面用時5秒多。
匹配沒有用索引？？？？？
csdn上面的一些回答：
索引主要兩類：
1 基於樹的，訪問索引時，判斷是否需要繼續訪問某個節點的時候，需要比較大小。所以，這類索引對等於大於小於，以及LIKE 'XXX%'之類有效果
2 基於雜湊的，無論是否用正則，都只能用精確值，對等於，不等於之類有效
查詢分析的時候，只要看到REGEXP或者函式之類，資料庫一律認為無法索引，因為這個可能性太多了，即使REGEXP '^ABC$'，分析器也不可能花費時間去解析相關的正則、函式體，否則代價還不如不用索引