2. 程式人生 > >批量資料結構緩衝載入資料二叉樹查詢的效率優化測試

批量資料結構緩衝載入資料二叉樹查詢的效率優化測試

阿新 • • 發佈：2018-12-31

問題：
2009年12月10日，在開發客戶維繫挽留系統時，進行Bi_Subscrb_Cdr基礎資料表抽取初步測試時，發現效率奇低。
原因有以下可能：
1.資料庫主機忙，導致上載資料到記憶體中時，速度過慢。
2.網路繁忙（網速確實很慢），由於當時是前臺互動執行程式，但是這個應該影響不大。
3.程式所在主機忙，這個可能性更小。
4.程式本身的資料結構問題。

測試：
1.通過對其他程式測試，比較該程式以往的執行日誌，排除資料庫和程式主機及網路的主要影響因素。
2.對程式分析：批量資料結構緩衝載入資料二叉樹查詢時，在資料上載記憶體平衡二叉樹中的時候，
有個資料排序插入連結串列的過程，這個對後續資料的處理可能會提供一定的幫助。
但是當外來資料要進行多欄位累加操作時，再對資料進行排序插入連結串列時，就會很大程度上影響
資料上載二叉樹時的效率...

部分源程式如下：

/*批量資料結構緩衝載入資料二叉樹查詢*/
int ESearchBiSubscrbCdrBinTree(void *pi,struct BiSubscrbCdrStruct **p,char sTableName[],char sCondition[])
{
 static int iFirstFlag=TRUE;
 BINTREE *ptHead=pEBiSubscrbCdrBinTree;

 if(pi==NULL){

  /*呼叫bintree_free_bi_subscrb_cdr函式釋放記憶體*/
  TravelBinTree(ptHead,bintree_free_bi_subscrb_cdr);
  iFirstFlag=TRUE;
  pEBiSubscrbCdrBinTree = NULL;

  return TRUE;
 }

 if(iFirstFlag){
  struct BiSubscrbCdrStruct *pBinTree;
  struct BiSubscrbCdrStruct Temp;
  struct BiSubscrbCdrStructIn TempIn;

  bzero((void*)&TempIn,sizeof(struct BiSubscrbCdrStructIn));
  if(strlen(sTableName)!=0){
   strcpy(TempIn.sTableName,sTableName);
   strcpy(TempIn.sCondition,sCondition);
  }
  else{
   strcpy(TempIn.sTableName,"BI_SUBSCRB_CDR");
   strcpy(TempIn.sCondition,"");
  }
  TempIn.iBufEmpty =TRUE;
  TempIn.iFirstFlag = TRUE;

  TravelBinTree(ptHead,bintree_free_bi_subscrb_cdr);
  
  /*逐條獲取BI_SUBSCRB_CDR 資料進行處理*/
  while(EGetBiSubscrbCdrToStruct(&Temp,&TempIn)){

   pBinTree=(struct BiSubscrbCdrStruct *)malloc(sizeof(struct BiSubscrbCdrStruct));
   if(pBinTree==NULL){
    printf("error Malloc BinTree for BiSubscrbCdrStruct./n");
    exit(1);
   }

   memcpy(pBinTree,(void *)&Temp,sizeof(struct BiSubscrbCdrStruct));

   /*比較外來節點和被比較節點大小並將外來資料載入到平衡二叉樹中*/
   AdjustInsertExt(&ptHead,pBinTree,bintree_sort_bi_subscrb_cdr,
    bintree_insert_bi_subscrb_cdr);

  }

  pEBiSubscrbCdrBinTree=ptHead;
  iFirstFlag=FALSE;

 }
 return SearchBinTree(ptHead,pi,bintree_search_bi_subscrb_cdr,(void **)p);
}

/*函式原形int (*pFunction)(void *,void*)*/
/*該函式用於SearchBinTree比較外來資料（引數1）和被比較節點資料大小*/
int bintree_search_bi_subscrb_cdr(void *pValue,void*pData)
{
 struct BiSubscrbCdrStruct *pSource=(struct BiSubscrbCdrStruct *)pValue;
 struct BiSubscrbCdrStruct *pTarget=(struct BiSubscrbCdrStruct *)pData;

/*資料比較部分*/
 int res=0;

 if((res=strcmp(pSource->sBillingcyclid,pTarget->sBillingcyclid))!=0) return res;
 if((res=(pSource->iSubscrbid-pTarget->iSubscrbid))!=0) return res;
 if((res=strcmp(pSource->sAreaid,pTarget->sAreaid))!=0) return res;

 return res;
}

/*函式原形void (*pAssign)(BINTREE *,void *)*/
/*該函式用於將外來資料載入到平衡二叉樹中*/
/*pHead指標指向的資料不為空*/
void bintree_insert_bi_subscrb_cdr(BINTREE *pHead,void *pData)
{
 struct BiSubscrbCdrStruct *pValue=(struct BiSubscrbCdrStruct *)pData;
 struct BiSubscrbCdrStruct **ppLkHead=(struct BiSubscrbCdrStruct **)&(pHead->pData);

/*直接插入連結串列頭節點模式*/
/*{
 InsertList((LIST**)(&(pHead->pData)),(LIST*)pData);
}*/
/*排序插入連結串列,內部呼叫連結串列排序函式,預設用*/
/*{
 InsertListSort((LIST**)(&(pHead->pData)),(LIST*)pData,list_sort_bi_subscrb_cdr);
}*/
/*排序插入連結串列相同累加,記憶體是否用去可看是否呼叫,sort_sum_list*/

 InsertListSortSum((LIST**)(&(pHead->pData)),
   (LIST*)pData,list_sort_bi_subscrb_cdr,list_sum_bi_subscrb_cdr);
}

int list_sort_bi_subscrb_cdr(LIST *pValue,LIST*pHead)
{
 struct BiSubscrbCdrStruct *pSource=(struct BiSubscrbCdrStruct *)pValue;
 struct BiSubscrbCdrStruct *pTarget=(struct BiSubscrbCdrStruct *)pHead;
/*加入生成連結串列的外部資料與連結串列資料的比較程式碼*/

/*資料比較部分*/
 int res=0;
/*按主鍵進行查詢*/
 if((res=strcmp(pSource->sBillingcyclid,pTarget->sBillingcyclid))!=0) return res;
 if((res=(pSource->iSubscrbid-pTarget->iSubscrbid))!=0) return res;
 if((res=strcmp(pSource->sAreaid,pTarget->sAreaid))!=0) return res;

 return res;
}

void list_sum_bi_subscrb_cdr(LIST *pValue,LIST*pHead)
{

 struct BiSubscrbCdrStruct *pSource=(struct BiSubscrbCdrStruct *)pValue;
 struct BiSubscrbCdrStruct *pTarget=(struct BiSubscrbCdrStruct *)pHead;

 /*對以下欄位作SUM操作*/ 
 pSource->iCallDura+=pTarget->iCallDura;
 pSource->iMoDura+=pTarget->iMoDura;
 pSource->iMtDura+=pTarget->iMtDura;
 pSource->iTrsDura+=pTarget->iTrsDura;
 pSource->iMoLandDura+=pTarget->iMoLandDura;
 pSource->iMtLandDura+=pTarget->iMtLandDura;
 pSource->iRoamDura+=pTarget->iRoamDura;
 pSource->iMoLocalDura+=pTarget->iMoLocalDura;
 pSource->iMtLocalDura+=pTarget->iMtLocalDura;
 pSource->iCallCmccDura+=pTarget->iCallCmccDura;
 pSource->iCallCtcDura+=pTarget->iCallCtcDura;
 pSource->iCallCncDura+=pTarget->iCallCncDura;

 pSource->iCallCnt+=pTarget->iCallCnt;
 pSource->iMoCnt+=pTarget->iMoCnt;
 pSource->iMtCnt+=pTarget->iMtCnt;
 pSource->iTrsCnt+=pTarget->iTrsCnt;
 pSource->iLandCnt+=pTarget->iLandCnt;
 pSource->iRoamCnt+=pTarget->iRoamCnt;
 pSource->iMoCucCnt+=pTarget->iMoCucCnt;
 pSource->iMtCucCnt+=pTarget->iMtCucCnt;
 pSource->iMoCmccCnt+=pTarget->iMoCmccCnt;
 pSource->iMtCmccCnt+=pTarget->iMtCmccCnt;
 pSource->iMoCtcCnt+=pTarget->iMoCtcCnt;
 pSource->iMtCtcCnt+=pTarget->iMtCtcCnt;
 pSource->iMoCncCnt+=pTarget->iMoCncCnt;
 pSource->iMtCncCnt+=pTarget->iMtCncCnt;
 pSource->iMoOthCnt+=pTarget->iMoOthCnt;
 pSource->iMtOthCnt+=pTarget->iMtOthCnt;
 pSource->iMo10010Cnt+=pTarget->iMo10010Cnt;
 pSource->iMt10010Cnt+=pTarget->iMt10010Cnt;
 pSource->iMo10086Cnt+=pTarget->iMo10086Cnt;
 pSource->iMt10086Cnt+=pTarget->iMt10086Cnt;
 pSource->iMo10000Cnt+=pTarget->iMo10000Cnt;
 pSource->iMt10000Cnt+=pTarget->iMt10000Cnt;
 pSource->iMo100060Cnt+=pTarget->iMo100060Cnt;
 pSource->iMt100060Cnt+=pTarget->iMt100060Cnt;
 pSource->iMoOthServCnt+=pTarget->iMoOthServCnt;
 pSource->iMtOthServCnt+=pTarget->iMtOthServCnt;
 pSource->iTrsInnerCnt+=pTarget->iTrsInnerCnt;
 pSource->iTrsIntrCnt+=pTarget->iTrsIntrCnt;
 pSource->iTrsCmccCnt+=pTarget->iTrsCmccCnt;
 pSource->iTrsCtcPstnCnt+=pTarget->iTrsCtcPstnCnt;
 pSource->iTrsCncPstnCnt+=pTarget->iTrsCncPstnCnt;
 pSource->iTrsCtcPhsCnt+=pTarget->iTrsCtcPhsCnt;
 pSource->iTrsCncPhsCnt+=pTarget->iTrsCncPhsCnt;

 free(pTarget);
}

執行測試結果：
--原程式
--處理資料 4000000條記錄
--啟動時間 2009-12-11 10:50:24
--結束時間 2009-12-11 11:07:45
--統計結果 平均每秒處理資料 3887條，有效率逐漸降低現象（初始8333條/秒，處理到400w資料時2381條/秒）

改進1:先去掉排序插入連結串列函式功能
int list_sort_bi_subscrb_cdr(LIST *pValue,LIST*pHead)
{
 return 0;
}

執行測試結果：
--去掉排序插入連結串列
--處理資料 3774982
--啟動時間 2009-12-11 10:43:38
--結束時間 2009-12-11 10:44:53
--統計結果 平均每秒處理資料 50333條，無效率降低現象

改進2:再縮小上載資料範圍，按單主鍵比較資料
int bintree_search_bi_subscrb_cdr(void *pValue,void*pData)
{
 struct BiSubscrbCdrStruct *pSource=(struct BiSubscrbCdrStruct *)pValue;
 struct BiSubscrbCdrStruct *pTarget=(struct BiSubscrbCdrStruct *)pData;

/*資料比較部分*/
 int res=0;

 /*if((res=strcmp(pSource->sBillingcyclid,pTarget->sBillingcyclid))!=0) return res;*/
 if((res=(pSource->iSubscrbid-pTarget->iSubscrbid))!=0) return res;
 /*if((res=strcmp(pSource->sAreaid,pTarget->sAreaid))!=0) return res;*/

 return res;
} 

執行測試結果：
--處理資料 4060334
--啟動時間 2009-12-11 10:41:31
--結束時間 2009-12-11 10:42:31
--統計結果 平均每秒處理資料 67672，無效率降低現象

(注：測試時間顛倒的原因是由於程式改進後逐步回退測試的結果)

總結：
當大批量資料上載記憶體時，如果需要對大量欄位進行SUM操作時，那麼就要考慮資料處理的效率問題了。
當時在跑遍歷語音表的時候，其他地市還好資料不多，平均500萬左右，但是A地市有3000多萬，B地市也有1000多萬。
原程式在執行過程中，當處理資料超過600萬時，速度明顯下降。當處理到1000萬以上時，每10萬條資料差不多要6分鐘。
如果按照這個效率的話，全省每個月近9000萬條的資料量可能一兩天都處理不完...
程式改進後，平均每10萬資料1.5 秒，9000萬條資料只要22.5 分鐘就能處理完成，效率提高將近100倍以上！

相關推薦

批量資料結構緩衝載入資料二叉樹查詢的效率優化測試

問題：2009年12月10日，在開發客戶維繫挽留系統時，進行Bi_Subscrb_Cdr基礎資料表抽取初步測試時，發現效率奇低。原因有以下可能：1.資料庫主機忙，導致上載資料到記憶體中時，速度過慢。2.網路繁忙（網速確實很慢），由於當時是前臺互動執行程式，但是這個應該影響不大。3.程式所在主機忙，這個可能性

資料結構——4.2 平衡二叉樹

搜尋樹結點不同的插入次序，將導致不同的深度和平均查詢長度ASL 平衡因子：BF（T）=hL-hR，其中hL和hR分別為T的左右子樹的高度。 平衡二叉樹（AVL樹）：是一個空樹或者 要求任一結點左右子樹高度差的絕對值小於等於1，即|BF(T)| <=1 設nh為 高度是h

資料結構之－平衡二叉樹(AVL)

背景 不同結構的二叉查詢樹，查詢效率有很大的不同。如何解決這個問題呢？關鍵在於如何最大限度的減小樹的深度。正是基於這個想法，平衡二叉樹出現了。 前言 平衡二叉搜尋樹（英語：Balanced Binary Tree）是一種結構平衡的二叉搜尋樹。 它能在O(log n)時間內完成插入、查詢和

python 資料結構與演算法 day05 二叉樹的深度優先遍歷（縱向）

1. 二叉樹深度優先遍歷三種方式   不同於樹的廣度優先遍歷（一層一層的走，同一層從左到右走完開始走下一層的橫向遍歷方式），深度優先遍歷是一條路走到黑，然後再走下一條；    先序遍歷：根節點--左子節點---右子節點（先從根節點開始，走左子樹，對這個左子樹依然按照根節點

【資料結構】3-1 二叉樹的先序建立及遍歷操作

二叉樹真的令人頭大 #include<iostream> using namespace std; template <class T> struct BTNode//二叉連結串列結點結構 { T data; //二叉樹中的元素 BTNode<T>

14_資料結構與演算法_二叉樹_Python實現

#Created By: Chen Da class BinaryTree(object): def __init__(self,rootObj): self.key = rootObj self.left_child = None sel

資料結構——鏈佇列實現二叉樹的層次遍歷

在二叉樹的遍歷這篇部落格中https://www.cnblogs.com/wkfvawl/p/9901462.html 對於二叉樹的層次遍歷我只是給出了基於C++ STL的程式碼，這裡我使用資料結構的連結串列，構建一個鏈佇列來實現。這也算是我第一次使用鏈佇列來完成某個任務，鏈佇列程式碼還是來自課本，因為之前

資料結構實驗-C語言-二叉樹的建立，前、中、後序遍歷的遞迴演算法和非遞迴演算法，求葉子結點數目，求二叉樹深度，判斷二叉樹是否相似，求二叉樹左右子樹互換，二叉樹層序遍歷的演算法，判斷二叉樹是否是完全二叉樹

1.實驗目的 熟練掌握二叉樹的二叉連結串列儲存結構的C語言實現。掌握二叉樹的基本操作-前序、中序、後序遍歷二叉樹的三種方法。瞭解非遞迴遍歷過程中“棧”的作用和狀態，而且能靈活運用遍歷演算法實現二叉樹的其它操作。 2.實驗內容 （1）二叉樹的二叉連結串列的建立 （2）二叉樹的前、中、後

資料結構與演算法學習--二叉樹及二叉搜尋樹

可以看下以前對數的總結https://blog.csdn.net/sjin_1314/article/details/8507490 下面是二叉樹的遍歷，建立及銷燬的函式實現，層次遍歷依賴佇列；佇列實現可以去github上檢視https://github.com/jin13417/al

資料結構與演算法篇 二叉樹（Binary Tree）（二）

今天要講的是二叉查詢樹（Binary Search Tree），是一種最常用的二叉搜尋樹，支援快速查詢，刪除，插入資料。 它是如何實現的呢？，其實它依靠的它的資料結構，在樹中的任意一個節點，其左子樹的每個節點的值都小於這個節點的值，右子樹都大於這個節點的值。 接下來我們來看一下二叉樹是

資料結構與演算法篇 二叉樹（Binary Tree）（一）

好多天沒有寫過資料結構和演算法了，好了今天抽出點時間二叉樹，前面講到的都是線性表，棧，佇列等等。 今天講到的是非線性表結構--樹，首先說一下什麼是樹的概念 樹的這種資料結果挺像我們現實中的樹，這裡的每一個元素我們叫做節點，用線把相鄰的節點連線起來，然後它們就成了父子關係。 A節點是

C語言複習資料結構之簡單的二叉樹輸入和輸出操作

C語言複習之簡單的二叉樹的僅輸入輸出操作 1：結構體 typedef struct TreeNode{ _Data value; struct TreeNode * father; struct TreeNode * right; stru

【資料結構學習筆記】二叉樹和其他樹

基礎定義 一個樹t是一個非空的有限元素的集合，其中一個元素為根（root），其餘的元素（如果有的話）組成t的子樹（subtree） 樹的另一常用術語為級（level）。樹根是1級，其孩子（如果有）是2級，孩子的孩子是3級，等等。 一棵樹的高度（height）或深度（de

在資料結構中當建立二叉樹時候void CreateBiTree(BiTree &T);傳引數為什麼不能用指標而要用引用或指標的指標

記得以前我們剛上資料結構，建立二叉樹的時候，void CreateBiTree(BiTree &T);引數傳遞的是一個指向結構體指標的引用，有一個人問過老師，他說要改變值必須要用引用，我感覺他這裡根本就沒跟我們講清楚，為什麼要用指標的引用呢？ 後來我問了別人，自己想了一下，在C語言中，可

【資料結構】給定一個二叉樹，檢查它是否是映象對稱的

給定一個二叉樹，檢查它是否是映象對稱的。 例如，二叉樹 [1,2,2,3,4,4,3] 是對稱的。 1 / \ 2 2 / \ / \ 3 4 4 3 但是下面這個 [1,2,2,null,3,null,3]則不是映象對稱的: 1

資料結構（四）二叉樹的遍歷

二叉樹的遍歷 0. 樹的表示 typedef struct TreeNode *BinTree; struct TreeNode{ int Data; // 存值 BinTree Left; // 左兒子結點 BinTree Right;

C語言資料結構的簡單實驗——二叉樹的遍歷

實驗題目： 建立一株用二叉連結串列儲存的二叉樹，並對其進行遍歷。 實驗思路： 解題關鍵是要建立二叉樹，因此對語二叉樹的每一個節點，我以連結串列為儲存方式並用遞迴的思想對其進行定義。 ** 程式碼實現： ** #include<stdio.h> #in

資料結構開發(23)：二叉樹中結點的查詢、插入、刪除與清除操作

0.目錄 1.二叉樹中結點的查詢操作 2.二叉樹中結點的插入操作 3.二叉樹中結點的刪除操作 4.二叉樹中結點的清除操作 5.小結 1.二叉樹中結點的查詢操作 查詢的方式： 基於資料元素值的查詢 BTreeNode<T>* find(const T&

資料結構開發(24)：二叉樹中屬性操作、層次遍歷與典型遍歷

0.目錄 1.二叉樹中屬性操作的實現 2.二叉樹結構的層次遍歷 3.二叉樹的典型遍歷方式 4.小結 1.二叉樹中屬性操作的實現 二叉樹的屬性操作： 二叉樹中結點的數目： 定義功能：count(node) 在 node 為根結點的二叉樹中統計結點數目 在

資料結構開發(25)：二叉樹中屬性操作、層次遍歷與典型遍歷

0.目錄 1.二叉樹的比較與相加 2.二叉樹的線索化實現 3.二叉樹的經典面試題分析 3.1 單度結點刪除 3.2 中序線索化二叉樹 4.小結 1.二叉樹的比較與相加 二叉樹的克隆操作： SharedPointer< BTree<T> > clone