ASP.NET讀取Excel中的資料轉存到資料庫(一)
阿新 • • 發佈:2019-02-12
【問題描述】
近日需要做一些資料倉庫的內容,發現數據庫搭好了以後,所有的資料檔案都是Excel儲存的。然而資料又是及其繁雜,所以在建立好了事實表和維度表以後,準備自己寫一個程式碼將Excel中多維的資料匯入到資料庫中。Excel表的部分資料如下圖所示
所以需要對資料進行處理,處理之後新增到資料庫中。
【準備工作】
首先需要找到從Excel讀取資料的程式碼。參考網址:http://www.jb51.net/article/34096.htm。程式碼如下:
(1)頁面上的程式碼
<div> <%-- 檔案上傳控制元件 用於將要讀取的檔案上傳 並通過此控制元件獲取檔案的資訊--%> <asp:FileUpload ID="fileSelect" runat="server" /> <%-- 點選此按鈕執行讀取方法--%> <asp:Button ID="btnRead" runat="server" Text="ReadStart" /> </div>
(2)後臺處理程式碼
//宣告變數(屬性) string currFilePath = string.Empty; //待讀取檔案的全路徑 string currFileExtension = string.Empty; //檔案的副檔名 //Page_Load事件 註冊按鈕單擊事件 protected void Page_Load(object sender,EventArgs e) { } //按鈕單擊事件 //裡面的3個方法將在下面給出 protected void btnRead_Click(object sender,EventArgs e) { Upload(); //上傳檔案方法 if(this.currFileExtension ==".xlsx" || this.currFileExtension ==".xls") { DataTable dt = ReadExcelToTable(currFilePath); //讀取Excel檔案(.xls和.xlsx格式) } else if(this.currFileExtension == ".csv") { DataTable dt = ReadExcelWidthStream(currFilePath); //讀取.csv格式檔案 } } ///<summary> ///上傳檔案到臨時目錄中 ///</ummary> private void Upload() { HttpPostedFile file = this.fileSelect.PostedFile; string fileName = file.FileName; string tempPath = System.IO.Path.GetTempPath(); //獲取系統臨時檔案路徑 fileName = System.IO.Path.GetFileName(fileName); //獲取檔名(不帶路徑) this.currFileExtension = System.IO.Path.GetExtension(fileName); //獲取檔案的副檔名 this.currFilePath = tempPath + fileName; //獲取上傳後的檔案路徑 記錄到前面宣告的全域性變數 file.SaveAs(this.currFilePath); //上傳 } ///<summary> ///讀取xls\xlsx格式的Excel檔案的方法 ///</ummary> ///<param name="path">待讀取Excel的全路徑</param> ///<returns></returns> private DataTable ReadExcelToTable(string path) { //連線字串 string connstring = "Provider=Microsoft.ACE.OLEDB.12.0;Data Source=" + path + ";Extended Properties='Excel 8.0;HDR=NO;IMEX=1';"; // Office 07及以上版本 不能出現多餘的空格 而且分號注意 //string connstring = Provider=Microsoft.JET.OLEDB.4.0;Data Source=" + path + ";Extended Properties='Excel 8.0;HDR=NO;IMEX=1';"; //Office 07以下版本 因為本人用Office2010 所以沒有用到這個連線字串 可根據自己的情況選擇 或者程式判斷要用哪一個連線字串 using(OleDbConnection conn = new OleDbConnection(connstring)) { conn.Open(); DataTable sheetsName = conn.GetOleDbSchemaTable(OleDbSchemaGuid.Tables,new object[]{null,null,null,"Table"}); //得到所有sheet的名字 string firstSheetName = sheetsName.Rows[0][2].ToString(); //得到第一個sheet的名字 string sql = string.Format("SELECT * FROM [{0}],firstSheetName); //查詢字串 OleDbDataAdapter ada =new OleDbDataAdapter(sql,connstring); DataSet set = new DataSet(); ada.Fill(set); return set.Tables[0]; } } ///<summary> ///讀取csv格式的Excel檔案的方法 ///</ummary> ///<param name="path">待讀取Excel的全路徑</param> ///<returns></returns> private DataTable ReadExcelWithStream(string path) { DataTable dt = new DataTable(); bool isDtHasColumn = false; //標記DataTable 是否已經生成了列 StreamReader reader = new StreamReader(path,System.Text.Encoding.Default); //資料流 while(!reader.EndOfStream) { string meaage = reader.ReadLine(); string[] splitResult = message.Split(new char[]{','},StringSplitOption.None); //讀取一行 以逗號分隔 存入陣列 DataRow row = dt.NewRow(); for(int i = 0;i<splitResult.Length;i++) { if(!isDtHasColumn) //如果還沒有生成列 { dt.Columns.Add("column" + i,typeof(string)); } row[i] = splitResult[i]; } dt.Rows.Add(row); //新增行 isDtHasColumn = true; //讀取第一行後 就標記已經存在列 再讀取以後的行時,就不再生成列 } return dt; }
【後續工作】
將Excel表存入到DataTable物件中,可以將讀取到的表格資料轉存到資料庫的事實表中。將所需要的時間、地域以及品種的ID值讀取以後,開始與Excel表中的資料一起存放到資料庫中。部分程式碼如下所示
int i, j; int region = 0; //獲取作物ID值 cropnumber = int.Parse(CropID.Text.ToString()); //獲得更新資料庫型別 if (mianji.Checked == true) //遇到播種面積時新增資料庫條目 { for(i=2;i<40;i++) //省份 { if (i == 3 || i == 9 || i == 13 || i == 21 || i == 28 || i == 34) //跳過空白區域 continue; //讀取地域ID值 string proname = exceldt.Rows[i][0].ToString().Replace(" ", ""); string sqlstr = "select Region_ID from [DimRegion] where Province_Name='" + proname + "'"; DataTable dt = new DataTable(); dt = BaseClass1.ReadTable(sqlstr); region = int.Parse(dt.Rows[0][0].ToString()); for(j=1;j<60;j++) //時間 { float area = float.Parse(exceldt.Rows[i][j].ToString()); string str = "insert into[FactCropProducts](Time_ID,Region_ID,Croptype_ID,Area) values(" + j + "," + region + "," + cropnumber + "," + area + ")"; BaseClass1.execsql(str); } } }
【後記】
這樣寫一個程式讀取Excel中的資料,大大節省了時間。但是還有幾個未解決的問題:
(1)如果Excel表第一個sheet的名字為中文名,第二個sheet為Sheet1。則使用上面的程式碼雖然是讀取第一個sheet的名稱,但是實際卻讀到的是Sheet1的內容。
(2)如果資料量巨大,需要的品種又多,這個程式碼就會有很大缺陷。就要一個一個輸入品種ID,然後一個一個Excel表進行匯入。浪費了人力也浪費了時間,所以這個程式碼的改進點還是不少的。