1. 程式人生 > >MATLAB文字檔案讀寫

MATLAB文字檔案讀寫

一. 基本知識:
1. 二進位制檔案與文字檔案的區別:
    將檔案看作是由一個一個位元組(byte) 組成的,那麼文字檔案中的每個位元組的最高位都是0,也就是說文字檔案使用了一個位元組中的七位來表示所有的資訊,而二進位制檔案則是將位元組中的所有位都用上了。這就是兩者的區別;接著,第二個問題就是檔案按照文字方式或者二進位制方式開啟,兩者會有什麼不同呢?其實不管是二進位制檔案也好,還是文字檔案也好,都是一連串的0和1,但是開啟方式不同,對於這些0和1的處理也就不同。如果按照文字方式開啟,在開啟的時候會進行translate,將每個位元組轉換成ASCII碼,而以按照二進位制方式開啟的話,則不會進行任何的translate;最後就是文字檔案和二進位制檔案在編輯的時候,使用的方式也是不同的。譬如,你在記事本中進行文字編輯的時候,你進行編輯的最小單位是位元組(byte);而對二進位制檔案進行編輯的話,最小單位則是位(bit),當然我們都不會直接通過手工的方式對二進位制檔案進行編輯了。
    從檔案編碼的方式來看,檔案可分為ASCII碼檔案和二進位制碼檔案兩種:
    ASCII檔案也稱為文字檔案,這種檔案在磁碟中存放時每個字元對應一個位元組,用於存放對應的ASCII碼。例如,數5678的儲存形式為:   
   ASCII碼: 00110101   00110110   00110111   00111000   
                  ↓        ↓      ↓         ↓
  十進位制碼:       5     6         7       8   

共佔用4個位元組。ASCII碼檔案可在螢幕上按字元顯示,例如源程式

檔案就是ASCII檔案,用DOS命令TYPE可顯示檔案的內容。由於是按字元顯示,因此能讀懂檔案內容。
    二進位制檔案是按二進位制的編碼方式來存放檔案的。例如,數5678的儲存形式為:00010110   00101110 只佔二個位元組。二進位制檔案雖然也可在螢幕上顯示,但其內容無法讀懂。C系統在處理這些檔案時,並不區分類型,都看成是字元流,按位元組進行處理。輸入輸出字元流的開始和結束只由程式控制而不受物理符號(如回車符)的控制。因此也把這種檔案稱作“流式檔案”。  

2. 文字模式(textmode)和二進位制模式(binarymode)有什麼區別?   

    流可以分為兩種型別:文字流和二進位制流。文字流是解釋性的,最長可達255個字元,其中回車/換行將被轉換為換行符“\n”,(如果以"文字"方式開啟一個檔案,那麼在讀字元的時候,系統會把所有的"\r\n"序列轉成"\n",在寫入時把"\n"轉成"\r\n" )。二進位制流是非解釋性的,一次處理一個字元,並且不轉換字元。

注:  

      \n一般會作業系統被翻譯成"行的結束",即LF(Line-Feed)
      \r會被翻譯成"回車",即CR(Cariage-Return)
      對於文字檔案的新行,在UNIX上,一般用\n(LF)來表示,Mac上用\r(CR)來表示,
      Windows上是用\n\r(CR-LF)來表示。        

        
    通常,文字流用來讀寫標準的文字檔案,或者將字元輸出到螢幕或印表機,或者接受鍵盤的輸入;而二進位制流用來讀寫二進位制檔案(例如圖形或字處理文件),或者讀取滑鼠輸入,或者讀寫調變解調器。如果用文字方式開啟二進位制檔案,會把“0D   0A”自動變換成“\n”來存在記憶體中。寫入的時候反向處理。而二進位制方式開啟的話,就不會有這個過程。但是,Unicode/UTF/UCS格式

的檔案,必須用二進位制方式開啟和讀寫。
   簡言之,對使用者來說:在 matlab 中儲存成為二進位制還是文字檔案取決於fopen的方式,如果用wt,則儲存為文字檔案,這樣用記事本開啟就可以正常顯示了;如果用w則儲存為二進位制檔案,這樣用記事本開啟會出現小黑方塊,要正常顯示的話,可以用寫字板或UltraEdit等工具開啟。

二. Matlab的I/O檔案操作使用技巧和總結:


1. Matlab 支援的I/O檔案(對應“取/存”操作)型別:(所有檔案I/O程式不需要特殊的工具箱
http://www.mathworks.com/support/tech-notes/1100/1102.html

(注:從上表可以看到,matlab不支援doc格式的文件存取(因為doc文件包含很多格式控制符),請改用txt或者dat格式)

2. Matlab 的I/O檔案指南:
http://www.mathworks.com/support/tech-notes/1600/1602.html


以下是部分對應的中文譯文:
本技術支援指南主要處理:ASCII, binary, and MAT files.
要得到MATLAB中可用來讀寫各種檔案格式的完全函式列表,可以鍵入以下命令:
help iofun

MATLAB中有兩種檔案I/O程式:high level and low level.
High level routines: 包括現成的函式,可以用來讀寫特殊格式的資料,並且只需要少量的程式設計
Low level routines: 可以更加靈活的完成相對特殊的任務,需要較多的額外程式設計。

High level routines 包括現成的函式,可以用來讀寫特殊格式的資料,並且只需要少量的程式設計。

舉個例子,如果你有一個包含數值和字母的文字檔案(text file)想匯入MATLAB,你可以呼叫一些low level routines自己寫一個函式,或者是簡單的用TEXTREAD函式。


使用high level routines的關鍵是:檔案必須是相似的(homogeneous),換句話說,檔案必須有一致的格式。下面的段落描述一些high level file I/O routines並給出一些例子幫助理解概念。


LOAD/SAVE


主要的high level file I/O routines 是LOAD SAVE函式。LOAD
可以讀MAT-file data或者用空格間隔的格式相似的ASCII data. SAVE可以將MATLAB變數寫入MAT-file格式或者空格間隔的ASCII data。大多數情況下,語法相當簡單。下面的例子用到數值由空格間隔的ASCII file
sample_file.txt


1 5 4 16 8

5 43 2 6 8

6 8 4 32 1

90 7 8 7 6

5 9 81 2 3


Example:
用 LOAD and SAVE 讀寫資料


CODE:
% Load the file to the matrix, M :
M = load('sample_file.txt')

% Add 5 to M :
M = M +5

% Save M to a .mat file called 'sample_file_plus5.mat':
save sample_file_plus5 M

% Save M to an ASCII .txt file called 'sample_file_plus5.txt' :
save sample_file_plus5.txt M -ascii

UIGETFILE/UIPUTFILE


UIGETFILE/UIPUTFILE是基於圖形使用者介面GUI)的。會彈出對話方塊,列出當前目錄的檔案和目錄,提示你選擇一個檔案。UIGETFILE讓你選擇一個檔案來寫(類似Windows ‘另存為’選項?)。用UIGETFILE,可以選擇已存在的檔案改寫,也可以輸入新的檔名。兩個函式的返回值是所選檔名和路徑。


Example:
用 UIGETFILE 從當前目錄選擇一個 M-file

CODE:
% This command lists all the M-files in the current directory and
% returns the name and path of the selected file

[fname,pname] = uigetfile('*.m','Sample Dialog Box')

注意: UIGETFILE 一次只能選擇一個檔案。


UIIMPORT/IMPORTDATA


UIIMPORT是一個功能強大,易於使用的基於GUI的high level routine,用於讀complex data files。檔案也必須是homogeneous。

IMPORTDATA形成UIIMPORT的功能,不開啟GUI。可以將IMPORTDATA用於函式或者指令碼中,因為在函式或者指令碼中基於GUI的檔案匯入機制並不理想。下面的例子用到包含幾行檔案頭和文字、數值資料的檔案'sample_file2.txt'


This is a file header.

This is file is an example.

col1 col2 col3 col4

A    1   4    612.000

B    1   4    613.000

C    1   4    614.000

D    1   4    615.000


Example: Using IMPORTDATA to read in a file with headers, text, and numeric data

CODE:
% This reads in the file 'sample_file2.txt' and creates a
% structure D that contains both data and text data.
% Note the IMPORTDATA command specifies a white space
% as the delimiter of the file, but IMPORTDATA can usually
% detect this on its own
D = importdata('sample_file2.txt')

可以通過訪問結構D的資料和文字域,來看結構D中的真實值,例如輸入:

data = D.data

text = D.textdata


可以用UIIMPORT讀同一個檔案並得到同樣的結構.

注意: 對於 ASCII data, 你必須檢驗匯入嚮導正確的識別了列分隔符。


TEXTREAD/STRREAD


TEXTREAD 是一個強大的動態high level routine,設計用來讀ASCII格式的文字和/或數值資料檔案。STRREAD除是從字串而不是檔案讀以外,類似於TEXTREAD


兩個函式可以用許多引數來改變其具體的工作方式,他們返回讀入指定輸出的資料。他們有效的提供給你一個
“兩全其美”的方法,因為他們可以用一個命令讀入混合的ASCII和數值資料(high level routines的做法),並且你可以改變他們以匹配你特定的應用(如同low level routines做到的)。例子:

CODE:
Example 1: Using TEXTREAD to read in an entire file into a cell array
% This command reads in the file fft.m into the cell array, file
file = textread('fft.m','%s','delimiter','\n','whitespace','');
CODE:
Example 2: Using STRREAD to read the words in a line
% This command uses the cell array created in Example 1 to
% read in each word of line 28 in 'file' to a cell array, words
words = strread(file{28},'%s','delimiter','')


CODE:
Example 3: Using TEXTREAD to read in text and numeric data from a file with headers
% This command skips the 2 header lines at the top of the file
% and reads in each column to the 4 specified outputs
[c1 c2 c3 c4] = textread('sample_file2.txt','%s %s %s %s','headerlines',2)

CODE:
Example 4: Using TEXTREAD to read in specific rows of text and numeric data from a file
% This command reads in rows B and C of the file. The 'headerlines'
% property is used to move down to the desired starting row and the
% read operation is performed 2 times

[c1 c2 c3 c4] = textread('sample_file2.txt',...
'%s %s %s %s',2,'headerlines',4)

CODE:
Example 5: Using TEXTREAD to read in only the numeric data from a file containing text and numbers
% This command reads in only the numeric data in the file. The
% 'headerlines' property is used to move down to the first row
% of interest and the first column of text is ignored with the
% '*'  operator
[c2 c3 c4] = textread('sample_file2.txt','%*s %d %d %f','headerlines',3)

DLMREAD/DLMWRITE/CSVREAD


DLMREAD DLMWRITE函式能夠讀寫分隔的ASCII data,而不是用low level routines。他們比low level routines容易使用,Low level routines用幾行程式碼實現的功能可以用DLMREAD/DLMWRITE簡化成一行。


CODE:
Example 1: Using DLMREAD to read in a file with headers, text, and numeric data
% This reads in the file 'sample_file2.txt' and creates a matrix, D,
% with the numeric data this command specifies a white space as the
% delimiter of the file

D = dlmread('sample_file.txt','')

CODE:
Example 2: Using DLMREAD to extract the first 3 columns of the last 3 rows
% This reads in the first 3 columns of the last 3 rows of
% the data file 'sample_file.txt'into the matrix, D_partial.
% 讀檔案 'sample_file.txt' 前3列後3行,到矩陣D_partial.
D_partial = dlmread('sample_file.txt','',[2 0 4 2])

CODE:
Example 3: Using DLMWRITE to write a comma delimited file
% This creates a file called 'partialD.txt' that consists of
% the first 3 columns of the last 3 rows of data where each
% element is separated by a comma
dlmwrite('partialD.txt',D_partial,',')

注意: 保證DLMREAD and DLMWRITE指定範圍的指標從0開始,而不是從1開始。


WK1READ/WK1WRITE

WK1READ 用來讀Lotus123 電子資料表文件的資料;WK1WRITE用來寫矩陣到Lotus123 電子資料表文件。

XLSREAD

XLSREAD用來讀Excel的數值和文字資料。

三. 具體例子分析:
Matlab網站用兩個例子非常詳盡地介紹了各個命令的基本用法,實際中,面對手頭上的資料,如何選用合適的命令呢?以下結合幾個示例給出一些總結,大家舉一反三就可以了:

1. 純資料(列數相同):
原始檔:
CODE:

0 3866.162 2198.938 141.140
1 3741.139 2208.475 141.252
2 3866.200 2198.936 141.156
3 3678.048 2199.191 141.230
4 3685.453 2213.726 141.261
5 3728.769 2212.433 141.277
6 3738.785 2214.381 141.256
7 3728.759 2214.261 141.228
8 3748.886 2214.299 141.243
9 3748.935 2212.417 141.253
10 3733.612 2226.653 141.236
11 3733.583 2229.248 141.223
12 3729.229 2229.118 141.186

解答:對於這個txt檔案,由於各行列數相同,故簡單地使用load,importdata均可。

2.欄位名(中、英文欄位均可)+資料:
原始檔:

CODE:
CH0 CH1 CH2 CH3
0.000123 0.000325 0.000378 0.000598
0.000986 0.000256 0.000245 0.000698

解答:由於是記錄的形式,因此各行列數必相同(缺少部分列時請自行在檔案中補上 Inf 或 NaN),故直接使用 importdata 便可。

3.註釋(含有獨立的數字串)+資料(列數相同):
問題:這個檔案有4列,但前6行是文字說明,4列數字是從第8行開始的.現在我想把這個檔案的前2列和文字說明提出來組成一個新的dat檔案
原始檔:

CODE:
Group 2  12.02.2006   Limei
Samples of datas: 50000

CH0  CH1  CH2  CH3
0.000123  0.000325   0.000378   0.000598
0.000986  0.000256   0.000245   0.000698

目標檔案:

CODE:
Group 2 12.02.2006 Limei
Samples of datas: 50000

CH0 CH1
0.000123 0.000325
0.000986 0.000256


解答:由於註釋中含有獨立的數字串,且註釋部分沒有明顯的格式,這時候用importdata, load等高階命令直接讀取會失敗,用 textread, dlmwrite 等格式化命令也不太合適,因此只能使用低階命令進行讀取。(當然了,可以跳過註釋部分直接用高階命令讀取資料,即:[a b c d] = textread(filename,'%f %f %f %f','headerlines',4); )。一個簡單的、非通用的包含註釋的讀取方法如下:

CODE:
clc;clear;
fid = fopen('exp.txt', 'r');
fid_n=fopen('ex.dat','w');
while ~feof(fid)
    tline=fgetl(fid);
    if ~isempty(tline)
        if double(tline(1))>=48 && double(tline(1))<=57  %數值開始
            a=strread(tline);
            a(3:4)=[];
            fprintf(fid_n,'%f %f\n',a);
            clear a;
        elseif double(tline(1))==67   %字母C開始
           [b1,b2,b3,b4]=strread(tline,'%s %s %s %s');
           b=[b1{1},'  ',b2{1}];
            fprintf(fid_n,'%s\n',b);
            clear b b1 b2 b3 b4;
        else
            fprintf(fid_n,'%s\n',tline);
        end
    else
        fprintf(fid_n,'%s\n',tline);
    end
end
fclose(fid);
fclose(fid_n);

4. 註釋(不含獨立的數字串)+資料(列數相同):
原始檔:

CODE:
你好 abc
歡迎來到 新浪部落格
blog.sina.com.cn
1 11 111 1111
2 22 222 2222
3 33 333 3333
4 44 444 4444
5 55 555 5555

解答:直接用 importdata 便可
注:有時候註釋中含有獨立的數字串也可以 importdata 成功,不過得到的結果有可能不正確,建議這時候使用第3種情形的讀取方式。

5. 註釋與資料混排:
對此當然只能自己程式設計,舉例:
原始檔

CODE:
1 11 111 1111
你好
2 22 222 2222
歡迎來到
3 33 333 3333
新浪部落格
4 44 444 4444
blog.sina.com.cn
5 55 555 5555


解答:

CODE:
function [data]=distilldata(infile)
%功能說明:
%將儲存資料的原始檔案中的數值資料讀入到一個data變數中
%使用說明:
% infile——原始資料檔名;
% data=資料變數

tmpfile='tmp2.mat';
fidin=fopen(infile,'r'); % 開啟原始資料檔案(.list)
fidtmp=fopen(tmpfile,'w'); % 建立儲存資料檔案(不含說明文字)
while ~feof(fidin) % 判斷是否為檔案末尾
  tline=fgetl(fidin); % 從檔案讀入一行文字(不含回車鍵)
  if ~isempty(tline) % 判斷是否空行
    [m,n]=size(tline);
    flag=1;
    for i=1:n %判斷一行中有沒有字元(+-.Ee和空格鍵除外)
      if ~(tline(i)==' '|tline(i)=='-'|tline(i)=='.'|tline(i)=='E'...
          |tline(i)=='e'|tline(i)=='+'...
          |(double(tline(i))>=48&&double(tline(i))<=57))
        flag=0;
        break;
      end
    end
    if flag==1 % 如果是數字行,把此行資料寫入檔案
      fprintf(fidtmp,'%s\n',tline);
    end
  end
end

fclose(fidin);
fclose(fidtmp);
data=textread(tmpfile);
delete(tmpfile);

另外,如果要求不高,也可以使用 textread 函式跳過註釋部分進行讀取,不過前提是需要事先知道檔案內容的結構(即哪行是資料、哪行是註釋)

6.各列資料的分離:
原始檔:

CODE:
           0 +  47038.7   1.05  09:26:07  C
           2 +  46477.7   1.03  09:28:38  C  
           4 +  44865.7   1.04  09:28:48  C  
           6 +  41786.4   1.03  09:28:56  C  
           8 +  39896.0   0.97  09:29:03  C  
          10 +  37518.4   0.93  09:29:15  C  
          12 +  35858.5   0.92  09:29:30  C  
          14 +  46105.0   1.03  09:30:21  C