文字清理：在自然語言處理中，儘管文字清理受所做的任務影響比較大，但是有一些通用的清理流程標準是通用的，比如是否有必要替換單位、貨幣、數學符號、數字。可以使用正則化工具將相應內容替換為標準內容。

工具：re(簡介）

輸入：原始文字

輸出：乾淨文字

單位替換

將文字中的單位替換為統一格式如：將4kgs、4kg統一替換為4 kg，將4k替換為4000，將$100或100$替換為100 dollar。

import random
import re
text = "I want to lose 4kgs in a month. What does 4k mean in a salary?What is the best way to make money with $100?"
 


# 單位
text = re.sub(r"(\d+)kgs ", lambda m: m.group(1) + ' kg ', text)        # e.g. 4kgs => 4 kg
text = re.sub(r"(\d+)kg ", lambda m: m.group(1) + ' kg ', text)         # e.g. 4kg => 4 kg
text = re.sub(r"(\d+)k ", lambda m: m.group(1) + '000 ', text)          # e.g. 4k => 4000
text = re.sub(r"\$(\d+)"
 
, lambda m: m.group(1) + ' dollar ', text)      # e.g. $100 => 100 dollar
text = re.sub(r"(\d+)\$", lambda m: m.group(1) + ' dollar ', text)      # e.g. 100$ => 100 dollar

text

'I want to lose 4 kg in a month. What does 4000 mean in a salary?What is the best way to make money with 100 dollar ?'

略縮詞替換

將文字中首字母略縮詞替換為完整單詞，如can’t、cannot替換為can not，'ve替換為have，c#替換為csharp等。

text = "Why India can't compete with China in manufacturing. What is the biggest scam you've ever seen? Why Should I Learn c#? "

# 略縮詞
text = re.sub(r"can\'t", "can not", text)
text = re.sub(r"cannot", "can not ", text)
text = re.sub(r"what\'s", "what is", text)
text = re.sub(r"What\'s", "what is", text)
text = re.sub(r"\'ve ", " have ", text)
text = re.sub(r"n\'t", " not ", text)
text = re.sub(r"i\'m", "i am ", text)
text = re.sub(r"I\'m", "i am ", text)
text = re.sub(r"\'re", " are ", text)
text = re.sub(r"\'d", " would ", text)
text = re.sub(r"\'ll", " will ", text)
text = re.sub(r"c\+\+", "cplusplus", text)
text = re.sub(r"c \+\+", "cplusplus", text)
text = re.sub(r"c \+ \+", "cplusplus", text)
text = re.sub(r"c#", "csharp", text)
text = re.sub(r"f#", "fsharp", text)
text = re.sub(r"g#", "gsharp", text)
text = re.sub(r" e mail ", " email ", text)
text = re.sub(r" e \- mail ", " email ", text)
text = re.sub(r" e\-mail ", " email ", text)
text = re.sub(r",000", '000', text)
text = re.sub(r"\'s", " ", text)

text

'Why India can not compete with China in manufacturing. What is the biggest scam you have ever seen? Why Should I Learn csharp? '

拼寫校對

如將ph.d、PhD替換為phd，去掉多餘空格，將縮寫替換為全拼、將阿拉伯數字替換為英文數字、將美元複數替換為單數等。

text = "ph.d PhD pokemons e g fb usa 1 2 3 googling rs1 dollars"

# 拼寫校對
text = re.sub(r"ph\.d", "phd", text)
text = re.sub(r"PhD", "phd", text)
text = re.sub(r"pokemons", "pokemon", text)
text = re.sub(r"pokémon", "pokemon", text)
text = re.sub(r"pokemon go ", "pokemon-go ", text)
text = re.sub(r" e g ", " eg ", text)
text = re.sub(r" b g ", " bg ", text)
text = re.sub(r" 9 11 ", " 911 ", text)
text = re.sub(r" j k ", " jk ", text)
text = re.sub(r" fb ", " facebook ", text)
text = re.sub(r"facebooks", " facebook ", text)
text = re.sub(r"facebooking", " facebook ", text)
text = re.sub(r"insidefacebook", "inside facebook", text)
text = re.sub(r"donald trump", "trump", text)
text = re.sub(r"the big bang", "big-bang", text)
text = re.sub(r"the european union", "eu", text)
text = re.sub(r" usa ", " america ", text)
text = re.sub(r" us ", " america ", text)
text = re.sub(r" u s ", " america ", text)
text = re.sub(r" U\.S\. ", " america ", text)
text = re.sub(r" US ", " america ", text)
text = re.sub(r" American ", " america ", text)
text = re.sub(r" America ", " america ", text)
text = re.sub(r" quaro ", " quora ", text)
text = re.sub(r" mbp ", " macbook-pro ", text)
text = re.sub(r" mac ", " macbook ", text)
text = re.sub(r"macbook pro", "macbook-pro", text)
text = re.sub(r"macbook-pros", "macbook-pro", text)
text = re.sub(r" 1 ", " one ", text)
text = re.sub(r" 2 ", " two ", text)
text = re.sub(r" 3 ", " three ", text)
text = re.sub(r" 4 ", " four ", text)
text = re.sub(r" 5 ", " five ", text)
text = re.sub(r" 6 ", " six ", text)
text = re.sub(r" 7 ", " seven ", text)
text = re.sub(r" 8 ", " eight ", text)
text = re.sub(r" 9 ", " nine ", text)
text = re.sub(r"googling", " google ", text)
text = re.sub(r"googled", " google ", text)
text = re.sub(r"googleable", " google ", text)
text = re.sub(r"googles", " google ", text)
text = re.sub(r" rs(\d+)", lambda m: ' rs ' + m.group(1), text)
text = re.sub(r"(\d+)rs", lambda m: ' rs ' + m.group(1), text)
text = re.sub(r"the european union", " eu ", text)
text = re.sub(r"dollars", " dollar ", text)

text

'phd phd pokemon eg facebook america one two three  google  rs 1  dollar '

標點處理

在標點兩旁加上空格、去除標點’。

text = "1+1=2 What is the biggest scam you have ever seen?I am learning csharp?"

# 標點處理
text = re.sub(r"\+", " + ", text)
text = re.sub(r"'", " ", text)
text = re.sub(r"-", " - ", text)
text = re.sub(r"/", " / ", text)
text = re.sub(r"\\", " \ ", text)
text = re.sub(r"=", " = ", text)
text = re.sub(r"\^", " ^ ", text)
text = re.sub(r":", " : ", text)
text = re.sub(r"\.", " . ", text)
text = re.sub(r",", " , ", text)
text = re.sub(r"\?", " ? ", text)
text = re.sub(r"!", " ! ", text)
text = re.sub(r"\"", " \" ", text)
text = re.sub(r"&", " & ", text)
text = re.sub(r"\|", " | ", text)
text = re.sub(r";", " ; ", text)
text = re.sub(r"\(", " ( ", text)
text = re.sub(r"\)", " ( ", text)

text

'1 + 1 = 2 What is the biggest scam you have ever seen ? I am learning csharp ? '

符號替換

將邏輯符號替換為單詞。

text = "1   + 1 =   2   ₹    "

# 符號替換
text = re.sub(r"&", " and ", text)
text = re.sub(r"\|", " or ", text)
text = re.sub(r"=", " equal ", text)
text = re.sub(r"\+", " plus ", text)
text = re.sub(r"₹", " rs ", text)      # 測試！
text = re.sub(r"\$", " dollar ", text)

text

'1    plus  1  equal    2    rs     '

移除多餘空格

# 移除多餘空格
text = ' '.join(text.split())

text

'1 plus 1 equal 2 rs'

所有程式碼

def clean_text(text):
    """
    Clean text
    :param text: the string of text
    :return: text string after cleaning
    """
    # unit
    text = re.sub(r"(\d+)kgs ", lambda m: m.group(1) + ' kg ', text)        # e.g. 4kgs => 4 kg
    text = re.sub(r"(\d+)kg ", lambda m: m.group(1) + ' kg ', text)         # e.g. 4kg => 4 kg
    text = re.sub(r"(\d+)k ", lambda m: m.group(1) + '000 ', text)          # e.g. 4k => 4000
    text = re.sub(r"\$(\d+)", lambda m: m.group(1) + ' dollar ', text)
    text = re.sub(r"(\d+)\$", lambda m: m.group(1) + ' dollar ', text)

    # acronym
    text = re.sub(r"can\'t", "can not", text)
    text = re.sub(r"cannot", "can not ", text)
    text = re.sub(r"what\'s", "what is", text)
    text = re.sub(r"What\'s", "what is", text)
    text = re.sub(r"\'ve ", " have ", text)
    text = re.sub(r"n\'t", " not ", text)
    text = re.sub(r"i\'m", "i am ", text)
    text = re.sub(r"I\'m", "i am ", text)
    text = re.sub(r"\'re", " are ", text)
    text = re.sub(r"\'d", " would ", text)
    text = re.sub(r"\'ll", " will ", text)
    text = re.sub(r"c\+\+", "cplusplus", text)
    text = re.sub(r"c \+\+", "cplusplus", text)
    text = re.sub(r"c \+ \+", "cplusplus", text)
    text = re.sub(r"c#", "csharp", text)
    text = re.sub(r"f#", "fsharp", text)
    text = re.sub(r"g#", "gsharp", text)
    text = re.sub(r" e mail ", " email ", text)
    text = re.sub(r" e \- mail ", " email ", text)
    text = re.sub(r" e\-mail ", " email ", text)
    text = re.sub(r",000", '000', text)
    text = re.sub(r"\'s", " ", text)

    # spelling correction
    text = re.sub(r"ph\.d", "phd", text)
    text = re.sub(r"PhD", "phd", text)
    text = re.sub(r"pokemons", "pokemon", text)
    text = re.sub(r"pokémon", "pokemon", text)
    text = re.sub(r"pokemon go ", "pokemon-go ", text)
    text = re.sub(r" e g ", " eg ", text)
    text = re.sub(r" b g ", " bg ", text)
    text = re.sub(r" 9 11 ", " 911 ", text)
    text = re.sub(r" j k ", " jk ", text)
    text = re.sub(r" fb ", " facebook ", text)
    text = re.sub(r"facebooks", " facebook ", text)
    text = re.sub(r"facebooking", " facebook ", text)
    text = re.sub(r"insidefacebook", "inside facebook", text)
    text = re.sub(r"donald trump", "trump", text)
    text = re.sub(r"the big bang", "big-bang", text)
    text = re.sub(r"the european union", "eu", text)
    text = re.sub(r" usa ", " america ", text)
    text = re.sub(r" us ", " america ", text)
    text = re.sub(r" u s ", " america ", text)
    text = re.sub(r" U\.S\. ", " america ", text)
    text = re.sub(r" US ", " america ", text)
    text = re.sub(r" American ", " america ", text)
    text = re.sub(r" America ", " america ", text)
    text = re.sub(r" quaro ", " quora ", text)
    text = re.sub(r" mbp ", " macbook-pro ", text)
    text = re.sub(r" mac ", " macbook ", text)
    text = re.sub(r"macbook pro", "macbook-pro", text)
    text = re.sub(r"macbook-pros", "macbook-pro", text)
    text = re.sub(r" 1 ", " one ", text)
    text = re.sub(r" 2 ", " two ", text)
    text = re.sub(r" 3 ", " three ", text)
    text = re.sub(r" 4 ", " four ", text)
    text = re.sub(r" 5 ", " five ", text)
    text = re.sub(r" 6 ", " six ", text)
    text = re.sub(r" 7 ", " seven ", text)
    text = re.sub(r" 8 ", " eight ", text)
    text = re.sub(r" 9 ", " nine ", text)
    text = re.sub(r"googling", " google ", text)
    text = re.sub(r"googled", " google ", text)
    text = re.sub(r"googleable", " google ", text)
    text = re.sub(r"googles", " google ", text)
    text = re.sub(r" rs(\d+)", lambda m: ' rs ' + m 
 

            
  
           

              
              
            
            
相關推薦
			   
            
            
            
 

    

    
    
[NLP]預處理--使用re正則化進行文字清理
     
 
							
							
							文字清理：在自然語言處理中，儘管文字清理受所做的任務影響比較大，但是有一些通用的清理流程標準是通用的，比如是否有必要替換單位、貨幣、數學符號、數字。可以使用正則化工具將相應內容替換為標準內容。
工具：re(簡介）
輸入：原始文字
輸出：乾淨文字

單位替換
將文 

  
 

    

    
    
神經網路資料預處理，正則化與損失函式
     
 

1. 引言

上一節我們講完了各種激勵函式的優缺點和選擇，以及網路的大小以及正則化對神經網路的影響。這一節我們講一講輸入資料預處理、正則化以及損失函式設定的一些事情。
2. 資料與網路的設定

前一節提到前向計算涉及到的元件(主要是神經元)設定。神經網路結構和引數設定完畢之後，我們就得到得分 

  
 

    

    
    
CNN for Visual Recognition（6）-lecture5預處理、正則化、損失函式
     
 
							
							
							
  本節主要講了資料預處理、正則化以及損失函式




資料預處理

關於資料預處理我們有3種常用的方式，假設資料矩陣X，假設其尺寸是[N,D]（N是資料樣本的數量，D是資料的維度）。



去均值

去均值是預處理最常見的。對待訓練的每一張圖片的特徵，都減去 

  
 

    

    
    
【轉】關於使用sklearn進行資料預處理 —— 歸一化/標準化/正則化
     
  
 
 一、標準化（Z-Score），或者去除均值和方差縮放
 公式為：(X-mean)/std  計算時對每個屬性/每列分別進行。
 將資料按期屬性（按列進行）減去其均值，並處以其方差。得到的結果是，對於每個屬性/每列來說所有資料都聚集在0附近，方差為1。
 
 實現時，有兩種不同的方式：
 
 

  
 

    

    
    
關於使用sklearn進行資料預處理 —— 歸一化/標準化/正則化
     
 
                一、標準化（Z-Score），或者去除均值和方差縮放

公式為：(X-mean)/std  計算時對每個屬性/每列分別進行。

將資料按期屬性（按列進行）減去其均值，並處以其方差。得到的結果是，對於每個屬性/每列來說所有資料都聚集在0附近，方差為1。

實現時，有兩種不同的方 

  
 

    

    
    
使用sklearn進行資料預處理 —— 歸一化/標準化/正則化
     
 
                
本文主要是對照scikit-learn的preprocessing章節結合程式碼簡單的回顧下預處理技術的幾種方法，主要包括標準化、資料最大最小縮放處理、正則化、特徵二值化和資料缺失值處理。內容比較簡單，僅供參考！

首先來回顧一下下面要用到的基本知識。


均值公式：


 

  
 

    

    
    
資料預處理——標準化、歸一化、正則化
     
 三者都是對資料進行預處理的方式，目的都是為了讓資料便於計算或者獲得更加泛化的結果，但是不改變問題的本質。 
標準化（Standardization） 
歸一化（normalization） 
正則化（regularization） 
歸一化 
我們在對資料進行分析的時候，往往會遇到單個數據的各個維度量綱不同的 

  
 

    

    
    
【Python資料預處理】 歸一化（按列減均值，除方差），標準化（按列縮放到指定範圍），正則化（範數）
     
 
                

一、標準化（Z-Score），或者去除均值和方差縮放

公式為：(X-mean)/std  計算時對每個屬性/每列分別進行。

將資料按期屬性（按列進行）減去其均值，並處以其方差。得到的結果是，對於每個屬性/每列來說所有資料都聚集在0附近，方差為1。

實現時，有兩種不同 

  
 

    

    
    
資料預處理中歸一化（Normalization）與損失函式中正則化（Regularization）解惑
     
 
                

背景：資料探勘/機器學習中的術語較多，而且我的知識有限。之前一直疑惑正則這個概念。所以寫了篇博文梳理下

摘要：

　　1.正則化（Regularization）

　　　　1.1 正則化的目的　

　　　　1.2 結構風險最小化（SRM）理論

　　　　1.3 L1範數 

  
 

    

    
    
資料預處理 —— 歸一化/標準化/正則化
     
 
                

一、標準化（Z-Score），或者去除均值和方差縮放

公式為：(X-mean)/std  計算時對每個屬性/每列分別進行。

將資料按期屬性（按列進行）減去其均值，並處以其方差。得到的結果是，對於每個屬性/每列來說所有資料都聚集在0附近，方差為1。

實 

  
 

    

    
    
Python資料預處理—歸一化，標準化，正則化
     
 >>> X_train = np.array([[ 1., -1., 2.],
... [ 2., 0., 0.],
... [ 0., 1., -1.]])
...
>>> min_max_scaler = preprocessing.MinMaxScaler()
> 

  
 

    

    
    
深度學習小白——神經網路3（資料預處理，dropout，正則化）
     
 
                
一、資料預處理
資料矩陣X，維度是【N*D】N是資料樣本數，D是資料維度
1.均值減法
它對資料中每個獨立特徵減去平均值，從幾何上可以理解為在每個維度上都將資料雲的中心都遷移到原點
X-=np.mean(X,axis=0)
2.歸一化
先對資料做零中心化，然後每個維度都除以 

  
 

    

    
    
單細胞數據初步處理 | drop-seq | QC | 質控 | 正則化 normalization
     
 procedure   out   glm   技術分享   its   unique   quit   only   reg   比對
The raw Drop-seq data was processed with the standard pipeline (Drop-seq tools versio 

  
 

    

    
    
Python正則表示式做文字預處理，去掉特殊符號
     
  
 
 在進行文字訓練和處理之前難免要進行下預處理，過濾掉沒有用的符號等，簡單用python 的正則表示式過濾一下。 
 #!/usr/bin/python
# encoding: UTF-8
import re

# make English text clean
def clean_en_text(te 

  
 

    

    
    
Word中使用正則表示式進行查詢和替換（高效進行文書處理）
     
  
 
 術語 
 開始前，我們先定義一對術語： 
 
  萬用字元指的是您可以用來代表一個或多個字元的鍵盤字元。例如，星號 (*) 通常代表一個或多個字元，問號 (?) 通常代表單個字元。 
  對我們來說，正則表示式指的是您可以用來查詢和替換文字模式的文字字元和萬用字元組合。文字字元指的是必須存在於目標文 

  
 

    

    
    
影象處理能量泛函優化——L1範數正則化項，軟閾值公式
     
  
  
  
 接上篇更新的L2範數求解的問題，接著講L1範數更新的問題 L1範數正則化項又稱為拉布拉斯先驗。帶有L1正則化項的問題是圖問題，求解相對簡單，具有閉式解。其求解就是著名的軟閾值公式。 
 問題 
 
     
      
       
        
         
        

  
 

    

    
    
正則化與萬用字元便於查詢和替換批量處理，使用在word，notepad++等文字編輯器中
     
 
                我們常常使用查詢替換的方式來處理相關資料，可是當你要批量替換隻用一些相同字元分文字時，就會顯得很笨拙。

比如：

    Line 5974: DI 10.13182/NT96-A15844
    Line 6078: DI 10.1109/ISIC.1996.55623 

  
 

    

    
    
漢語言處理工具pyhanlp的拼音轉換與字元正則化
     
 
                                                        開發十年，就只剩下這套架構體系了！
>>>   
                                        
              

  
 

    

    
    
正則化筆記
     
 等等   平滑   等價   算子   稀疏   比較   orm   數據   解釋       吉譜斯現象Gibbs（又叫吉譜斯效應）： 用有限項傅裏葉級數表示有間斷點的信號時，在間斷點附近不可避免的會出現振蕩和超量。超量的幅度不會隨所取項數的增加而減小。只是隨著項數的增多，振蕩頻率變高，並向間斷點處壓縮 

  
 

    

    
    
3.2 re--正則表達式操作（Regular expression operations）
     
 rac   code   trac   ont   性能   font   reg   解決   字符串查找   
本模塊提供了正則表達式的匹配操作，它的功能跟Perl語言裏的功能一樣。 不管是Unicode字符串還是單字節8位組成的字符串，都能夠使用模式匹配和字符串查找的功能。只是要註意的是Unicode字