比正則快N倍的新姿勢，用Python替換字串
假期就要好好利用，不然怎麼卷死同齡人，今天給大家分享替換字串。
FlashText 演算法是由 Vikash Singh 於2017年發表的大規模關鍵詞替換演算法，這個演算法的時間複雜度僅由文字長度（N）決定，演算法時間複雜度為O（N）
而對於正則表示式的替換，演算法時間複雜度還需要考慮被替換的關鍵詞數量（M），因此時間複雜度為O（MxN）
簡而言之，基於FlashText演算法的字串替換比正則表示式替換快M倍以上，這個M是需要替換的關鍵詞數量，關鍵詞越多，FlashText演算法的優勢就越明顯
下面就給大家介紹如何在 Python 中基於 flashtext 模組使用 FlashText 演算法進行字串查詢和替換。
搞錯了，重來。
1.準備
請選擇以下任一種方式輸入命令安裝依賴：
- Windows 環境 開啟 Cmd (開始-執行-CMD)。
- MacOS 環境 開啟 Terminal (command+空格輸入Terminal)。
- 如果你用的是 VSCode編輯器 或 Pycharm，可以直接使用介面下方的Terminal.
pip install flashtext
2.基本使用
提取關鍵詞
一個最基本的提取關鍵詞的例子如下：
Python學習交流Q群：906715085### from flashtext import KeywordProcessor#1. 初始化關鍵字處理器 keyword_processor = KeywordProcessor() #2. 新增關鍵詞 keyword_processor.add_keyword('Big Apple', 'New York') keyword_processor.add_keyword('Bay Area') #3. 處理目標句子並提取相應關鍵詞 keywords_found = keyword_processor.extract_keywords('I love Big Apple and Bay Area.') #4. 結果 print(keywords_found) #['New York', 'Bay Area']
其中 add_keyword 的第一個引數代表需要被查詢的關鍵詞，第二個引數是給這個關鍵詞一個別名，如果找到了則以別名顯示。
替換關鍵詞
如果你想要替換關鍵詞，只需要呼叫處理器的 replace_keywords 函式：
from flashtext import KeywordProcessor #1. 初始化關鍵字處理器 keyword_processor = KeywordProcessor() #2. 新增關鍵詞 keyword_processor.add_keyword('New Delhi', 'NCR region') #3. 替換關鍵詞 new_sentence = keyword_processor.replace_keywords('I love Big Apple and new delhi.') #4. 結果 print(new_sentence) #'I love New York and NCR region.'
關鍵詞大小寫敏感
如果你需要精確提取，識別大小寫字母，那麼你可以在處理器初始化的時候設定 sensitive 引數:
from flashtext import KeywordProcessor #1. 初始化關鍵字處理器, 注意設定大小寫敏感(case_sensitive)為TRUE keyword_processor = KeywordProcessor(case_sensitive=True) #2. 新增關鍵詞 keyword_processor.add_keyword('Big Apple', 'New York') keyword_processor.add_keyword('Bay Area') #3. 處理目標句子並提取相應關鍵詞 keywords_found = keyword_processor.extract_keywords('I love big Apple and Bay Area.') #4. 結果 print(keywords_found) #['Bay Area']
標記關鍵詞位置
如果你需要獲取關鍵詞在句子中的位置，在 extract_keywords 的時候新增 span_info=True 引數即可：
from flashtext import KeywordProcessor #1. 初始化關鍵字處理器 keyword_processor = KeywordProcessor() #2. 新增關鍵詞 keyword_processor.add_keyword('Big Apple', 'New York') keyword_processor.add_keyword('Bay Area') #3. 處理目標句子並提取相應關鍵詞, 並標記關鍵詞的起始、終止位置 keywords_found = keyword_processor.extract_keywords('I love big Apple and Bay Area.', span_info=True) #4. 結果 print(keywords_found) #[('New York', 7, 16), ('Bay Area', 21, 29)]
獲取目前所有的關鍵詞
如果你需要獲取當前已經新增的所有關鍵詞，只需要呼叫處理器的 get_all_keywords 函式：
from flashtext import KeywordProcessor #1. 初始化關鍵字處理器 keyword_processor = KeywordProcessor() #2. 新增關鍵詞 keyword_processor.add_keyword('j2ee', 'Java') keyword_processor.add_keyword('colour', 'color') #3. 獲取所有關鍵詞 keyword_processor.get_all_keywords() #output: {'colour': 'color', 'j2ee': 'Java'}
批量新增關鍵詞
批量新增關鍵詞有兩種方法，一種是通過詞典，一種是通過陣列：
from flashtext import KeywordProcessor #1. 初始化關鍵字處理器 keyword_processor = KeywordProcessor() #2. （第一種）通過字典批量新增關鍵詞 keyword_dict = { "java": ["java_2e", "java programing"], "product management": ["PM", "product manager"] } keyword_processor.add_keywords_from_dict(keyword_dict) #2. （第二種）通過陣列批量新增關鍵詞 keyword_processor.add_keywords_from_list(["java", "python"]) #3. 第一種的提取效果如下 keyword_processor.extract_keywords('I am a product manager for a java_2e platform') #output ['product management', 'java']
單一或批量刪除關鍵詞
刪除關鍵詞也非常簡單，和新增類似：
from flashtext import KeywordProcessor #1. 初始化關鍵字處理器 keyword_processor = KeywordProcessor() #2. 通過字典批量新增關鍵詞 keyword_dict = { "java": ["java_2e", "java programing"], "product management": ["PM", "product manager"] } keyword_processor.add_keywords_from_dict(keyword_dict) #3. 提取效果如下 print(keyword_processor.extract_keywords('I am a product manager for a java_2e platform')) #['product management', 'java'] #4. 單個刪除關鍵詞 keyword_processor.remove_keyword('java_2e') #5. 批量刪除關鍵詞，也是可以通過詞典或者陣列的形式 keyword_processor.remove_keywords_from_dict({"product management": ["PM"]}) keyword_processor.remove_keywords_from_list(["java programing"]) #6. 刪除了java programing關鍵詞後的效果如下 keyword_processor.extract_keywords('I am a product manager for a java_2e platform') #['product management']
3.高階使用
支援額外資訊
前面提到在新增關鍵詞的時候第二個引數為其別名，其實你不僅可以指示別名，還可以將額外資訊放到第二個引數中：
from flashtext import KeywordProcessor #1. 初始化關鍵字處理器 kp = KeywordProcessor() #2. 新增關鍵詞並附帶額外資訊 kp.add_keyword('Taj Mahal', ('Monument', 'Taj Mahal')) kp.add_keyword('Delhi', ('Location', 'Delhi')) #3. 效果如下 kp.extract_keywords('Taj Mahal is in Delhi.') #[('Monument', 'Taj Mahal'), ('Location', 'Delhi')]
這樣，在提取關鍵詞的時候，你還能拿到其他一些你想要在得到此關鍵詞時輸出的資訊。
支援特殊單詞邊界
Flashtext 檢測的單詞邊界一般侷限於 \w [A-Za-z0-9_] 外的任意字元，但是如果你想新增某些特殊字元作為單詞的一部分也是可以實現的：
from flashtext import KeywordProcessor #1. 初始化關鍵字處理器 keyword_processor = KeywordProcessor() #2. 新增關鍵詞 keyword_processor.add_keyword('Big Apple') #3. 正常效果 print(keyword_processor.extract_keywords('I love Big Apple/Bay Area.')) #['Big Apple'] #4. 將 '/' 作為單詞一部分 keyword_processor.add_non_word_boundary('/') #5. 優化後的效果 print(keyword_processor.extract_keywords('I love Big Apple/Bay Area.')) #[]
4.結尾
個人認為這個模組已經滿足我們的基本使用了，如果你有一些該模組提供的功能之外的使用需求，可以給 flashtext 貢獻程式碼：
https://github.com/vi3k6i5/flashtext
附 FlashText 與正則相比 查詢關鍵詞 所花費的時間之比：
附 FlashText 與正則相比 替換關鍵詞 所花費的時間之比：
這篇文章到這裡就結束了，喜歡的話記得點贊收藏，有疑問的話記得評論留言。