90 行 Python 搭一個音樂搜索工具【附代碼】
讀完之後發現其中的原理並不十分復雜，但是方法對噪音的健壯性卻非常好，出於好奇決定自己用python自己實現了一個簡單的音樂搜索工具—— Song Finder, 它的核心功能被封裝在SFEngine 中，第三方依賴方面只使用到了 scipy。
工具demo
這個demo在ipython下展示工具的使用，本項目名稱為Song Finder,我把索引、搜索的功能全部封裝在Song Finder中的SFEngine中。
首先是簡單的準備工作：
In [1]: from SFEngine import *In [2]: engine = SFEngine()
In [3]: engine.index(‘original‘) # 索引該目錄下的所有歌曲
在完成索引之後我們向Song Finder提交一段有背景噪音的歌曲錄音進行搜索。對於這段《楓》在1分15秒左右的錄音：
工具的返回結果是：
其中展示的分別是歌曲名稱及片段在歌曲中出現的位置（以秒計），可以看到工具正確找回了歌曲的曲名，也找到了其在歌曲中的正確位置。
而對於這段《童話》在1分05秒左右的背景噪音更加嘈雜的錄音：
工具的返回結果是：
可以看到盡管噪音非常嘈雜，但是工具仍然能成功識別所對應的歌曲並對應到歌曲的正確位置，說明工具在噪音較大的環境下有良好的健壯性！
項目主頁： Github
Song Finder原理
給定曲庫對一個錄音片段進行檢索是一個不折不扣的搜索問題，但是對音頻的搜索並不像對文檔、數據的搜索那麽直接。為了完成對音樂的搜索，工具需要完成下列3個任務：
對曲庫中的所有歌曲抽取特征
以相同的方式對錄音片段提取特征
根據錄音片段的特征對曲庫進行搜索，返回最相似的歌曲及其在歌曲中的位置
特征提取？離散傅立葉變換！
為了對音樂（音頻）提取特征，一個很直接的想法是得到音樂的音高的信息，而音高在物理上對應的則又是波的頻率信息。
為了獲取這類信息，一個非常直接的額做法是使用離散傅葉變化對聲音進行分析，即使用一個滑動窗口對聲音進行采樣，對窗口內的數據進行離散傅立葉變化，將時間域上的信息變換為頻率域上的信息，使用scipy的接口可以很輕松的完成。在這之後我們將頻率分段，提取每頻率中振幅最大的頻率：
這樣，對於一個滑動窗口，我提取到了6個頻率作為其特征。對於整段音頻，我們重復調用這個函數進行特征抽取：
其中44100為音頻文件自身的采樣頻率，8192是我設定的取樣窗口（對，這樣hardcode是很不對的），callback是一個傳入的函數，需要這個參數是因為在不同場景下對於所得到的特征會有不同的後續操作。
匹配曲庫
在得到歌曲、錄音的大量特征後，如何進行高效搜索是一個問題。一個有效的做法是建立一個特殊的哈希表，其中的key是頻率，其對應的value是一系列(曲名,時間)的tuple，其記錄的是某一歌曲在某一時間出現了某一特征頻率，但是以頻率為key而非以曲名或時間為key。
這樣做的好處是，當在錄音中提取到某一個特征頻率時，我們可以從這個哈希表中找出與該特征頻率相關的歌曲及時間！
當然有了這個哈希表還不夠用，我們不可能把所有與特征頻率相關的歌曲都抽出來，看看誰命中的次數多，因為這樣會完全無視歌曲的時序信息，並引入一些錯誤的匹配。
我們的做法是，對於錄音中在t時間點的一個特征頻率f，從曲庫找出所有與f相關的(曲名,時間)tuple，例如我們得到了
[(s1, t1), (s2, t2), (s3, t3)]
我們使用時間進行對齊，得到這個列表
[(s1, t1-t), (s2, t2-t), (s3, t3-t)]
記為
[(s1, t1), (s2, t2), (s3, t3`)]
我們對所有時間點的所有特征頻率均做上述操作，得到了一個大列表：
[(s1, t1), (s2, t2), (s3, t3), ..., (sn, tn)]
對這個列表進行計數，可以看到哪首歌曲的哪個時間點命中的次數最多，並將命中次數最多的(曲名，時間)對返回給用戶。
不足
這個小工具是一個幾個小時寫成的hack，有許都地方需要改進，例如：
目前只支持了wav格式的曲庫及錄音
所有數據都放在內存中，曲庫體積增大時需要引入更好的後端存儲
索引應該並行化，匹配也應該並行化，匹配的模型其實是典型的map-reduce。
項目主頁
https://github.com/zhengqm/SongFinder
好啦，以上就是我的分享，如果你跟我一樣都喜歡python，想成為一名優秀的程序員，也在學習python的道路上奔跑，歡迎你加入python學習群：839383765 群內每天都會分享最新業內資料，分享python免費課程，共同交流學習，讓學習變（編）成（程）一種習慣！
90 行 Python 搭一個音樂搜索工具【附代碼】