獨家 | 為什麼要利用NLP做情感分析?
作者:申利彬
校對:孫濤
本文長度為1500字,建議閱讀10分鐘
本文談論自然語言處理中的情感分析及其在不同行業中的應用。
多數人不能準確把握人類的情感變化,我也不例外,但是計算機卻可以做到這一點。基於上面的事實,我們要講述一件你也許已經熟知的機器學習分支——自然語言處理(NLP),這聽起來很像計算機試圖學習並理解我們平時說的“自然語言”。但是我們並不滿足於此,我們要做一件神奇的事,那就是“情感分析”。聽到計算機能分析人類情感這件事,很多人肯定會覺得有些不可思議,但這正是我們下面要談論的。
自然語言處理
我們稍微回顧一下,很多程式設計師都知道人與人和人與計算機交流的方法有很大的區別。例如,當我們寫程式的時候必須嚴格遵守語法和格式的要求,但人與人交流就會自由很多。人與人交流的過程中,可以用不同長度的句子表達相同的含義,同樣長度的句子表達不同的含義。你應該意識到這對計算機來說是很複雜的。
隨著人工智慧技術越來越多的應用到我們的工作和日常生活中,用我們熟悉的語言與計算機互動變的越來越重要。雖然我們總是可以要求“碼農”寫更多的程式碼,但是我們不能要求顧客以寫程式碼的方式向Siri諮詢天氣狀況。很顯然,顧客用自然語言與Siri交流更高效。
情感分析
自然語言處理只是冰山一角,這是因為人與人交流不是文字或文字堆砌的句子所能表達的,而是一個微妙且複雜的過程。在生活中,你可以根據朋友問問題的語氣來判斷他的情緒,是無聊、生氣或者好奇。即使是在純文字的聊天中,你也可以根據顧客的用詞和標點判斷他是否憤怒。又或者,當你讀一本書的評論時,雖然評論者沒有明確說出他對書的態度,但你可以根據評論內容判斷出讀者喜歡或者不喜歡這本書。
情感就像是將聲調、配套的文字以及語言風格雜糅在一起。要讓計算機真正理解人類日常交流用語,單單瞭解單詞的定義是遠遠不夠的,計算機還要理解人類的情感,只有這樣才能最終理解人每天的交流方式。
深度學習
在深度學習中,將大量自然語言例項標定為正樣本或負樣本,然後用這些例項訓練網路引數,最後我們會得到識別新樣本例項的情感分析模型。網際網路論壇越來越受歡迎(基於語音的虛擬助手也日益流行),這給我們提供了充足的語料去訓練我們的模型,一旦模型訓練好了,就可以用來解決新的問題。
舉個例子,一般情況下,假設你是在網路課堂學習的學生,你會將困擾自己的問題放到課程相關的論壇上。人工智慧的客服就不僅可以確定你困惑的主題,還可以分析你因此沮喪或氣餒的程度,並給出合理的反饋。因為人工智慧的存在,上面的想法已經變成現實。
情感分析的應用
情感分析可以應用的地方有很多,假如你是一名媒體工作者,你可以爬取網上大量有關電影的評論,訓練情感分析模型來了解人們喜歡和不喜歡的電影。假如你在投資部門工作,可以構建有助於預測股票市場的模型,通過人們在論壇中的留言來評估他們對股票的樂觀程度。假如你在政府部門工作,情感分析模型會評估人們看推特的演講時情感變化情分析他們對演講內容的愛憎程度。難以想象情感分析模型對我們的影響。
深度學習工具使得這些變成現實,對於動態預測任務,甚至可以做到實時預測。你可以實現一個演講者可以看到演講現場資料分析的介面,這樣演講者可以得到及時反饋,演講的內容才可能更大限度地引起共鳴。你也可以實現一個自動投資的模型,它根據對不同股票漲跌的持續觀察來自主進行投資。你還可以實現一個課堂助手,可以實時提醒老師課堂氛圍是活躍還是低迷。
這些是深度學習最令人驚奇的地方,我會在這個領域繼續走下去。當然人們很難解釋深度學習的深層原理,但是當你想象這項技術的應用時,這些事情就變得非常令我們期待。如果你掌握了深度學習,那將取決於你如何利用它去改變世界。所以,你還在等什麼,快加入這場革命吧。
申利彬,研究生在讀,主要研究方向大資料機器學習。目前在學習深度學習在NLP上的應用。希望能在THU資料派平臺與愛好大資料愛好人工智慧的朋友一起學習進步。
資料派研究部介紹
資料派研究部成立於2017年初,以興趣為核心劃分多個組別,各組既遵循研究部整體的知識分享和實踐專案規劃,又各具特色:
演算法模型組:積極組隊參加kaggle等比賽,原創手把手教系列文章;
調研分析組:通過專訪等方式調研大資料的應用,探索資料產品之美;
系統平臺組:追蹤大資料&人工智慧系統平臺技術前沿,對話專家;
自然語言處理組:重於實踐,積極參加比賽及策劃各類文字分析專案;
製造業大資料組:秉工業強國之夢,產學研政結合,挖掘資料價值;
資料視覺化組:將資訊與藝術融合,探索資料之美,學用視覺化講故事;
網路爬蟲組:爬取網路資訊,配合其他各組開發創意專案。
點選文末“閱讀原文”,報名資料派研究部志願者,總有一組適合你~
為保證發文質量、樹立口碑,資料派現設立“錯別字基金”,鼓勵讀者積極糾錯。
若您在閱讀文章過程中發現任何錯誤,請在文末留言,或到後臺反饋,經小編確認後,資料派將向檢舉讀者發8.8元紅包。
同一位讀者指出同一篇文章多處錯誤,獎金不變。不同讀者指出同一處錯誤,獎勵第一位讀者。
感謝一直以來您的關注和支援,希望您能夠監督資料派產出更加高質的內容
轉載須知
如需轉載,請在開篇顯著位置註明作者和出處(轉自:資料派THUID:DatapiTHU),並在文章結尾放置資料派醒目二維碼。有原創標識文章,請傳送【文章名稱-待授權公眾號名稱及ID】至聯絡郵箱,申請白名單授權並按要求編輯。
釋出後請將連結反饋至聯絡郵箱(見下方)。未經許可的轉載以及改編者,我們將依法追究其法律責任。
點選“閱讀原文”加入組織~
相關推薦
獨家 | 為什麼要利用NLP做情感分析?
作者:申利彬校對:孫濤本文長度為1500字,建議閱讀10分鐘本文談論自然語言處理中的情感分析及其
【火爐煉AI】機器學習041-NLP句子情感分析
【火爐煉AI】機器學習041-NLP句子情感分析 (本文所使用的Python庫和版本號: Python 3.6, Numpy 1.14, scikit-learn 0.19, matplotlib 2.2 ) 在NLP中有一個非常實用的應用領域--情感分析,情感分析是用NLP技術分析一段給定文字的情感型別
NLP之情感分析:基於python程式設計(jieba庫)實現中文文字情感分析(得到的是情感評分)
NLP之情感分析:基於python程式設計(jieba庫)實現中文文字情感分析(得到的是情感評分) 輸出結果 1、測試物件 data1= '今天上海的天氣真好!我的心情非常高興!如果去旅遊的話我會非常興奮!和你一起去旅遊我會更加幸福!' data2= '今天上海天氣真差,非常討厭下雨,把
人臉與影象識別、NLP與情感分析、語言翻譯API呼叫
API是一套用於構建應用軟體程式的規範、協議和工具。以下所有的API可歸類到人臉和影象識別;文字分析+NLP+情感分析;語言翻譯 一、人臉和影象識別 1.Animetrics Face Recogn
利用python做資料分析(六)-reindex
DataFrame.reindex(index=None, columns=None, **kwargs) reindex 函式的引數 引數 說明 method 插值填充方法 fill_value 引入的缺失資料值
python機器學習----利用sklearn進行情感分析
import jieba from collections import defaultdict import os from sklearn.feature_extraction.text import TfidfTransformer from sklear
NLP ---文字情感分析
前面幾節我們詳細的研究了文字分析的相關演算法,本節將簡單介紹一下基於文字的情感分析方面的內容,本節更多是論述方面的內容,這個方向的演算法基本都是我們前面學過的,原理就不詳細的講解了,如果有感興趣的朋友可以自行查閱資料進行研究,這裡就不在詳細的講解了,以後如果工作中遇到相關的在詳細的研究一下,下面
Python 利用 pyecharts 做資料分析繪圖
柱狀圖 from pyecharts import Bar bar = Bar("柱狀圖") bar.add("服裝", ["襯衫", "羊毛衫", "雪紡衫", "褲子", "高跟鞋", "襪子"], [5, 20, 36, 10, 75, 90]) bar.add("鞋子", ["的
利用python做資料分析(五)-讀取合併多個檔案
pieces=[] columns=['name','sex','births'] for year in range(1880,2011): path=('C:\\Users\\ecaoyng\\Desktop\\work space\\Python\
我的spark學習之路(三):利用spark做迴歸分析
spark的機器學習庫(MLlib)下有簡單的迴歸分析方法,今天只說最簡單的線性迴歸,spark提供有兩個迴歸分析庫(mllib和ml),我學習的時候在網上也查了不少資料,有一個奇怪的現象是網上關於spark迴歸分析的資料基本全是mllib,關於ml的基本沒見到
《利用python做資料分析》第十章:時間序列分析
import pandas as pd import numpy as np import matplotlib.pyplot as plt %matplotlib inline //anaconda/lib/python2.7/site-packa
NLP之情感分析:SnowNLP
blog bash 提取關鍵字 用戶 nic 你們 nltk .cn 推薦 一 安裝與介紹 SnowNLP是一個python寫的類庫,可以方便的處理中文文本內容,是受到了TextBlob的啟發而寫的,由於現在大部分的自然語言處理庫基本都是針對英文的,於是寫了一個方便處理中文
【python 走進NLP】利用SnowNLP 訓練自己的情感分析庫
介紹 SnowNLP是一個python寫的類庫,可以方便的處理中文文字內容。可以做很多事情,如: 中文分詞(Character-Based Generative Model) 詞性標註(TnT 3-gram 隱馬) 情感分析(現在訓練資料主要是買賣東西時的評價,所以對其他的一些可能效
Sentiment Analysis with Recurrent Neural Networks in TensorFlow 利用TensorFlow迴歸神經網路進行情感分析 Pluralsigh
Sentiment Analysis with Recurrent Neural Networks in TensorFlow 中文字幕 利用TensorFlow迴歸神經網路進行情感分析 中文字幕Sentiment Analysis with Recurrent Neural Netwo
NLP情感分析之情感分類
情感分析與情感分類 情感分析(sentiment analysis)是近年來國內外研究的熱點,其任務是幫助使用者快速獲取、整理和分析相關評價資訊,對帶有情感色彩的主觀性文字進行分析、處理、歸納和推理。 情感分析包含較多的任務,如情感分類(sentiment classification)、觀
利用python進行資料分析——p26,"一定要以pylab模式”開啟如何解決
本人使用Pythonxy,(Python(x,y)-2.7.10.0.exe),初學者面對如圖的列表,大腦空白 首先,使用python IDEL,雖然有自動路徑提示,但是做不出來圖,鬱
【NLP】【八】基於keras與imdb影評資料集做情感分類
【一】本文內容綜述 1. keras使用流程分析(模型搭建、模型儲存、模型載入、模型使用、訓練過程視覺化、模型視覺化等) 2. 利用keras做文字資料預處理 【二】環境準備 1. 資料集下載:http://ai.stanford.edu/~amaas/data/sentiment/
Sentiment Analysis with Recurrent Neural Networks in TensorFlow 利用TensorFlow迴歸神經網路進行情感分析 Pluralsigh
Sentiment Analysis with Recurrent Neural Networks in TensorFlow 中文字幕 利用TensorFlow迴歸神經網路進行情感分析 中文字幕Sentiment Analysis with Recurrent
sklearn: 利用TruncatedSVD做文字主題分析
本文是一個使用sklearn中的TruncatedSVD進行文字主題分析的簡要demo。通過主題分析,我們可以得到一個語料中的關鍵主題,即各個詞語在主題中的重要程度,各個文章在各個主題上的傾向程度。並且可以根據它們,得到主題對應的關鍵詞以及代表性文字。我前面寫的一篇資
[TensorFlow深度學習深入]實戰三·分別使用DNN,CNN與RNN(LSTM)做文字情感分析(機器如何讀懂人心)
[TensorFlow深度學習深入]實戰三·使用Word2Vec與RNN(LSTM)做文字情感分析(機器如何讀懂人心) 用到了 DNN CNN Word2Vec RNN(LSTM) 不太清楚的可以回顧我們之前的博文。 使用了全連線,卷積神經網路與迴