跳到主要內容

文本挖掘之情感分析（一）

一、文本挖掘  


     文本挖掘則是對文本進行處理，從中挖掘出來文本中有用的信息和關鍵的規則，在文本挖掘領域應用最往廣泛的是對文本進行分類和聚類，其挖掘的方法分為無監督學習和監督學習。文本挖掘還可以劃分為7大類：關鍵詞提取、文本摘要、文本主題模型、文本聚類、文本分類、觀點提取、情感分析。


   關鍵詞提取：對長文本的內容進行分析，輸出能夠反映文本關鍵信息的關鍵詞。


   文本摘要：許多文本挖掘應用程序需要總結文本文檔，以便對大型文檔或某一主題的文檔集合做出簡要概述。


   文本聚類：主要是對未標註的文本進行標註，常見的有 K均值聚類和層次聚類。


   文本分類：文本分類使用監督學習的方法，以對未知數據的分類進行預測的機器學習方法。


   文本主題模型 LDA：LDA（Latent Dirichlet Allocation）是一種文檔主題生成模型，也稱為一個三層貝恭弘=叶 恭弘斯概率模型，包含詞、主題和文檔三層結構，該模型可以用於獲取語料的主題提取和對不同類別的文檔進行分類。


   觀點抽取：對文本（主要針對評論）進行分析，抽取出核心觀點，並判斷極性(正負面)，主要用於電商、美食、酒店、汽車等評論進行分析。


   情感分析：對文本進行情感傾向判斷，將文本情感分為正向、負向、中性。用於口碑分析、話題監控、輿情分析。


   因為自己的論文寫的是關於情感分析方面的內容，因此打算接下來主要寫情感分析系列的內容，今天主要寫關於情感分析的介紹以及發展史。


二、情感分析


1. 含義


     情感分析主要是通過分析人們對於服務、產品、事件、話題來挖掘出說話人/作者觀點、情感、情緒等的研究。情感分析按照研究內容的不同，可以分為：意見挖掘 / 意見提取 / 主觀性分析 / 情感傾向分析、情感情緒分析、情感打分等。情感傾向問題，即是指挖掘出一段語料中說話人/作者對於某一話題/事件所持有的態度，如褒義、貶義、中性、兩者兼有。情感情緒，則是將情感傾向進行更進一步的細化，依據"大連理工大學的情感詞彙本體庫"可知，可以將情感傾向可以細化為："喜歡"、"憤怒"、"討厭"等具體的7個大類——21個小類別。情感打分，即根據情感態度對於某一事物進行評分，如淘寶系統的1-5分。 文本中的情感分析還可以分為：顯式情感、隱式情感，顯式情感是指包含明顯的情感詞語（如：高興、漂亮、討厭等），隱式情感則是指不包含情感詞語的情感文本，如："這個杯子上面有一層灰"。由於隱式情感分析難度較大，因此目前的工作多集中在顯式情感分析領域。


     情感分析按照不同的分析對象，可以分為：文章級別的情感分析、句子級別的情感分析、詞彙級別的情感分析。按照不同的研究內容以及研究的粒度的不同，其研究情感分析的方法也有很大的變化。


     目前的情感分析研究可歸納為：情感資源構建、情感元素抽取、情感分類及情感分析應用系統；


     情感資源構建：情感資源一般來說有：情感詞典、情感語料庫。情感詞典的構建即是將現有的、整理好的情感詞典資源進行整合，比如中文情感詞典有：大連理工大學的情感詞彙本體庫、知網Hownet情感詞典、台灣大學的NTUSD簡體中文情感詞典等，根據不同的需求，應用這些情感詞典。情感語料庫，則是我們要分析的文本，如關於新聞的文本、微博評論文本、商品評論文本、電影評論文本等，這些語料的獲取可以是尋找已經整理好的數據，或者自己爬蟲獲取。推薦一個比較全的中文語料庫網站：中文NLP語料庫。


    情感元素抽取：情感元素抽取則是從語料中抽取出來能夠代表說話人/作者情感態度問題的詞彙，也稱為細粒度情感分析。語料中的評價對象和表達抽取是情感元素抽取的核心內容。評價對象是指語料中被討論的主題，比如對於商品評論來說，用戶常提起的"外觀"、"快遞"、"包裝"等方面；表達抽取主要針對顯式情感表達的文本，是指文本抽取出來能夠代表說話人/作者情感、情緒、意見等的詞彙，比如"漂亮"、"贊同"、"不贊同"等。一般來說，評價對象和表達抽取也可以作為相互獨立的兩個任務。一般來說，分析這兩者的方法有：基於規則、基於機器學習。對於評價對象來說，現如今使用最多的方法是利用主題模型中的LDA（Latent Dirichlet Allocation）模型進行分析；對於表達抽取則有：深度學習的方法、基於JST (Joint Sentiment/Topic )模型的方法等。


     情感分類：情感分類則是將文本分為一個具體的類別，比如情感傾向分析，則是將文檔分為：褒義、貶義、中性等。一般來說，進行情感分類的方法有，基於情感詞典、基於機器學習。基於情感詞典，最典型的方法則是基於知網Hownet情感詞典的So-Hownet指標進行情感分類，基於機器學習的方法則有監督學習方法、半監督學習方法等。


    針對於情感分析，現已經存在一些專有平台，如：基於Boson 數據的情感分析平台，基於產品評論的平台Google Shopping。情感分析除了在電商平台應用廣泛之外，情感分析技術還被引入到對話機器人領域。例如，微軟的"小冰"機器人 可以通過分析用戶的文本輸入和表情貼圖，理解用戶當前的情緒狀況，並據此回復文本或者語音等情感回應。部分研究機構還將情感分析技術融入實體機器人中。


 2. 發展史


     V. H. 和 K. R. McKeown 於 1997 年發表的論文 [1]，該論文使用對數線性回歸模型從大量語料庫中識別形容詞的正面或負面語義，同時藉助該模型對語料中出現的形容詞進行分類預測。


     Peter Turney在 2002年在論文 [2] 提出了一種無監督學習的算法，其可以很好的將語料中的詞語分類成正面情感詞和負面情感詞。


    2002 年 Bo Pang 等人在論文 [3] 中使用了傳統的機器學習方法對電影評論數據進行分類，同時也驗證了機器學習的方法的確要比之前基於規則的方法要優。


    2003 年 Blei 等人在論文 [4] 中提出了 LDA(Latent Dirichlet Allocation)模型，在之後的情感分析領域的工作中，很多學者/研究人員都使用主題模型來進行情感分析，當然也不只是基於主題模型來進行情感分析研究，還有很多利用深度學習方法來進行情感分析的研究。


   Lin 和 He在 2009 年的論文 [5] 提出了一種基於主題模型的模型 —JST(Joint Sentiment/Topic)，其有效的將情感加入到了經典的主題模型當中，因此利用該模型可以獲取到不同情感極性標籤下不同主題的分佈情況。傳統的主題模型獲取文檔的主題以及詞的分佈情況，但並沒有關注到情感的存在，因此基於該模型可以對文檔的情感傾向進行分析。利用 JST 模型可以有效的直接將語料的主題、情感信息挖掘出來，同時 JST 模型還考慮到了主題、文檔、情感、詞之間的聯繫。


    基於對於語義和句法的考慮，Jo 和 H.OH 在 2011 年提出了 ASUM(Aspect and Sentiment Unification Model)模型，該模型和 JST 模型很相似都是四層的貝恭弘=叶 恭弘斯網絡結構 [6] 。


    基於神經網絡的語義組合算法被驗證是一種非常有效的特徵學習手段，2013年，Richard Socher和Christopher Potts等人提出多個基於樹結構的Recursive Neural Network，該方法通過迭代運算的方式學習變量長度的句子或短語的語義表示，在斯坦福情感分析樹庫（Stanford Sentiment Treebank）上驗證了該方法的有效性 [7]。Nal Kalchbrenner等人描述了一個卷積體繫結構，稱為動態卷積神經網絡（DCNN），他們採用它來進行句子的語義建模。 該網絡使用動態k-Max池，這是一種線性序列的全局池操作。 該網絡處理不同長度的輸入句子，並在句子上引入能夠明確捕獲短程和長程關係的特徵圖。 網絡不依賴於解析樹，並且很容易適用於任何語言。該模型在句子級情感分類任務上取得了非常出色的效果[8]。2015年，Kai Sheng Tai，Richard Socher, Christopher D. Manning在序列化的LSTM （Long Short-Term Memory）模型的基礎上加入了句法結構的因素，該方法在句法分析的結果上進行語義組合，在句子級情感分類和文本蘊含任務(text entailment)上都取得了很好的效果[9]。


   2016年，Qiao Qian, Xiaoyan Zhu等人在LSTM和Bi-LSTM模型的基礎上加入四種規則約束，這四種規則分別是: Non-Sentiment Regularizer,Sentiment Regularizer, Negation Regularizer, Intensity Regularizer，利用語言資源和神經網絡相結合來提升情感分類問題的精度。


  除了上面的一些研究，關於情感分析領域的應用仍然有很多，比如：2015 年鄭祥雲等人通過主題模型提取出來圖書館用戶的主題信息，最後利用這些信息來進行個性化圖書的有效推薦。將 JST 模型中直接引入了情感詞典作為外部先驗知識來對新聞文本進行分析，獲取其中的主旨句，並對主旨句進行情感打分，同時利用情感主旨句來代替全文，這樣能夠使得用戶更有效、更快速的閱讀文章。


  總的來說，情感分析在很多的領域被應用，當然情感分析也有很多的局限性，就是過多的依賴於語料庫信息，同時還需要使用自然語言、人工智能的方法來能夠最大化的挖掘出來其中的信息。


 


 參考文獻：


 [1] :Predicting the semantic orientation of adjectives


 [2]:  Thumbs up or thumbs down? Semantic orientation applied to unsupervised classification of reviews 


 [3] : Thumbs up? Sentiment Classification using Machine Learning Techniques


 [4] :   Latent Dirichlet Allocation


 [5] : Joint sentiment/topic model for sentiment analysis


 [6] : Aspect and sentiment unification model for online review analysis


 [7] : Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank


 [8]:  A Convolutional Neural Network for Modelling Sentences


 [9]: Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks


 [10] : Linguistically Regularized LSTMs for Sentiment Classification


 


 

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】

※網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!



※網頁設計公司推薦不同的風格，搶佔消費者視覺第一線



※想知道購買電動車哪裡補助最多?台中電動車補助資訊懶人包彙整



※南投搬家公司費用,距離,噸數怎麼算?達人教你簡易估價知識!



※教你寫出一流的銷售文案?



※超省錢租車方案



Orignal From: 文本挖掘之情感分析（一）

留言

張貼留言

這個網誌中的熱門文章

Python 併發總結，多線程，多進程，異步IO

1 測量函數運行時間 import time def profile(func): def wrapper(*args, ** kwargs): import time start = time.time() func( *args, ** kwargs) end = time.time() print ' COST: {} ' .format(end - start) return wrapper @profile def fib(n): if n<= 2 : return 1 return fib(n-1) + fib(n-2 ) fib( 35 )   2 啟動多個線程，並等待完成   2.1 使用threading.enumerate() import threading for i in range(2 ): t = threading.Thread(target=fib, args=(35 ,)) t.start() main_thread = threading.currentThread() for t in threading.enumerate(): if t is main_thread: continue t.join()   2.2 先保存啟動的線程 threads = [] for i in range(5 ): t = Thread(target=foo, args= (i,)) threads.append(t) t.start() for t in threads: t.join()   3 使用信號量，限制同時能有幾個線程訪問臨界區 from threading import Semaphore import time sema = Semaphor...
張貼留言
閱讀完整內容

韋伯連續劇終於更新 期待第一季順利完結

　　地球天文學界的跳票大王詹姆斯·韋伯空間望遠鏡 (James Webb Space Telescope，縮寫為 JWST)自 1996 年以來斷斷續續不按劇本演出的連續劇終於讓焦慮的觀眾們又等到了一次更新：五層遮陽罩測試順利完成。 裝配完成的韋伯望遠鏡與好夥伴遮陽罩同框啦。Credit: NASA 　　嚴格的測試是任何空間任務順利成功的重中之重。遮陽罩，這個韋伯望遠鏡異常重要的親密夥伴，要是無法正常運轉的話，韋伯的這一季天文界連續劇說不準就要一直拖更了。 　　詹姆斯·韋伯空間望遠鏡是歷史上造出的最先進的空間望遠鏡。它不僅是一架紅外望遠鏡，還具有特別高的靈敏度。但想要達到辣么高的靈敏度來研究系外行星和遙遠的宇宙童年，韋伯童鞋必須非常"冷靜"，體溫升高的話，靈敏度會大大折損。這個時候，遮陽罩就要大顯身手啦。 　　遮陽罩在韋伯的設計中至關重要。韋伯望遠鏡會被發射到拉格朗日 L2 點，運行軌道很高，遠離太陽、地球與月球。太陽是韋伯的主要熱量干擾的來源，其次是地球與月球。遮陽罩會有效阻斷來自這三大熱源的能量並保護韋伯維持在工作溫度正常運轉。這個工作溫度指的是零下 220 攝氏度(-370 華氏度；50 開爾文)。 上圖中我們可以看出，韋伯望遠鏡的配置大致可分為兩部分：紅色較熱的一面溫度為 85 攝氏度，藍色較冷的一面溫度達到零下 233 攝氏度。紅色的這部分中，儀器包括太陽能板、通信設備、計算機、以及轉向裝置。藍色部分的主要裝置包括鏡面、探測器、濾光片等。Credit: STSci. 　　遮陽罩的那一部分和望遠鏡的鏡面這部分可以產生非常極端的溫差。遮陽的這面溫度可以達到 110 攝氏度，足以煮熟雞蛋，而背陰處的部分溫度極低，足以凍結氧氣。 　　工程師們剛剛完成了五層遮陽罩的測試，按照韋伯在 L2 時的運行狀態安裝了遮陽罩。L2 距離地球約 160 萬公里。NASA 表示這些測試使用了航天器的自帶系統來展開遮陽罩，測試目前都已成功完成。韋伯望遠鏡遮陽罩負責人 James Cooper 介紹說這是遮陽罩"第一次在望遠鏡系統的电子設備的控制下展開。儘管這個任務非常艱巨，難度高，但測試順利完成，遮陽罩展開時的狀態非常驚艷"。 　　遮陽罩由五層 Kapton 製成。Kapton 是一種聚酰亞胺薄膜材料， 耐高溫絕...
張貼留言
閱讀完整內容

LINE 發票管家「一鍵分享發票」新功能，聚餐AA更好算帳

» » LINE 發票管家「一鍵分享發票」新功能，聚餐AA更好算帳 消費明細好清楚，不怕算錯錢啦！ by in , 讀取中... 之前介紹過的「LINE 發票管家」，除了能對統一發票、管理消費紀錄，現在還能分享消費明細給其他朋友囉！趕快來看看該如何分享吧！讓大家在聚餐過後，不用再截圖、拍照把消費明細記錄下來分享到 LINE 好友群組，只要用 LINE發票管家就可以隨時一鍵分享消費明細，包括店家、消費時間、消費項目、金額通通都有，聚餐 AA 也更好算帳。 LINE 發票管家「一鍵分享發票」新功能，聚餐AA更好算帳 朋友聚餐完，經常會先由其中一位買單再事後收帳，不過難免擔心忘記拍照紀錄下消費明細，導致算帳變得很麻煩。但是，現在只要用 LINE發票管家，不僅能將發票存入載具後直接匯入發票，進而更方便管理每月的消費情況，現在還能用它來分享消費明細到 LINE 聊天室，不需要截圖，整個流程超級簡單！ ▲圖片來源： 當使用 LINE發票管家並且綁定載具後，只要日常消費有將發票存入載具就通通會自動匯入 LINE發票管家。如果想暸解自己近期的消費情況，也能在 LINE發票管家點選「發票明細」查詢所有消費紀錄。 ＊小提醒：存入手機條碼的發票，待財政部 1-2 日作業時間將發票資料匯入後， 打開單筆消費後分享到指定對象或群組。 像是朋友聚餐或其它購物消費，就能在 LINE發票管家查看每一筆消費的所有消費明細，每一項餐點的項目、價格通通一目了然。如果想將該筆消費內容分享給好友收帳，只要點選該筆消費明細後，接著點選畫面右上角的「分享」按鈕。 網頁設計 最專業,超強功能平台可客製,窩窩以「數位行銷」「品牌經營」「網站與應用程式」「印刷品設計」等四大主軸，為每一位客戶客製建立行銷脈絡及洞燭市場先機,請問 台中電動車 哪裡在賣比較便宜可以到台中景泰電動車門市去看看總店：臺中市潭子區潭秀里雅潭路一段102-1號。 電動車補助 推薦評價好的 iphone維修 中心擁有專業的維修技術團隊，同時聘請資深iphone手機維修專家，現場說明手機問題，快速修理，沒修好不收錢住家的頂樓裝 太陽光電 聽說可發揮隔熱功效一線推薦東陽能源擁有核心技術、...
張貼留言
閱讀完整內容