2. 程式人生 > >單層lstm的偽孿生網路 計算 句子的相似度

單層lstm的偽孿生網路 計算 句子的相似度

阿新 • • 發佈：2019-02-17

基礎版本實驗：選用final hidden states, [h1, h2, |h1-h2|, h1.*h2]， 以1：2構造正負例， 參考dssm(原文是1：4)

single lstm 孿生網路

資料是4w的pair對

訓練曲線如下圖：

最終任務測試集上的準確率（和本任務中dssm的準確率做對比）， 如下圖所示：

本任務lstm singe (正：負 = 1：2) 本任務lstm singe (正：負 = 1：4) 本任務lstm singe (正：負 = 1：10) 本任務lstm singe (正：負 = 1：30) 本任務Dssm(正：負 = 1：4)
top1ACC:0.811159 top1ACC:0.832618 top1ACC:0.793991 top1ACC:0.611588 top1ACC:0.802575

另外我們在本任務中的另一個測試集上也做了對比：

本任務lstm singe (正：負 = 1：4) 本任務Dssm(正：負 = 1：4)
top1ACC:0.629000 top1ACC:0.617667
  • 結論：

1. Dssm正負例比例1：4應該是多次實驗的結果，正負例比例過於不均衡，會減弱準確率；

  • 說明：

1. 本任採用測試集均為專案中的真實資料標註測試集，具有實際說明效應。

  • 改進計劃:

模型為初始版本，仍然還在改進中：

1. loss function: margin loss

2. 負例構造

3. lstm結構

4. NN層

相關推薦

單層lstm的偽孿生網路 計算 句子的相似度

基礎版本實驗：選用final hidden states, [h1, h2, |h1-h2|, h1.*h2]， 以1：2構造正負例， 參考dssm(原文是1：4) single lstm 孿生網路 資料是4w的pair對 訓練曲線如下圖： 最終任務測試集上的

Doc2Vec計算句子相似度

X_train  就是自己的訓練語料 “”“ date:2018_7_25 doc2vec計算句子相似性 ”“” # coding:utf-8 import sys import time import csv import glob import gensim impo

句子相似度計算的幾種方法

在做自然語言處理的過程中，我們經常會遇到需要找出相似語句的場景，或者找出句子的近似表達，這時候我們就需要把類似的句子歸到一起，這裡面就涉及到句子相似度計算的問題，那麼本節就來了解一下怎麼樣來用 Python 實現句子相似度的計算。 基本方法 句子相似度計算我們一共歸類

基於神經網路的文字相似度計算【醫療大資料】

任務描述 問句匹配是自然語言處理的最基本任務之一，是自動問答，聊天機器人，資訊檢索，機器翻譯等各種自然語言處理任務基礎。問句匹配的主要目的是判斷兩個問句之間的語義是否等價。判別標準主要根據主句（即提問者）所蘊含的意圖來判斷兩個語句是否等價，而不直接判斷兩個語句是否表達相

中文句子相似度計算思路

這裡主要面向初學者介紹句子相似度目前主流的研究方向。 從詞到句子，這是目前中文相似度計算的主要思想。而由這個-思想引申出來的演算法卻非常多，這裡面向初學者介紹比較容易實現的方法。 這裡要介紹的是二分法計算句子相似度。這個演算法實現簡單，思路清晰由此出現的技術分類變化萬千，主

使用 TF-IDF 加權的空間向量模型實現句子相似度計算

使用 TF-IDF 加權的空間向量模型實現句子相似度計算 字元匹配層次計算句子相似度 計算兩個句子相似度的演算法有很多種，但是對於從未了解過這方面演算法的人來說，可能最容易想到的就是使用字串匹配相關的演算法，來檢查兩個句子所對應的字串的字元相似程度。比如單純的進行子串匹配，搜尋 A 串中能與 B 串匹配的

句子相似度比較的歸一化

我們將不同長度的句子（預處理並分詞之後的長度）直接做比較其實是不公平的，舉個例子：   Sentence 1 =  長度為2 Sentence 2 = 長度為1 Sentence 3 = 長度為3 （在取相似詞TOP4，exp=0.7，的情況下） 即便Sent2與Sent1詞的

用gensim doc2vec計算文字相似度，Python可以跑通的程式碼

Python3.7版本，轉載自：https://blog.csdn.net/juanjuan1314/article/details/75124046 wangyi_title.txt檔案下載地址：連結:https://pan.baidu.com/s/1uL75P13t98YHMqgv3Kx7T

句子相似度_tf/idf

import mathfrom math import isnanimport pandas as pd#結巴分詞，切開之後，有分隔符def jieba_function(sent): import jieba sent1 = jieba.cut(sent) s = [] for ea

NLP入門（一）詞袋模型及句子相似度

  本文作為筆者NLP入門系列文章第一篇，以後我們就要步入NLP時代。   本文將會介紹NLP中常見的詞袋模型（Bag of Words）以及如何利用詞袋模型來計算句子間的相似度（餘弦相似度，cosine similarity）。   首先，讓我們來看一下，什麼是詞袋模型。我們以下面兩個

基於WMD（詞移距離）的句子相似度分析簡介

word2vec word2vec是隻有一個隱層的全連線神經網路,對語料中的所有詞彙進行訓練並生成相應的詞向量（Word Embedding）WI 的大小是VxN, V是單詞字典的大小, 每次輸入是一個單詞, N是設定的隱層大小。word2vec的模型通過一種神經網路語言模型（Neu

計算字串相似度的一些方法

產品出了一個奇怪的需求，想通過字串相似度取匹配城市= =（當然，最後證實通過字串相似度取判斷兩個字串是不是一個城市是不對的！！！） 這裡就記錄一下我計算字串(英文字串)相似度的方法吧～ 參考文件： L

DSSM演算法-計算文字相似度

轉載請註明出處： http://blog.csdn.net/u013074302/article/details/76422551 導語 在NLP領域，語義相似度的計算一直是個難題：搜尋場景下query和Doc的語義相似度、feeds場景下Doc和Doc的語義相似度、機器翻譯場景下A句

[LeetCode] Sentence Similarity 句子相似度

Given two sentences words1, words2 (each represented as an array of strings), and a list of similar word pairs pairs, determine if two sentences are simi

[LeetCode] Sentence Similarity II 句子相似度之二

Given two sentences words1, words2 (each represented as an array of strings), and a list of similar word pairs pairs, determine if two sentences are simi

計算文字相似度方法大全-簡單說

本編文章是方法論-主要給大家介紹原理思路 簡單講解 基於關鍵詞的空間向量模型的演算法，將使用者的喜好以文件描述並轉換成向量模型，對商品也是這麼處理，然後再通過計算商品文件和使用者偏好文件的餘弦相似度。 文字相似度計算在資訊檢索、資料探勘、機器翻譯、文件複製檢測等領域

應用實戰: 如何利用Spark叢集計算物品相似度

本文是Spark調研筆記的最後一篇，以程式碼例項說明如何藉助Spark平臺高效地實現推薦系統CF演算法中的物品相似度計算。 在推薦系統中，最經典的推薦演算法無疑是協同過濾（Collaborative Filtering, CF），而item-cf又是CF演算法中一個實現簡單

LeetCode之計算字串相似度或編輯距離EditDistance

問題描述： /** * Given two words word1 and word2, find the minimum number of steps required to * convert word1 to word2. (each oper

基於句子相似度的FAQ問答系統

總結一波我的專案之一，歷史久遠，要把它理清一下。 Introduce：日趨增多的網路資訊使使用者很難迅速從搜尋引擎返回的大量資訊中找到所需內容。自動問答系統為人們提供了以自然語言提問的交流方式，為使用者直接返回所需的答案而不是相關的網頁，具有方便、快捷、高效等特點。

【論文閱讀】利用深度自編碼器神經網路預測藥物相似度

論文來源： Prediction of Drug-Likeness Using Deep Autoencoder Neural Networks 摘要 由於各種各樣的原因，大多數候選藥物最終不能成為上市藥物。建立可靠的預測候選化合物是否具有藥物相似度對提高藥物的發現