2. 程式人生 > >從技術角度分析推薦系統案例

從技術角度分析推薦系統案例

阿新 • • 發佈：2019-05-08

我們在使用各型別的軟體的時候，總是能在各大app中獲取到推薦資訊的資料，而且會發現推薦的資訊資料還比較適合個人的口味，例如說某些共同興趣愛好的好友推薦，某些好聽的音樂推薦等等。

在進行推薦系統的核心演算法介紹之前，我們需要先來回顧一下以前所學過的數學知識內容。

歐幾里得距離

二維的歐幾里得距離：

例如下圖所示，在這樣的一個簡單的二維空間圖裡面，根據對於a點的座標和b點的座標進行二維空間距離的計算，假設p為點a到點b的歐式距離，那麼可以根據勾股定理來計算出兩點之間的向量距離為：

 

三維空間的歐幾里得距離：

除了常見的二維空間之外，常用於的計算場景還有可能是基於三維空間運算的。


在這種場景下，假設計算A點和B點之間的距離為p，那麼計算可以得出p的值為：


在瞭解了這些基本的知識點之後，我們再結合實際的應用場景來展開應用。

例如說一個電影影評網站，需要加入一個推薦喜歡觀看同類電影的好友功能。

首先模擬出一個具體的資料場景：


1對該電影進行過評價,0沒有對該電影進行過評價

有了這樣的一個數據統計場景之後，我們可以根據對電影是否有共同評價進行共同興趣愛好的匹配推薦。但是這種場景下也有一定的缺陷，那就是對於電影的評價有好有壞，需要將共同喜愛同一類電影的使用者進行匹配推薦，將不喜歡同一類電影的使用者進行匹配推薦就屬於推薦失誤的場景了。

改進點

在使用者評論裡面加入對於電影的打分功能，我們將打分等級也進行一個分類


那麼我們將這裡的打分等級和上述的電影評價相互結合之後便可得出下表：


根據上述的這張表，我們再回顧到本文開始時候所說的二維和三維空間裡面的歐幾里得距離計算。

假設A點的座標為A(a1,a2…),B點座標為B(b1,b2…)

二維空間距離計算：


三維空間距離計算：


類比一維、二維、三維的表示方法，n 維空間中的某個位置，我們可以寫作（X1X1，X2X2，X3X3，…，XKXK）。這種表示方法我們稱之為向量。
n維空間的距離計算：


那麼集合上邊的具體應用場景，我們便可以展開相應的計算了：

首先羅列出每個使用者的空間座標
小明（5,-1,-1,4,-1,-1,3,-1,1）（當前使用者）
小王（4,-1,3,2,5,-1,-1,5,-1）
小東（-1,5,-1,-1,2,2,-1,-1,2）
小紅（2,5,-1,3,3,-1,4,5,-1）
小喬（-1,-1,-1,-1,-1,-1,-1,5,-1）
小芳（-1,4,-1,3,3,5,5,-1,4）

然後再通過計算的時候，假設當前使用者是小明，那麼我們再進行使用者匹配推薦的時候需要計算各個點和小明的歐幾里得距離：

套用以下公式：


計算出小王和各個人之間的向量差值，值越小，即表示兩者之間的相似度越高。
計算出來小王相對於小明的向量差為：


小東相對於小明的向量差為：


等等….

 

說了這麼多，還是用實際的程式碼案例來進行講解會好些。

首先是 網站會員，電影資訊，影評 三種基本模型

import lombok.AllArgsConstructor;
import lombok.Data;

/**
 * @author idea
 * @date 2019/5/4
 * @Version V1.0
 */
@Data
@AllArgsConstructor
public class MemberPO {

    private int id;

    private String memberName;

}
import lombok.AllArgsConstructor;
import lombok.Data;

/**
 * @author idea
 * @date 2019/5/4
 * @Version V1.0
 */
@Data
@AllArgsConstructor
public class MoviePO {

    private int id;

    private String movieName;

}
import lombok.AllArgsConstructor;
import lombok.Data;

/**
 * @author idea
 * @date 2019/5/4
 * @Version V1.0
 */
@Data
@AllArgsConstructor
public class MovieReviewPO {

    private int movieId;

    private int memberId;

    private int reviewScore;
}

 

為了方便，這裡的資料暫時用模擬的形式展示，忽略了從資料庫讀取的環節：

import com.sise.model.MoviePO;
import org.springframework.stereotype.Service;

import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;

/**
 * @author idea
 * @date 2019/5/4
 * @Version V1.0
 */
@Service
public class MovieService {

    public static List<MoviePO> MOVIE_LIST = new ArrayList<>();

    static {
        List<String> movieNames = Arrays.asList("綠皮書", "復仇者聯盟", "月光男孩", "海邊的曼徹斯特",
                "盜夢空間", "記憶碎片", "致命魔術", "流浪地球", "正義聯盟");
        int id = 0;
        for (String movieName : movieNames) {
            MOVIE_LIST.add(new MoviePO(id++, movieName));
        }
    }

    /**
     * 根據名稱獲取使用者資訊
     *
     * @param name
     * @return
     */
    public MoviePO getMovieByName(String name) {
        return MOVIE_LIST.stream().filter(moviePO -> {
            return moviePO.getMovieName().equals(name);
        }).findFirst().get();
    }

}
import com.sise.model.MemberPO;
import org.springframework.stereotype.Service;

import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;

/**
 * @author idea
 * @date 2019/5/4
 * @Version V1.0
 */
@Service
public class MemberService {


    public static List<MemberPO> MEMBER_LIST = new ArrayList<>();

    static {
        List<String> memberNameS = Arrays.asList("小明", "小王", "小東", "小紅", "小喬", "小芳");
        int id = 0;
        for (String memberName : memberNameS) {
            MEMBER_LIST.add(new MemberPO(id++, memberName));
        }
    }

    /**
     * 根據名稱獲取使用者資訊
     *
     * @param name
     * @return
     */
    public MemberPO getMemberByName(String name) {
        return MEMBER_LIST.stream().filter(memberPO -> {
            return memberPO.getMemberName().equals(name);
        }).findFirst().get();
    }
}

 

使用者對電影打分的資料是儲存在了Redis裡面的，這裡的為了方便，所以建立了一個mock使用的測試介面：

首先需要配置好SpringBoot和RedisTemplate，這部分的配置比較簡單，這裡暫時就先省略了。

電影評論service

import com.sise.model.MemberPO;
import com.sise.model.MoviePO;
import com.sise.model.MovieReviewPO;
import lombok.extern.slf4j.Slf4j;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.stereotype.Service;

import javax.annotation.Resource;
import java.util.*;

/**
 * @author idea
 * @date 2019/5/4
 * @Version V1.0
 */
@Service
@Slf4j
public class MovieReviewService {

    @Resource
    private RedisTemplate<String, MovieReviewPO> redisTemplate;

    public void mockData(MemberPO memberPO, MoviePO moviePO, Integer score) {
        Map<Object, Object> scoreMap = redisTemplate.opsForHash().entries(String.valueOf(memberPO.getId()));
        if (scoreMap == null) {
            scoreMap = new HashMap<>();
        }
        scoreMap.put(moviePO.getId(), score);
        redisTemplate.opsForHash().putAll(String.valueOf(memberPO.getId()), scoreMap);
        log.info("[MovieReviewService]儲存資訊成功！");
    }

    /**
     * 獲取到list型別的統計數目
     *
     * @param memberId
     * @return
     */
    public List<Integer> getScoreList(int memberId) {
        Map<Object, Object> scoreMap = redisTemplate.opsForHash().entries(String.valueOf(memberId));
        List<Integer> result = new ArrayList();

        Map<Integer, Integer> sortMap = new TreeMap<Integer, Integer>(
                new Comparator<Integer>() {
                    @Override
                    public int compare(Integer obj1, Integer obj2) {
                        // 降序排序
                        return obj2.compareTo(obj1);
                    }
                });

        for (Object key : scoreMap.keySet()) {
            Integer movieIndex = (Integer) key;
            Integer score = (Integer) scoreMap.get(key);
            sortMap.put(movieIndex, score);
        }

        for (Object key : sortMap.keySet()) {
            result.add(sortMap.get(key));
        }
        return result;
    }

}

 

然後是mock評論資料的介面

import com.sise.model.MemberPO;
import com.sise.model.MoviePO;
import com.sise.service.MemberService;
import com.sise.service.MovieReviewService;
import com.sise.service.MovieService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;

import java.util.Arrays;
import java.util.List;
import java.util.Map;
import java.util.stream.Collectors;

/**
 * @author idea
 * @date 2019/5/4
 * @Version V1.0
 */
@RestController
public class MockDataController {

    @Autowired
    private MovieReviewService movieReviewService;
    @Autowired
    private MemberService memberService;
    @Autowired
    private MovieService movieService;

    @GetMapping(value = "/mockData")
    public String mockData() {
        List<String> list =
                MovieService.MOVIE_LIST
                        .stream()
                        .map(moviePO -> moviePO.getMovieName())
                        .collect(Collectors.toList());
        //不同的使用者打分程度匹配不一致
        List<Integer> score = Arrays.asList(-1, 4, -1, 3, 3, 5, 5, -1, 4);
        String name="小芳";
        int index = 0;
        for (String movieName : list) {
            this.mockData(name, movieName, score.get(index));
            index++;
        }
        return "success";
    }

    private void mockData(String memberName, String movieName, int score) {
        MemberPO memberPO = memberService.getMemberByName(memberName);
        MoviePO moviePO = movieService.getMovieByName(movieName);
        movieReviewService.mockData(memberPO, moviePO, score);
        System.out.println(memberPO.toString() + " " + moviePO.toString());
    }
}

 

有了基本的測試資料之後，便可以來對核心的向量計算模組進行編寫程式碼了：

import com.sise.model.MemberPO;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

import java.util.*;
import java.util.stream.Collectors;

/**
 * 推薦的核心部分
 *
 * @author linhao
 * @date 2019/5/4
 * @Version V1.0
 */
@Service
public class RecommendService {


    @Autowired
    private MovieReviewService movieReviewService;


    /**
     * 計算兩個使用者之間的愛好相似度
     *
     * @param currentMemberId
     * @param compareMemberId
     * @return double  degree 相似度
     */
    public double countSimilarityDegree(int currentMemberId, int compareMemberId) {
        List<Integer> currentIndexList = movieReviewService.getScoreList(currentMemberId);
        List<Integer> compareMemberList = movieReviewService.getScoreList(compareMemberId);

        //兩個人的評分統計是相同個數的
        if (currentIndexList.size() == compareMemberList.size()) {
            int total = MovieService.MOVIE_LIST.size();
            int result = 0;

            //計算向量的和
            for (int i = 0; i < total; i++) {
                int x1 = currentIndexList.get(i);
                int x2 = compareMemberList.get(i);
                result = result + (int) Math.pow((x1 - x2), 2);
            }
            double degree = Math.sqrt(result);
            return degree;
        }
        return 0;
    }


     /**
     * 計算愛好相似的使用者 從高往底
     *
     * @param currentMemberId
     * @return List 
     */
    public List countSimilarityList(int currentMemberId) {
        List<Integer> idList = MemberService.MEMBER_LIST
                .stream()
                .filter(memberPO -> memberPO.getId() != currentMemberId)
                .map(MemberPO::getId)
                .collect(Collectors.toList());

        Map<Integer, Double> hashMap = new HashMap<>();

        for (Integer memberId : idList) {
            double degree = countSimilarityDegree(currentMemberId, memberId);
            hashMap.put(memberId, degree);
        }

        //這裡將map.entrySet()轉換成list
        List<Map.Entry<Integer, Double>> list = new ArrayList<>(hashMap.entrySet());
        //然後通過比較器來實現排序
        Collections.sort(list,new Comparator<Map.Entry<Integer, Double>>() {
            //升序排序
            @Override
            public int compare(Map.Entry<Integer, Double> o1,
                               Map.Entry<Integer, Double> o2) {
                return o2.getValue().compareTo(o1.getValue());
            }

        });
        return list;
    }
}

 

測試所用的介面

import com.sise.service.RecommendService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;

import java.util.List;

/**
 * @author idea
 * @date 2019/5/4
 * @Version V1.0
 */
@RestController
public class RecommendController {


    @Autowired
    private RecommendService recommendService;

    @GetMapping(value = "count")
    public List countDegree(int curId) {
        return recommendService.countSimilarityList(curId);
    }


}

 

通常我們會給使用者相似度設定一個閾值，當相似程度超過該閾值的時候，就會被引入到好友推薦列表中做成推薦人名單。

推薦系統這個典型案例的思路讓我們明白了向量的強大之處，這也是資料結構和演算法所具有的魅力，利用向量空間來計算出歐幾里得距離，從而解決掉如此複雜的問題。

上述的程式碼案例只能說是一個簡單的模型，真實生產中的實踐可要比這複雜得多，比如說針對於初期應用程式的基礎資料量不足的情況下，使用這類方式來做推薦功能可能會有點牽強，因此還是需要在落地實踐中不斷的嘗試和探索。

&n

相關推薦

從技術角度分析推薦系統案例

我們在使用各型別的軟體的時候，總是能在各大app中獲取到推薦資訊的資料，而且會發現推薦的資訊資料還比較適合個人的口味，例如說某些共同興趣愛好的好友推薦，某些好聽的音樂推薦等等。 在進行推薦系統的核心演算法介紹之前，我們需要先來回顧一下以前所學過的數學知識內容。 歐幾里得距離 二維的歐幾里得距離： 例如

怎麼把mp3轉發微信語音發出去，從技術角度分析可行性

有什麼需要幫助的，看不明白的 ，可以加微信 258032791 做微信營銷的朋友，很多喜歡做群營銷，個人營銷， 這個時候，如果人工一句句話去說，肯定能累個半死，如果每天應付幾百人 能把你累虛脫，那麼從技術角度上來講，能不能實現把事先準備的文字，語音，視訊轉發到微信裡面

從原始碼角度分析Android系統的異常捕獲機制是如何執行的

我們在開發的時候經常會遇到各種異常，當程式遇到異常，便會將異常資訊拋到LogCat中，那這個過程是怎麼實現的呢？ 我們以一個例子開始： import android.app.Activity; import android.os.Bundle; public clas

從技術角度來分析奧運訂票網站的效能測試-Zee

  本文屬於技術分析和推測，本文中的資料，多是從官方資料推測得來，故無需詳細推導。 官方新聞如下： 官方網站10月30日訊今天上午9時，北京奧運會門票面向境內公眾銷售第二階段準時啟動。截至上午11時，各個銷售渠道共售出門票約9000張，其中官方票務網站和中國銀行各代售網點

Java內存模型之從JMM角度分析DCL

span 利用 eight first 多人 能夠 的人 ref upload DCL，即Double Check Lock，中衛雙重檢查鎖定。其實DCL很多人在單例模式中用過，LZ面試人的時候也要他們寫過，但是有很多人都會寫錯。他們為什麽會寫錯呢？其錯誤根源在哪裏？有什麽

[轉]攜程大數據實踐：高並發應用架構及推薦系統案例

數據庫 sql數據庫 代碼 IE 輸入 針對 響應 https 配置 本文來自攜程技術中心基礎業務研發部的《應用架構涅槃》系列分享。據基礎業務研發部負責人李小林介紹，互聯網二次革命的移動互聯網時代，如何吸引用戶、留住用戶並深入挖掘用戶價值，在激烈的競爭中脫穎而出，是各大

微服務架構下業務單機QPS跑不上去應從哪些角度分析

應用運維 性能分析 微服務 這是做應用運維老生常談的一個事兒，經常做，今天把他總結一下。不管什麽性質的業務，吞吐量的本質是木桶原理，能跑多大量取決於木桶最短的那個板，腦袋裏是不是立刻可以出現木桶的那個模型，哈哈！！換句話說，當有能力提高短板的高度時，業務的吞吐量就會有所上升，但同樣有個邊際效應，經

帶你從原始碼角度分析ViewGroup中事件分發流程

序言 這篇博文不是對事件分發機制全面的介紹，只是從原始碼的角度分析ACTION_DOWN、ACTION_MOVE、ACTION_UP事件在ViewGroup中的分發邏輯，瞭解各個事件在ViewGroup的分發邏輯對理解、解決滑動衝突問題很有幫助。 ViewGroup中事件分發流

從原始碼角度分析GreenDao的一個查詢過程

GreenDao是一個物件關係對映（ORM）的開源框架，是目前最流行的Android資料庫框架。什麼是物件關係對映（ORM），就是把物件層次的結構對映成關係結構的過程。因為sqlite是一種關係型的資料庫，所以我們要通過SQL語句去操作資料庫，這既麻煩也不符合android程式設計師面向物件的程

從互動角度分析微信改版

前言 就在昨天，微信大版本更新，從6.4.7→7.0，本文從互動角度分析此次微信更新。   一、介面改版 整體比以前舒服了許多，之前的灰色腦袋終於去掉了，一下感覺微信變得輕快了許多，整體的視覺美感要高於舊版本。 再看圖示的變化，主色明度稍有降低，顯得更輕快，但是少了一些穩重

從零開始學推薦系統二：隱語義模型

2. 隱語義模型 隱語義模型又可稱為LFM（latent factor model），它從誕生到今天產生了很多著名的模型和方法，其中和該技術相關且耳熟能詳的名詞有pLSA、 LDA、隱含類別模型（latent class model）、隱含主題模型（latent topic model）、矩陣分解（matr

如何從技術角度瞭解產品？

好的產品：業務清晰精準、效能強勁、易用 產品經理：更多關注業務 使用者：覺得好用才是第一位的。 好用的一個標誌就是效能，要是效能不佳，使用者也無心使用。今天我將從產品效能方面講一下我自己的認識（本人是技術出身，所以從技術角度去講會更有信服力。）   架構角度：叢集、分散

多型機制原理解析--從記憶體角度分析

回頭看多型，又有了新的認識。 理解多型主要搞清楚以下幾個問題就可以了：（以父類Pet，子類Dog為例） 1.為什麼可以用表示式 Pet p1= new Dog(); //為什麼可以用父類的引用指向子類建立的物件？ 2. 當用父類的引用p1，操作子類的物件的

推薦系統案例

摘要 本文將介紹如下幾種推薦演算法以及調優過程 1.基線演算法baseline 2.item協同過濾 3. 結合基線演算法baseline的item協同過濾演算法 4. item協同過濾(topK+ baseline) 電影資料集地址： http://files.gro

從技術角度談如何開發一款微信聯網小遊戲

微信自從有了 “跳一跳” 後微信小遊戲就開始迅速火爆起來，為跟上這股潮流，相信很多開發者都想探一探微信小遊戲是如何開發的。下面我就從技術的角度說說一下微信小遊戲如何開發的。 附：本文適合有開發經驗的人，關於如何建立微信小遊戲賬號和使用微信小遊戲開發工具就不再贅述，不瞭解

從原始碼角度分析java層Handler機制

在Android中，當要更新ui的時候，我們必須要在主執行緒中進行更新，原因時當主執行緒被阻塞了5s以上就會出現anr異常，會導致程式崩潰。所以一些耗時的操作必須要放在子執行緒中，但是在子執行緒中又不能做更新ui的操作，所以為了解決這個問題，Android設計了

spark高階資料分析-推薦系統（學習筆記）

1.資料準備 資料集地址 http://www-etud.iro.umontreal.ca/~bergstrj/audioscrobbler_data.html 主要的資料集在檔案user_artist_data.txt 中，它包含141 000 個使用者

從原始碼角度分析ViewDragHelper

最近群裡的小夥伴都在說ViewDragHelper這玩意，我就感覺好像很牛逼的樣子。然後稍微看了下，不是很難，在此先做個筆記。因為之前他們說scroller的時候，我都不知道是啥。然後今天發現我去年寫的demo中還用到了。原諒我豬一般的記性！！ 先來個測試de

從0構建AI推薦系統demo（資料準備）

前言 推薦系統一直以來都是人工智慧領域中較為火熱的研究方向之一，最近公司需要構建常見的資訊類推薦系統，本人也從無到有、從0開始構建AI推薦系統demo版。此篇主要講述最基本的資料準備中，最最最最基本的常用操作。 一、資料準備 記得之前看到過一句話，大致意思是說：資料和特

從原始碼角度分析ViewStub 疑問與原理

一、提出疑問     ViewStub比較簡單，之前文章都提及到《Android 效能優化 三 佈局優化ViewStub標籤的使用》，但是在使用過程中有一個疑惑，到底是ViewStub上設定的引數有效還是在其包括的layout中設定引數有效？如果不明白描述的問題，可以看下以下佈局虛擬碼。 res/lay