ALS演算法是2008年以來，用的比較多的協同過濾演算法。它已經整合到Spark的Mllib庫中，使用起來比較方便。

1 矩陣分解

  使用者對物品的打分行為可以表示成一個評分矩陣A(m*n)，表示m個使用者對n各物品的打分情況。如下圖所示。

u\v	v1	v2	v3	…
u1	5	4	3	…
u2	?	5	?	…
u3	4	?	2	…
…	…	…	…

  其中，A(i,j)表示使用者useri對物品itemj的打分。但是，使用者不會對所有物品打分，圖中？表示使用者沒有打分的情況，所以這個矩陣A很多元素都是空的，我們稱其為“缺失值（missing value）”。在推薦系統中，我們希望得到使用者對所有物品的打分情況，如果使用者沒有對一個物品打分，那麼就需要預測使用者是否會對物品打分，以及會打多少分。這就是所謂的“矩陣補全（填空）”。一個m×n的打分矩陣，A 可以用兩個小矩陣U(m×k)和V(n×k)的乘積來近似：A≈U

VT,k≪m,n。這樣我們就把整個系統的自由度從O(mn)下降到O((m+n)∙k)。舉個例子，我喜歡看略帶黑色幽默的警匪電影，那麼大家根據這個描述就知道我大概會喜歡昆汀的《低俗小說》、《落水狗》和韋家輝的《一個字頭的誕生》。這些電影都符合我對自己喜好的描述，也就是說他們在這個抽象的低維空間的投影和我的喜好相似。再抽象一些，把人們的喜好和電影的特徵都投到這個低維空間，一個人的喜好對映到了一個低維向量ui，一個電影的特徵變成了緯度相同的向量vj，那麼這個人和這個電影的相似度就可以表述成這兩個向量之間的內積。我們把打分理解成相似度，那麼“打分矩陣A(m*n)”就可以由“使用者喜好特徵矩陣U(m*k)”和“產品特徵矩陣V(n*k)”

u\F	f1	f2	f3
u1	?	?	?
u2	?	?	?
u3	?	?	?
…	…	…	…

u\F	f1	f2	f3
v1	?	?	?
v2	?	?	?
v3	?	?	?
v4	?	?	?
v5	?	?	?
…	…	…	…

2 交替最小二乘（ALS）

  演算法的思想就是：對目標函式，先隨機生成然後固定它求解，再固定求解，這樣交替進行下去，直到取得最優解min(C)。因為每步迭代都會降低誤差，並且誤差是有下界的，所以 ALS 一定會收斂。但由於問題是非凸的，ALS 並不保證會收斂到全域性最優解。但在實際應用中，ALS 對初始點不是很敏感，是否全域性最優解造成的影響並不大。

  我們使用使用者喜好特徵矩陣U(m∗k)中的第i個使用者的特徵向量ui，和產品特徵矩陣V(n∗k)第j個產品的特徵向量vj來預測打分矩陣A(m∗n)中的a(ij)。我們可以得出一下的矩陣分解模型的損失函式為：

C=∑(i,j∈R)[(aij−uivTj)2+λ(u2i+v2j)]

  有了損失函式之後，下面就開始介紹優化方法。通常的優化方法分為兩種：交叉最小二乘法（alternative least squares）和隨機梯度下降法（stochastic gradient descent）。Spark使用的是交叉最小二乘法（ALS）來最優化損失函式。
演算法執行步驟：
  • 先隨機生成一個。一般取全域性均值。
  • 固定，即認為是已知的常量，來求解：

c=∑(i,j∈R)(a(ij)−u(0)ivTj)2]+λ((u2i)(0))+v2j)

  由於上式中只有vj一個未知變數，因此C的最優化問題轉化為最小二乘問題，用最小二乘法求解vj的最優解：

  固定j,j∈(1,2,…,n)，則：等式兩邊關於為vj求導得：

d(c)d(vj)=dd(vj)(∑(i=1)m[(a(ij)−u(0)ivTj)2+λ((u2i)(0))+v2j])=∑(i=1)m[2(a(ij)−u(0)ivTj)(−(uTi)(0))+2λvj]=2∑(i=1)m[(u(0)i(uTi)(0)+λ)vj−a(ij)(uTi)(0)]

  令上式等於0，得：

∑

相關推薦

ALS(alternating least squares)交替最小二乘

  ALS演算法是2008年以來，用的比較多的協同過濾演算法。它已經整合到Spark的Mllib庫中，使用起來比較方便。 1 矩陣分解   使用者對物品的打分行為可以表示成一個評分矩陣A(m*n)，表示m個使用者對n各物品的打分情況。如下圖所示。

Spark機器學習(10)：ALS交替最小二乘算法

mllib 測試 con 相互 idt color ted 個人 使用 1. Alternating Least Square ALS(Alternating Least Square)，交替最小二乘法。在機器學習中，特指使用最小二乘法的一種協同推薦算法。如下圖所示，u表

Spark機器學習(java)：ALS交替最小二乘演算法

楔子 Spark機器學習，推薦電影，採用ALS交替最小二乘演算法 Spark中ml和mllib的區別 Spark機器學習(10)：ALS交替最小二乘演算法 demo import java.io.Serializable; import org.apach

ALS（Alternating Least Squares） 交替最小二乘法概述

ALS（Alternating Least Squares）演算法是基於矩陣分解的協同過濾演算法中的一種，在sOven 的oryx框架中，推薦演算法便是採用的這種演算法。 首先說矩陣分解，這裡的矩陣分解可以理解為，將一個m×n的矩陣S分解為一個m×k的矩陣X和n× k的矩陣

Spark MLlib協同過濾之交替最小二乘法ALS原理與實踐

        請先閱讀leboop釋出的博文《Apache Mahout之協同過濾原理與實踐 》。         基於使用者和物品的協同過濾推薦都是建立在一個使用者-物品評分矩陣（user-item

機器學習（四）——最小二乘（Least squares）

藉助舉證導數的工具，現在讓我們繼續以封閉的形式找到θ的值，使得J(θ)最小化。我們從用矩陣向量表示法重寫J開始。給定一個訓練集，設計矩陣X為mxn矩陣，(實際上是mx（n+1），如果我們包括攔截項)，其中每一行為訓練樣本的輸入值：另外，讓是包含訓練集中所有目標值的m維向量：現

Spark MLlib中ALS交替最小二乘法推薦演算法的使用

本文首發於我的個人部落格QIMING.INFO，轉載請帶上鍊接及署名。 ALS(Alternating Least Square)，交替最小二乘法。在機器學習中，特指使用最小二乘法的一種協同推薦演算法。本文通過程式碼來演示用spark執行ALS演算法的一個小例

機器學習---最小二乘線性回歸模型的5個基本假設（Machine Learning Least Squares Linear Regression Assumptions）

成員 toc 我們 假設 depend element 產生 log bsp 在之前的文章《機器學習---線性回歸（Machine Learning Linear Regression）》中說到，使用最小二乘回歸模型需要滿足一些假設條件。但是這些假設條件卻往往是人們容易忽略

機器學習---用python實現最小二乘線性回歸並用隨機梯度下降法求解 （Machine Learning Least Squares Linear Regression Application SGD）

lin python get stat linspace oms mach 實現 all 在《機器學習---線性回歸（Machine Learning Linear Regression）》一文中，我們主要介紹了最小二乘線性回歸模型以及簡單地介紹了梯度下降法。現在，讓我們來

python 最小二乘 leastsq 函數實現

誤差 實現 是個 ipy plt 筆記 matplot otl code 代碼修改自 http://www.cnblogs.com/NanShan2016/p/5493429.html 網上百度了一下，主要是兩個例子，一個利用了多項式函數，一個就是這個。有些細節沒看懂，

最大似然估計與最小二乘

現在 最小 bayesian 我不知道 什麽 改變 我不 tps 有關 參考： 最大似然估計，就是利用已知的樣本結果，反推最有可能（最大概率）導致這樣結果的參數值。例如：一個麻袋裏有白球與黑球，但是我不知道它們之間的比例，那我就有放回的抽取10次，結果我發現我抽到了8次黑球

（九）最小二乘擬合二次曲線

.fig pac atp matrix plot .text Coding 運算 提取數據 1 #coding=utf-8 2 from numpy import * 3 import numpy as np 4 import matplotlib.pyplo

極大既然估計和高斯分布推導最小二乘、LASSO、Ridge回歸

baidu 器） ridge 連續概率 重要 eal 函數 應用 map 最小二乘法可以從Cost/Loss function角度去想，這是統計（機器）學習裏面一個重要概念，一般建立模型就是讓loss function最小，而最小二乘法可以認為是 loss function

線性最小二乘兩種方法

梯度下降 神經網絡 log des sum 直線 ini 結束 erro 線性最小二乘擬合 y = w0 +w1x (參數 w0, w1) （1）如何評價一條擬合好的直線 y = w0 +w1x 的誤差？ 　　"cost" of a given line : Res

最小二乘擬合

有用 初始 等於 計算 合成 mage RR 周期性 () 來自：某小皮 最優化函數庫Optimization 優化是找到最小值或等式的數值解的問題。scipy.optimization子模塊提供函數最小值，曲線擬合和尋找等式的跟的有用算法。 最小二乘擬合 假設有一組實驗數

MIT線性代數：16.投影矩陣和最小二乘

線性代數 技術 最小二乘 最小 image 代數 線性 圖片 投影 MIT線性代數：16.投影矩陣和最小二乘

2018.08.28 ali 梯度下降法實現最小二乘

4.3 div 數量 ask pre oss 找到 1.7 二維 - 要理解梯度下降和牛頓叠代法的區別 #include<stdio.h> // 1. 線性多維函數原型是 y = f(x1,x2,x3) = a * x1 + b * x2 + c * x

Levmar:Levenberg-Marquardt非線性最小二乘算法

例子程序 最小二乘 form sele span img pack nco work Levmar:Levenberg-Marquardt非線性最小二乘算法 [email protected] Abstract. Levmar is GPL native ANSI C impl

matlab練習程序（最小二乘多項式擬合）

相關 sum 因此 使用 val fit width clas height 最近在分析一些數據，就是數據擬合的一些事情，用到了matlab的polyfit函數，效果不錯。 因此想了解一下這個多項式具體是如何擬合出來的，所以就搜了相關資料。 這個文檔介紹的還不錯，我估計

【Mark Schmidt課件】機器學習與資料探勘——普通最小二乘

本課件主要內容包括： 有監督學習：迴歸 示例：依賴與解釋變數 數字標籤的處理 一維線性迴歸 最小二乘目標 微分函式最小化 最小二乘解 二維最小二乘 d維最小二乘 偏微分