FetchSGD: Communication-Efficient Federated Learning with Sketching
摘要
提出了一種FetchSGD演算法來克服通訊瓶頸，使用 Count Sketch 技術壓縮模型更新，並且利用sketches的可並堆性的優點來合併模型更新。由於 Count Sketch 是線性的，動量和誤差的累積計算可以從客戶端遷移至中央聚合器，克服了稀疏客戶端參與的挑戰，同時保持了高壓縮率和良好的收斂性。
Count Sketch 演算法：基本原理是陣列每個單元維持一個計數器，當資料流的元素雜湊索引到陣列的某個位置，此位置計算器加一。查詢某個元素的出現頻率只需雜湊索引到對應計數器即可。很明顯，由於不同元素可能索引到同一個位置，這種方法得到的計數值一般是偏大的。
hash 函式：即雜湊函式，或叫雜湊函式。它可以將不定長的輸入，通過雜湊演算法轉換成一個定長的輸出，這個輸出就是hash值（雜湊值）。需要注意的是，不同的輸入通過雜湊函式，也可能會得到同一個雜湊值。同樣的物件，必須生產同樣的hashCode，而equals就是用來比較物件是否相同，因此，這兩個函式方法是強相關的。
相關推薦
FetchSGD: Communication-Efficient Federated Learning with Sketching
摘要 提出了一種FetchSGD演算法來克服通訊瓶頸，使用 Count Sketch 技術壓縮模型更新，並且利用sketches的可並堆性的優點來合併模型更新。由於 Count Sketch 是線性的，動量和誤差的累積計算可以從客戶端遷移至中央
論文筆記(9)-"Personalized Federated Learning with Gaussian Processes"
不要對這篇blog有什麼期待，因為不論是paper還是code我都看不懂，尤其是程式碼。就當翻譯記錄吧，看看作者幹了啥事，有無實現設定的目標
【流行前沿】聯邦學習 Federated Learning with Only Positive Labels
通過拉開各個標籤在嵌入空間的距離，使得只有一類資料的使用者也能進行聯邦學習
【論文考古】量化SGD Federated Learning with Quantization Constraints
簡介 這篇文章是通訊領域對FL進行量化的代表作，其中掛名的IEEE Fellow都是通訊領域的大佬。與機器學習領域的研究思路不同，這篇文章沒有強調神經網路的訓練或者SGD的收斂性分析，而是站在通訊的角度，研究如何針對F
FAIR: Quality-Aware Federated Learning with Precise User Incentive and Model Aggregation閱讀筆記
動機 本文是2021年infocom上的一篇論文。聯邦學習面臨著兩大挑戰:1.使用者可能並不願意參與到學習中，因為該學習消耗計算資源和精力。2.每個使用者提供的更新質量不同，低質量的模型更新會破壞整體模型的效能。針對以
聯邦學習——論文研究（FedBoost: Communication-Efficient Algorithms for Federated Learning）
主要內容： 不同於梯度壓縮和模型壓縮，FedBoost整合學習演算法，能夠降低伺服器到客戶端
Deep Learning with pytorch筆記（第三章）
3.7Tensor底層原理 真正管理儲存這資料的記憶體區域的，是類Storage的例項，這個Storage的例項通過一個一維陣列來儲存資料。不管外在表現為多少維的陣列，都是儲存在一個一維陣列中。而怎麼讓這個一維陣列看起來像多
【論文筆記】《FLchain: Federated Learning via MEC-enabled Blockchain Network》精讀筆記
Information of the paper： DOI:10.23919/APNOMS.2019.8892848 目錄 1. Abstract 2. Preliminaries and Definitions
【論文筆記（5）ECCV2020】Graph convolutional networks for learning with few clean and many noisy labels
Graph convolutional networks for learning with few clean and many noisy labels AbstractIntroductionRelated WrokProblem formulationCleaning with graph convolutional networksLearning a classi
論文閱讀筆記5-An Asynchronous Energy-Efficient CNN Accelerator with Reconfigurable Architecture
一、Title An Asynchronous Energy-Efficient CNN Accelerator with Reconfigurable Architecture 二、Abstract & Introduction
Federated Learning for Vision-and-Language Grounding Problems
轉載自此處 文章背景 這篇文章的背景是這樣的，首先我的每個客戶端輸入的都是影象，這些影象可以是不同型別的，作者在實驗中是用了兩個不同的資料集來表示這一點。其次是每個客戶端的任務也可以是不同的，比
Federated Learning: 問題與優化演算法
工作原因，聽到和使用Federated Learning框架很多，但是對框架內的演算法和架構瞭解不夠細緻，特讀論文以記之。
【全文翻譯】Can You Really Backdoor Federated Learning?
Can You Really Backdoor Federated Learning? 1 Introduction2 Backdoor Attack Scenario3 Model Update Poisoning Attacks4 Defenses5 Experiments6 Discussion
機器學習 類條件隨機標籤噪聲情況下的二分類問題研究 復現NIPS論文learning with noisy label（logistic & C-SVM）
論文百度網盤連結：https://pan.baidu.com/s/1XWj1YInZCuKldRpYnZTttg 密碼：u4lb UCI資料可以在論文中給的一個URL中找到，如找不到也可聯絡QQ1551904915獲取。
強化學習論文研讀（四）——Deep Reinforcement Learning with Double Q-Learning
技術標籤：論文研讀深度學習強化學習python演算法 double Q learning + DQN的合成演算法。
DIVIDEMIX: LEARNING WITH NOISY LABELS AS SEMI-SUPERVISED LEARNING
論文閱讀： DIVIDEMIX: LEARNING WITH NOISY LABELS AS SEMI-SUPERVISED LEARNING 作者說明 版權宣告：本文為博主原創文章，遵循 CC 4.0 BY-SA 版權協議，轉載請附上原文出處連結和本宣告。
Improving Generalization in Reinforcement Learning with Mixture Regularization
發表時間：2020（NeurIPS 2020） 文章要點：這篇文章提出了一個叫mixreg的方法來提高agent泛化性。大致方法就是說用多個環境訓練，並且對環境做插值，這樣學到的策略就會更平滑，泛化性就更好。具體的，我有兩個狀
LEARNING WITH AMIGO: ADVERSARIALLY MOTIVATED INTRINSIC GOALS
發表時間：2021（ICLR 2021） 文章要點：這篇文章提出了一個解決sparse extrinsic rewards的辦法AMIGO。思路就是用一個goal-generating teacher來生成難度適中的任務目標(constructively adversarial objective)，
[ PyTorch ] Deep Learning with PyTorch: A 60 minute Blitz（閃電戰）| TENSORS
TENSORS Tensors are a specialized data structure that are very similar to arrays and matrices. In PyTorch, we use tensors to encode the inputs and outputs of a model, as well as the model\'s paramete
論文筆記(8)-"Personalized Federated Learning using Hypernetworks"
只能說很像計算機那批人做的，就當看code和想法吧 這篇是ICML 2021的一篇論文，論文和程式碼都看了一下，配合著程式碼簡單說一下文章思路。