1. 程式人生 > >音視訊技術開發週刊 82期

音視訊技術開發週刊 82期

640?wx_fmt=jpeg


音視訊技術開發週刊』由LiveVideoStack團隊出品,專注在音視訊技術領域,縱覽相關技術領域的乾貨和新聞投稿,每週一期。點選『閱讀原文』,瀏覽第82期內容,祝您閱讀愉快。


架構


基於Licode的WebRTC全球分散式架構

隨著線上教育行業的興起, 許多人把目光投向了國外市場,而如何搭建全球化的音視訊網路就成為了其中的關鍵問題。百家雲研發工程師陳聰詳細介紹瞭如何利用Licode 開源伺服器搭建全球分散式架構以解決常見的教育場景的問題。本文來自陳聰在LiveVideoStackCon 2018上的演講,由LiveVideoStack整理而成。


實時音視訊通訊(RTC)和低延時直播調研

調研的資料很多都是一線最新的資料,是各大雲廠商及大客戶正在做、準備做或者已經完成的的專案,各大公司架構設計部分儘可能給大家展示各個公司最新的架構,但是由於資料有限,資料更新不及時,可能會有偏差。


ffplayer 原理、架構及程式碼分析——音視訊同步與幀率控制

音視訊同步是一個播放器要處理的基本問題,音視訊同步的好壞直接影響到播放效果。解碼後的音訊片段和視訊片段,都分別帶有 pts 時間戳資訊。回放時需要做的,就是儘量保證 apts(音訊時間戳)和 vpts(視訊時間戳),之間的差值是最小的。


播放器技術分享(5):延時優化

本篇是系列文章的第五篇,主要聊一聊如何優化播放延時。由於播放的延時,是需要從 “視訊的生產 -> 分發 -> 播放” 各個環節聯合優化的,並不是單一靠播放器就可以搞定的,因此,本文會更多地介紹一些整體上的延時原因和優化思路,而不是單講播放器本身如何解決延時問題。


音訊/視訊技術


帶著問題,再讀ijkplayer原始碼

問題:主流程上的區別;緩衝區的設計;記憶體管理的邏輯;音視訊播放方式;音視訊同步;seek的問題:緩衝區flush、播放時間顯示、k幀間距大時定位不准問題…


計算機視覺如何“看”體育比賽

從簡單的運動視訊分類,到識別體育視訊中的比賽事件,再到利用視訊分析技術自動生成比賽解說,計算機視覺在體育賽事分析中已經有了長足的發展,並且在這方面的應用和研究領域還在不斷擴寬。


基於遞階遞迴神經網路的音訊超解析度

本工作提出了一種用於音訊超解析度的遞迴模型,該模型的任務是推斷低解析度錄音的高解析度版本。鑑於缺乏基線方法和最合適的深度學習方法的模糊性,我們將重點放在遞迴神經網路上。我們提出了一種分層遞迴神經網路(Hrnn),它使用基於迴歸的損失和感知損失相結合的損失函式進行訓練。


編解碼


新一代視訊編碼標準:VVC、AVS3

本文來自北京大學資訊科學技術學院教授馬思偉在LiveVideoStackCon 2018大會上的演講,詳細介紹了最新一代VVC和AVS3視訊編碼標準進展,包括關鍵技術特色以及未來的應用展望。


姜健:VP9可適性視訊編碼(SVC)新特性

與VP8相比,VP9進行了大量的設計改進以儘可能的獲得更高的視訊編碼質量。Google軟體工程師 姜健詳細介紹了VP9可適性視訊編碼(SVC)中多種新功能的實現與相應API。本文來自姜健在LiveVideoStack 線上交流分享,並由LiveVideoStack整理而成。


百度媒體雲智慧編碼技術實踐

隨著視訊行業的蓬勃發展,提升視訊質量,降低頻寬成本成為各平臺的首要挑戰目標。本文來自百度雲資深工程師邢懷飛在LiveVideoStackCon 2018大會的精彩分享。在分享中其對百度雲智慧編碼技術進行了深入介紹,並結合具體實踐進一步介紹AI技術在雲轉碼中的應用探索。


MPEG視訊編碼增強方案初探

MPEG的初步方案是開發由兩個流定義的資料流結構,一個是可由硬體解碼器解碼的基本流,另一個用於更高處理能力的軟體處理的增強流。


WebRTC Native 原始碼導讀(十五):RTP H.264 封裝與解封裝

之前我在為 janus-pp-rec 增加視訊旋正功能一文中簡單介紹了一點 RTP 協議的內容,重點關注的是視訊方向的 RTP header extension,這次我們更深入的瞭解一下 RTP 協議的內容,看看 H.264 視訊資料是如何封裝和解封裝的。


Android音視訊(四)MediaCodec編解碼AAC

MediaCodec類可以訪問底層媒體編解碼框架(StageFright 或 OpenMAX),即編解碼元件,它是Android基本的多媒體支援基礎架構的一部分,通常和MediaExtractor、MediaSync、MediaMuxer、MediaCrypto、MediaDrm、Image、Surface和AudioTrack一起使用。


AI智慧


Pixel 3 的最佳照片功能

最佳照片是最近隨 Pixel 3 推出的一項新功能,可以在您按下快門按鈕時自動幫您精準捕捉珍貴瞬間。最佳照片功能採用計算機視覺技術,可以實時儲存並分析按下裝置快門鍵前後的影象幀,向您推薦多張高質量 HDR+ 備選照片。


何愷明組又出神作!最新論文提出全景分割新方法

FAIR何愷明團隊最新論文提出“全景FPN”,聚焦於影象的全景分割任務,將分別用於語義分割和例項分割的FCN和Mask R-CNN結合起來,設計了Panoptic FPN。該方法可能成為全景分割研究的強大基線。


效果驚人:上古卷軸III等經典遊戲也能使用超解析度GAN重製了

影象超解析度是指從觀測到的低解析度影象重建出相應的高解析度影象,這種重建不僅指令影象變得清晰銳利,同時還表示模型需要利用影象的高階語義資訊重建出丟失的資訊。因此這實際上是一個比較困難的任務,不過目前基於卷積神經網路或生成對抗網路的方法還是有比較好的效果。


CES2019第二天AR/VR彙總:現代展示全息AR導航,LetinAR亮相80°FOV AR模組

CES 2019消費電子展正式進入第二天,除了一些大的或直接和VR/AR相關的展臺外,也有不少展臺紛紛將VR與之案例相結合進行展示,這在近一年的展會中經常見到。


影象


iOS 圖片壓縮方法

本文介紹了兩種圖片壓縮方法:壓縮圖片質量(Quality),壓縮圖片尺寸(Size)。如果要保證圖片清晰度,建議選擇壓縮圖片質量。如果要使圖片一定小於指定大小,壓縮圖片尺寸可以滿足。