2. 程式人生 > >GStreamer基礎教程08 - 多執行緒

GStreamer基礎教程08 - 多執行緒

阿新 • • 發佈：2019-09-29

摘要

　　GStreamer框架會自動處理多執行緒的邏輯，但在某些情況下，我們仍然需要根據實際的情況自己將部分Pipeline在單獨的執行緒中執行，本文將介紹如何處理這種情況。

GStreamer多執行緒

　　GStreamer框架是一個支援多執行緒的框架，執行緒會根據Pipeline的需要自動建立和銷燬，例如，將媒體流與應用執行緒解耦，應用執行緒不會被GStreamer的處理阻塞。而且，GStreamer的外掛還可以建立自己所需的執行緒用於媒體的處理，例如：在一個4核的CPU上，視訊解碼外掛可以建立4個執行緒來最大化利用CPU資源。
　　此外，在建立Pipeline時，我們還可以指定某個Pipeline的分支在不同的執行緒中執行（例如，使audio、video同時在不同的執行緒中進行解碼）。這是通過queue Element來實現的，queue的sink pad僅僅將資料放入佇列，另外一個執行緒從佇列中取出資料，並傳遞到下一個Element。queue通常也被用於作為資料緩衝，緩衝區大小可以通過queue的屬性進行配置。

　　在上面的示例Pipeline中，souce是audiotestsrc，會產生一個相應的audio訊號，然後使用tee Element將資料分為兩路，一路被用於播放，通過音效卡輸出，另一路被用於轉換為視訊波形，用於輸出到螢幕。
示例圖中的紅色陰影部分表示位於同一個執行緒中，queue會建立單獨的執行緒，所以上面的Pipeline使用了3個執行緒完成相應的功能。擁有多個sink的Pipeline通常需要多個執行緒，因為在多個sync間進行同步的時候，sink會阻塞當前所線上程直到所等待的事件發生。

示例程式碼

示例程式碼將建立上圖所示的Pipeline。

#include <gst/gst.h>

int main(int argc, char *argv[]) {
  GstElement *pipeline, *audio_source, *tee, *audio_queue, *audio_convert, *audio_resample, *audio_sink;
  GstElement *video_queue, *visual, *video_convert, *video_sink;
  GstBus *bus;
  GstMessage *msg;
  GstPad *tee_audio_pad, *tee_video_pad;
  GstPad *queue_audio_pad, *queue_video_pad;

  /* Initialize GStreamer */
  gst_init (&argc, &argv);

  /* Create the elements */
  audio_source = gst_element_factory_make ("audiotestsrc", "audio_source");
  tee = gst_element_factory_make ("tee", "tee");
  audio_queue = gst_element_factory_make ("queue", "audio_queue");
  audio_convert = gst_element_factory_make ("audioconvert", "audio_convert");
  audio_resample = gst_element_factory_make ("audioresample", "audio_resample");
  audio_sink = gst_element_factory_make ("autoaudiosink", "audio_sink");
  video_queue = gst_element_factory_make ("queue", "video_queue");
  visual = gst_element_factory_make ("wavescope", "visual");
  video_convert = gst_element_factory_make ("videoconvert", "csp");
  video_sink = gst_element_factory_make ("autovideosink", "video_sink");

  /* Create the empty pipeline */
  pipeline = gst_pipeline_new ("test-pipeline");

  if (!pipeline || !audio_source || !tee || !audio_queue || !audio_convert || !audio_resample || !audio_sink ||
      !video_queue || !visual || !video_convert || !video_sink) {
    g_printerr ("Not all elements could be created.\n");
    return -1;
  }

  /* Configure elements */
  g_object_set (audio_source, "freq", 215.0f, NULL);
  g_object_set (visual, "shader", 0, "style", 1, NULL);

  /* Link all elements that can be automatically linked because they have "Always" pads */
  gst_bin_add_many (GST_BIN (pipeline), audio_source, tee, audio_queue, audio_convert, audio_resample, audio_sink,
      video_queue, visual, video_convert, video_sink, NULL);
  if (gst_element_link_many (audio_source, tee, NULL) != TRUE ||
      gst_element_link_many (audio_queue, audio_convert, audio_resample, audio_sink, NULL) != TRUE ||
      gst_element_link_many (video_queue, visual, video_convert, video_sink, NULL) != TRUE) {
    g_printerr ("Elements could not be linked.\n");
    gst_object_unref (pipeline);
    return -1;
  }

  /* Manually link the Tee, which has "Request" pads */
  tee_audio_pad = gst_element_get_request_pad (tee, "src_%u");
  g_print ("Obtained request pad %s for audio branch.\n", gst_pad_get_name (tee_audio_pad));
  queue_audio_pad = gst_element_get_static_pad (audio_queue, "sink");
  tee_video_pad = gst_element_get_request_pad (tee, "src_%u");
  g_print ("Obtained request pad %s for video branch.\n", gst_pad_get_name (tee_video_pad));
  queue_video_pad = gst_element_get_static_pad (video_queue, "sink");
  if (gst_pad_link (tee_audio_pad, queue_audio_pad) != GST_PAD_LINK_OK ||
      gst_pad_link (tee_video_pad, queue_video_pad) != GST_PAD_LINK_OK) {
    g_printerr ("Tee could not be linked.\n");
    gst_object_unref (pipeline);
    return -1;
  }
  gst_object_unref (queue_audio_pad);
  gst_object_unref (queue_video_pad);

  /* Start playing the pipeline */
  gst_element_set_state (pipeline, GST_STATE_PLAYING);

  /* Wait until error or EOS */
  bus = gst_element_get_bus (pipeline);
  msg = gst_bus_timed_pop_filtered (bus, GST_CLOCK_TIME_NONE, GST_MESSAGE_ERROR | GST_MESSAGE_EOS);

  /* Release the request pads from the Tee, and unref them */
  gst_element_release_request_pad (tee, tee_audio_pad);
  gst_element_release_request_pad (tee, tee_video_pad);
  gst_object_unref (tee_audio_pad);
  gst_object_unref (tee_video_pad);

  /* Free resources */
  if (msg != NULL)
    gst_message_unref (msg);
  gst_object_unref (bus);
  gst_element_set_state (pipeline, GST_STATE_NULL);

  gst_object_unref (pipeline);
  return 0;
}

儲存以上程式碼，執行下列編譯命令即可得到可執行程式：

gcc basic-tutorial-8.c -o basic-tutorial-8 `pkg-config --cflags --libs gstreamer-1.0`

原始碼分析

/* Create the elements */
audio_source = gst_element_factory_make ("audiotestsrc", "audio_source");
tee = gst_element_factory_make ("tee", "tee");
audio_queue = gst_element_factory_make ("queue", "audio_queue");
audio_convert = gst_element_factory_make ("audioconvert", "audio_convert");
audio_resample = gst_element_factory_make ("audioresample", "audio_resample");
audio_sink = gst_element_factory_make ("autoaudiosink", "audio_sink");
video_queue = gst_element_factory_make ("queue", "video_queue");
visual = gst_element_factory_make ("wavescope", "visual");
video_convert = gst_element_factory_make ("videoconvert", "video_convert");
video_sink = gst_element_factory_make ("autovideosink", "video_sink");

　　首先建立所需的Element：audiotestsrc會產生測試的音訊波形資料。wavescope 會將輸入的音訊資料轉換為波形影象。audioconvert，audioresample，videoconvert保證了Pipeline中各個Element之間的資料可以互相相容，使得Pipeline能夠被正確的link起來，如果不需要對資料進行轉換，這些Element會直接將資料傳送到下一個Element，這種情況下的效能影響可以忽略不計。

/* Configure elements */
g_object_set (audio_source, "freq", 215.0f, NULL);
g_object_set (visual, "shader", 0, "style", 1, NULL);

　　這裡修改相應Element的引數，使得輸出結果更直觀。“freq”會設定audiotestsrc輸出波形的頻率為215Hz，設定“shader”和“style”使得波形更加連續。其他的引數可以通過gst-inspect檢視。

/* Link all elements that can be automatically linked because they have "Always" pads */
gst_bin_add_many (GST_BIN (pipeline), audio_source, tee, audio_queue, audio_convert, audio_sink,
    video_queue, visual, video_convert, video_sink, NULL);
if (gst_element_link_many (audio_source, tee, NULL) != TRUE ||
    gst_element_link_many (audio_queue, audio_convert, audio_sink, NULL) != TRUE ||
    gst_element_link_many (video_queue, visual, video_convert, video_sink, NULL) != TRUE) {
  g_printerr ("Elements could not be linked.\n");
  gst_object_unref (pipeline);
  return -1;
}

　　這裡我們使用gst_element_link_many 將多個Element連線起來，需要注意的是，這裡我們只連線了擁有Always Pad的Eelement。雖然gst_element_link_many() 能夠在內部處理Request Pad的情況，但我們仍然需要單獨釋放Request Pad，如果直接使用此函式連線所有的Element，這樣容易忘記釋放Request Pad。因此我們使用下面的程式碼單獨處理Request Pad。

/* Manually link the Tee, which has "Request" pads */
tee_audio_pad = gst_element_get_request_pad (tee, "src_%u");
g_print ("Obtained request pad %s for audio branch.\n", gst_pad_get_name (tee_audio_pad));
queue_audio_pad = gst_element_get_static_pad (audio_queue, "sink");
tee_video_pad = gst_element_get_request_pad (tee, "src_%u");
g_print ("Obtained request pad %s for video branch.\n", gst_pad_get_name (tee_video_pad));
queue_video_pad = gst_element_get_static_pad (video_queue, "sink");
if (gst_pad_link (tee_audio_pad, queue_audio_pad) != GST_PAD_LINK_OK ||
    gst_pad_link (tee_video_pad, queue_video_pad) != GST_PAD_LINK_OK) {
  g_printerr ("Tee could not be linked.\n");
  gst_object_unref (pipeline);
  return -1;
}
gst_object_unref (queue_audio_pad);
gst_object_unref (queue_video_pad);

　　為了能夠連線到Request Pad，我們需要主動的向Element取得相應的Pad。由於一個Element可以提供不同的Request Pad，所以我們需要指定所需的“Pad Template”，Element提供的Pad Template可以通過gst-inspect檢視。從下面的結果可以發現，tee提供了2種類型的模板， ”sink“ 和“src_%u"。

$ gst-inspect-1.0  tee
...
Pad Templates:
  SRC template: 'src_%u'
    Availability: On request
      Has request_new_pad() function: gst_tee_request_new_pad
    Capabilities:
      ANY

  SINK template: 'sink'
    Availability: Always
    Capabilities:
      ANY
...

　　由於我們這裡需要的是2個Source Pad，所以我們通過gst_element_get_request_pad (tee, "src_%u")獲取兩個Request Pad分別用於audio和video。queue的Sink Pad是Alwasy Pad，所以我們直接使用gst_element_get_static_pad 獲取其Sink Pad。最後再通過gst_pad_link()將其連線起來，在gst_element_link()和gst_element_link_many()內部也是使用此函式連線兩個Element的Pad。

需要注意的是，我們通過Element獲取到的Pad的引用計數會自動增加，因此我們需要呼叫gst_object_unref()釋放相關的引用，對於Request Pad，我們需要在Pipeline執行完成後進行釋放。

 

/* Release the request pads from the Tee, and unref them */
gst_element_release_request_pad (tee, tee_audio_pad);
gst_element_release_request_pad (tee, tee_video_pad);
gst_object_unref (tee_audio_pad);
gst_object_unref (tee_video_pad);

除了播放完成後正常的資源釋放外，我們還要對Request進行釋放，需要首先呼叫gst_element_release_request_pad()，最後再釋放相應的物件。

總結

我們在本文中瞭解了：

  • 如何通過queue讓Pipeline執行在多個執行緒上。
  • 如何通過gst_element_get_request_pad(), gst_pad_link() gst_element_release_request_pad() 對Request Pad進行操作。
  • 如何使用tee將一路媒體資料分為多路。

 

引用

https://gstreamer.freedesktop.org/documentation/tutorials/basic/multithreading-and-pad-availability.html?gi-language=c

作者：John.Leng 出處：http://www.cnblogs.com/xleng/ 本文版權歸作者所有，歡迎轉載。商業轉載請聯絡作者獲得授權，非商業轉載請在文章頁面明顯位置給出原文連線.

相關推薦

GStreamer基礎教程08 - 多執行緒

摘要 　　GStreamer框架會自動處理多執行緒的邏輯，但在某些情況下，我們仍然需要根據實際的情況自己將部分Pipeline在單獨的執行緒中執行，本文將介紹如何處理這種情況。 GStreamer多執行緒 　　GStreamer框架是一個支援多執行緒的框架，執行緒會根據Pipeline的需要自動建立和銷

GStreamer基礎教程07——多執行緒和Pad的有效性

目標       GStreamer會自動處理多執行緒這部分，但在有些情況下，你需要手動對執行緒做解耦。本教程會教你怎樣才能做到這一點，另外也展示了Pad的有效性。主要內容包括：       如何針對部分的pipeline建立一個新的執行緒       什麼是Pad的有效性

linux執行緒基礎概念及多執行緒程式設計

Linux中執行緒的概念： 首先，Linux中並不存在真在的執行緒。Linux中的執行緒是使用程序來模擬的。在一個程序需要同時執行多個執行流時，linux並不是開闢多個執行緒來執行，而是通過多個程序來模擬多個執行緒。 Linux中執行緒的實現原理： 首先先看一下張圖： 此時共有

多執行緒-day-08多執行緒和執行緒併發工具總結

目錄 多執行緒和執行緒併發工具總結 執行緒基礎、執行緒之間的共享協作 基礎概念 Java執行緒 執行緒常用方法和執行緒狀態 共享執行緒 執行緒間協作 執行緒併發工具類 Fork-Join分而治之、工作密取 Fork-Join標準正規化 Fork-Joi

c++ 網路程式設計（九）TCP/IP LINUX/windows下 多執行緒超詳細教程 以及 多執行緒實現服務端

#define _CRT_SECURE_NO_WARNINGS #include <stdio.h> #include <stdlib.h> #include <process.h> #include <winsock2.h> #include <win

c++ 網路程式設計（九）TCP/IP LINUX/windows下 多執行緒超詳細教程 以及 多執行緒實現服務端

原文作者：aircraft 原文連結：https://www.cnblogs.com/DOMLX/p/9661012.html  先講Linux下（windows下在後面可以直接跳到後面看）： 一.執行緒基本概念 前面我們講過多程序伺服器，但我們知道它開銷很大

CUDA基礎的基礎教程二、執行緒協作

1.回顧： 上一篇部落格我們介紹了CUDA呼叫核函式的形式 <<<N,M>>>> 。 N 代表執行緒塊的數量，M 代表執行緒塊中有多少個並行的執行緒，那麼就是建立了N×M個並行執行緒，當然 M=1 時就是 N 個，我們利

Go 系列教程-6 多執行緒 併發

Go 系列教程 —— 20. 併發入門 Go 是併發式語言，而不是並行式語言。在討論 Go 如何處理併發之前，我們必須理解何為併發，以及併發與並行的區別。 併發是什麼？ 併發是指立即處理多個任務的能力。一個例子就能很好地說明這一點。 我們可以想象一個人正在跑步。假如在他晨跑時，鞋帶突

Java基礎加強之多執行緒篇 - 執行緒建立與終止、互斥、通訊、本地變數

執行緒建立與終止 執行緒建立 Thread類與 Runnable 介面的關係 public interface Runnable { public abstract void run(); } public class Thread implements Run

Java併發指南1：併發基礎與Java多執行緒

什麼是併發 在過去單CPU時代，單任務在一個時間點只能執行單一程式。之後發展到多工階段，計算機能在同一時間點並行執行多工或多程序。雖然並不是真正意義上的“同一時間點”，而是多個任務或程序共享一個CPU，並交由作業系統來完成多工間對CPU的執行切換，以使得每個任務都有機會

java基礎知識總結--多執行緒

1、擴充套件Java.lang.Thread類 1.1、程序和執行緒的區別：        程序：每個程序都有自己獨立的程式碼和資料空間（程序上下文），程序間的切換會有較大的開銷，一個程序包含1~n個執行緒。    

Python爬蟲教程：多執行緒爬取電子書

程式碼非常簡單，有咱們前面的教程做鋪墊，很少的程式碼就可以實現完整的功能了，最後把採集到的內容寫到  csv 檔案裡面，(  csv  是啥，你百度一下就知道了) 這段程式碼是  IO密集操作  我們採用  aiohttp  模

Python爬蟲入門教程，多執行緒採集鬥圖啦表情包！

寫在前面 今天在CSDN部落格，發現好多人寫爬蟲都在爬取一個叫做鬥圖啦的網站，裡面很多表情包，然後瞅了瞅，各種實現方式都有，今天我給你實現一個多執行緒版本的。關鍵技術點 aiohttp ，你可以看一下我前面的文章，然後在學習一下。 https://github.com/wangde

C#基礎系列：多執行緒的常見用法詳解

前言：此篇就主要從博主使用過的幾種多執行緒的用法從應用層面大概介紹下。文中觀點都是博主個人的理解，如果有不對的地方望大家指正~~ 1、多執行緒：使用多個處理控制代碼同時對多個任務進行控制處理的一種技術。據博主的理解，多執行緒就是該應用的主執行緒任命其他多個執行緒去協

《Unity 3D遊戲客戶端基礎框架》多執行緒非同步 Socket 框架構建

引言： 之前寫過一個 demo 案例大致講解了 Socket 通訊的過程，並和自建的伺服器完成連線和簡單的資料通訊，詳細的內容可以檢視 Unity3D —— Socket通訊(C#)。但是在實際專案應用的過程中，這個 demo 的實現方式顯得異常簡陋，而且對應

Java基礎 實驗六 多執行緒

一、實驗內容     在一個執行緒中求100以內素數，求出後休眠一個隨機時間。在另一執行緒中求100以內能被3整除的數，求出後休眠一個隨機時間。輸出資料時應有提示，指明哪個執行緒輸出的資料。 二、實驗程式碼 1、NewOneThread.java packag

java基礎-JAVA之多執行緒

------<a href="http://www.itheima.com" target="blank">Java培訓、Android培訓、iOS培訓、.Net培訓</a>、期待與您交流！ ------- 要想了解執行緒，先了解程序的概念程序： 程

黑馬程式設計師——java基礎拾遺之多執行緒（二） 執行緒同步、執行緒通訊

執行緒安全的概念：當多個執行緒同時執行一段程式碼時，如果結果和單執行緒執行時一致，而且其他變數也和預期的一致，說明是這段程式碼是執行緒安全的。但是，多執行緒執行的過程中會出現單執行緒時候不會出現的問題，大多出現在多個執行緒同時操作全域性變數或者靜態變數的時候。當出現這種

Java基礎筆記之多執行緒

1.    執行緒在程式中是獨立的，併發的執行流。當程序被初始化後，主執行緒就建立了。 2.    多執行緒程式設計的優點： 程序之間不能共享記憶體，但執行緒之間共享記憶體非常容易。 系統建立程序時需要為該程序重新分配系統資源，但建立執行緒則代價小得多，因此使用多執行緒來

Java入門教程十三(多執行緒)

執行緒的概念 單純種以一個任務完成以後再進行下一個任務的模式進行，這樣下一個任務的開始必須等待前一個任務的結束，只有一個任務完成後才能進行下一個任務。Java 語言提供了併發機制，允許開發人員在程式中執行多個執行緒，每個執行緒完成一個功能，並與其他執行緒併發執行。這種機制被稱為多執行緒。作業系統以程序為單位，