2. 程式人生 > >GStreamer基礎教程04 - 動態連線Pipeline

GStreamer基礎教程04 - 動態連線Pipeline

阿新 • • 發佈：2019-07-16

摘要

在以前的文章中，我們瞭解到了2種播放檔案的方式：一種是在知道了檔案的型別及編碼方式後，手動建立所需Element並構造Pipeline；另一種是直接使用playbin，由playbin內部動態建立所需Element並連線Pipeline。很明顯使用playbin的方式更加靈活，我們不需要在一開始就建立各種Pipeline，只需由playbin內部根據檔案型別，自動構造Pipeline。 在瞭解了Pad的作用後，本文通過一個例子來了解如何通過Pad事件動態的連線Pipeline，為了解playbin內部是如何動態建立Pipeline打下基礎。

 

動態連線Pipeline

在本章的例子中，我們在將Pipeline設定為PLAYING狀態之前，不會將所有的Element都連線起來，這種處理方式是可以的，但需要額外的處理。如果在設定PLAYING狀態後不做任何操作，資料無法到達Sink，Pipeline會直接丟擲一個錯誤並退出。如果在收到相應事件後，對其進行處理，並將Pipeline連線起來，Pipeline就可以正常工作。

我們常見的媒體，音訊和視訊都是通過某一種容器格式被包含中同一個檔案中。播放時，我們需要將音視訊資料分離出來，通常將具備這種功能的模組稱為分離器（demuxer）。

GStreamer針對常見的容器提供了相應的demuxer，如果一個容器檔案中包含多種媒體資料（例如：一路視訊，兩路音訊），這種情況下，demuxer會為些資料分別建立不同的Source Pad，每一個Source Pad可以被認為一個處理分支，可以建立多個分支分別處理相應的資料。

gst-launch-1.0 filesrc location=sintel_trailer-480p.ogv ! oggdemux name=demux ! queue ! vorbisdec ! autoaudiosink demux. ! queue ! theoradec ! videoconvert ! autovideosink

通過上面的命令播放檔案時，會建立具有2個分支的Pipeline：

使用demuxer需要注意的一點是：demuxer只有在收到足夠的資料時才能確定容器中包含哪些媒體資訊，因此demuxer開始沒有Source Pad，所以其他的Element無法在Pipeline建立時就連線到demuxer。
解決這種問題的辦法是：在建立Pipeline時，我們只將Source Element到demuxer之間的Elements連線好，然後設定Pipeline狀態為PLAYING，當demuxer收到足夠的資料可以確定檔案總包含哪些媒體流時，demuxer會建立相應的Source Pad，並通過事件告訴應用程式。我們可以通過監聽demuxer的事件，在新的Source Pad被建立時，我們根據資料型別，建立相應的Element，再將其連線到Source Pad，形成完整的Pipeline。

 

示例程式碼

為了簡化邏輯，我們在本示例中會忽略視訊的Source Pad，僅連線音訊的Source Pad。

#include <gst/gst.h>

/* Structure to contain all our information, so we can pass it to callbacks */
typedef struct _CustomData {
  GstElement *pipeline;
  GstElement *source;
  GstElement *convert;
  GstElement *sink;
} CustomData;

/* Handler for the pad-added signal */
static void pad_added_handler (GstElement *src, GstPad *pad, CustomData *data);

int main(int argc, char *argv[]) {
  CustomData data;
  GstBus *bus;
  GstMessage *msg;
  GstStateChangeReturn ret;
  gboolean terminate = FALSE;

  /* Initialize GStreamer */
  gst_init (&argc, &argv);

  /* Create the elements */
  data.source = gst_element_factory_make ("uridecodebin", "source");
  data.convert = gst_element_factory_make ("audioconvert", "convert");
  data.sink = gst_element_factory_make ("autoaudiosink", "sink");

  /* Create the empty pipeline */
  data.pipeline = gst_pipeline_new ("test-pipeline");

  if (!data.pipeline || !data.source || !data.convert || !data.sink) {
    g_printerr ("Not all elements could be created.\n");
    return -1;
  }

  /* Build the pipeline. Note that we are NOT linking the source at this
   * point. We will do it later. */
  gst_bin_add_many (GST_BIN (data.pipeline), data.source, data.convert , data.sink, NULL);
  if (!gst_element_link (data.convert, data.sink)) {
    g_printerr ("Elements could not be linked.\n");
    gst_object_unref (data.pipeline);
    return -1;
  }

  /* Set the URI to play */
  g_object_set (data.source, "uri", "https://www.freedesktop.org/software/gstreamer-sdk/data/media/sintel_trailer-480p.webm", NULL);

  /* Connect to the pad-added signal */
  g_signal_connect (data.source, "pad-added", G_CALLBACK (pad_added_handler), &data);

  /* Start playing */
  ret = gst_element_set_state (data.pipeline, GST_STATE_PLAYING);
  if (ret == GST_STATE_CHANGE_FAILURE) {
    g_printerr ("Unable to set the pipeline to the playing state.\n");
    gst_object_unref (data.pipeline);
    return -1;
  }

  /* Listen to the bus */
  bus = gst_element_get_bus (data.pipeline);
  do {
    msg = gst_bus_timed_pop_filtered (bus, GST_CLOCK_TIME_NONE,
        GST_MESSAGE_STATE_CHANGED | GST_MESSAGE_ERROR | GST_MESSAGE_EOS);

    /* Parse message */
    if (msg != NULL) {
      GError *err;
      gchar *debug_info;

      switch (GST_MESSAGE_TYPE (msg)) {
        case GST_MESSAGE_ERROR:
          gst_message_parse_error (msg, &err, &debug_info);
          g_printerr ("Error received from element %s: %s\n", GST_OBJECT_NAME (msg->src), err->message);
          g_printerr ("Debugging information: %s\n", debug_info ? debug_info : "none");
          g_clear_error (&err);
          g_free (debug_info);
          terminate = TRUE;
          break;
        case GST_MESSAGE_EOS:
          g_print ("End-Of-Stream reached.\n");
          terminate = TRUE;
          break;
        case GST_MESSAGE_STATE_CHANGED:
          /* We are only interested in state-changed messages from the pipeline */
          if (GST_MESSAGE_SRC (msg) == GST_OBJECT (data.pipeline)) {
            GstState old_state, new_state, pending_state;
            gst_message_parse_state_changed (msg, &old_state, &new_state, &pending_state);
            g_print ("Pipeline state changed from %s to %s:\n",
                gst_element_state_get_name (old_state), gst_element_state_get_name (new_state));
          }
          break;
        default:
          /* We should not reach here */
          g_printerr ("Unexpected message received.\n");
          break;
      }
      gst_message_unref (msg);
    }
  } while (!terminate);

  /* Free resources */
  gst_object_unref (bus);
  gst_element_set_state (data.pipeline, GST_STATE_NULL);
  gst_object_unref (data.pipeline);
  return 0;
}

/* This function will be called by the pad-added signal */
static void pad_added_handler (GstElement *src, GstPad *new_pad, CustomData *data) {
  GstPad *sink_pad = gst_element_get_static_pad (data->convert, "sink");
  GstPadLinkReturn ret;
  GstCaps *new_pad_caps = NULL;
  GstStructure *new_pad_struct = NULL;
  const gchar *new_pad_type = NULL;

  g_print ("Received new pad '%s' from '%s':\n", GST_PAD_NAME (new_pad), GST_ELEMENT_NAME (src));

  /* If our converter is already linked, we have nothing to do here */
  if (gst_pad_is_linked (sink_pad)) {
    g_print ("We are already linked. Ignoring.\n");
    goto exit;
  }

  /* Check the new pad's type */
  new_pad_caps = gst_pad_get_current_caps (new_pad);
  new_pad_struct = gst_caps_get_structure (new_pad_caps, 0);
  new_pad_type = gst_structure_get_name (new_pad_struct);
  if (!g_str_has_prefix (new_pad_type, "audio/x-raw")) {
    g_print ("It has type '%s' which is not raw audio. Ignoring.\n", new_pad_type);
    goto exit;
  }

  /* Attempt the link */
  ret = gst_pad_link (new_pad, sink_pad);
  if (GST_PAD_LINK_FAILED (ret)) {
    g_print ("Type is '%s' but link failed.\n", new_pad_type);
  } else {
    g_print ("Link succeeded (type '%s').\n", new_pad_type);
  }

exit:
  /* Unreference the new pad's caps, if we got them */
  if (new_pad_caps != NULL)
    gst_caps_unref (new_pad_caps);

  /* Unreference the sink pad */
  gst_object_unref (sink_pad);
}

將原始碼儲存為basic-tutorial-4.c，執行下列命令可得到編譯結果：
gcc basic-tutorial-4.c -o basic-tutorial-4 `pkg-config --cflags --libs gstreamer-1.0`

 

原始碼分析

/* Create the elements */
data.source = gst_element_factory_make ("uridecodebin", "source");
data.convert = gst_element_factory_make ("audioconvert", "convert");
data.sink = gst_element_factory_make ("autoaudiosink", "sink");

首先建立了所需的Element：

  • uridecodebin會中內部例項化所需的Elements（source，demuxer，decoder）將URI所指向的媒體檔案中的各種媒體資料分別提取出來。因為其包含了demuxer，所以Source Pad在初始化階段無法訪問，只有在收到相應事件後去動態連線Pad。
  • audioconvert用於在不同的音訊資料格式之間進行轉換。由於不同的音效卡支援的資料型別不盡相同，所以在某些平臺需要對音訊資料型別進行轉換。
  • autoaudiosink會自動查詢音效卡裝置，並將音訊資料傳輸到音效卡上進行輸出。
if (!gst_element_link (data.convert, data.sink)) {
  g_printerr ("Elements could not be linked.\n");
  gst_object_unref (data.pipeline);
  return -1;
}

接著將converter和sink連線起來，注意，這裡我們沒有連線source與convert，是因為uridecode bin在Pipeline初始階段還沒有Source Pad。

/* Set the URI to play */
g_object_set (data.source, "uri", "https://www.freedesktop.org/software/gstreamer-sdk/data/media/sintel_trailer-480p.webm", NULL);

這裡設定了播放檔案的uri，uridecodebin會自動解析該地址，並讀取媒體資料。

 

監聽事件

/* Connect to the pad-added signal */
g_signal_connect (data.source, "pad-added", G_CALLBACK (pad_added_handler), &data);

GSignals在GStreamer中扮演著至關重要的角色。訊號使你能在你所關心到事件發生後得到通知。在GLib中的訊號通過訊號名來進行識別，每個GObject物件都有其自己的訊號。
在上面這行程式碼中，我們通過g_signal_connect將pad_added_handler回撥連線到uridecodebin的“pad-added”訊號上，同時附帶回調函式的私有引數。GStreamer不會處理我們傳入到data指標，只會將其作為引數傳遞給回撥函式，這是傳遞私有資料給回撥函式的常用方式。
一個GstElement可能會發出多個訊號，可以使用gst-inspect工具檢視具體到訊號及引數。

在我們連線了“pad-added”的訊號後，我們就可以將Pipeline的狀態設定為PLAYING並按原有方式處理自己所關心到訊息。

 

回撥處理

當Source Element收集到足夠到資訊，能產生資料時，它會建立Source Pad並且觸發“pad-added”訊號。這時，我們的回撥函式就會被呼叫。

static void pad_added_handler (GstElement *src, GstPad *new_pad, CustomData *data) {

這裡是我們實現到回撥函式，為什麼我們的回撥函式需要定義成這種格式呢？
因為我們的回撥函式是為了處理訊號所攜帶到資訊，所以必須用符合訊號的資料型別，否則不能正確到處理相應資料。通過gst-inspect檢視uridecodebin可以看到訊號所需要到回撥函式格式：

$ gst-inspect-1.0 uridecodebin
...
Element Signals:
  "pad-added" :  void user_function (GstElement* object,
                                     GstPad* arg0,
                                     gpointer user_data);
...
  • src指標，指向觸發這個事件的GstElement物件例項，這裡是uridecodebin。GStreamer中的訊號處理函式的第一個引數均為觸發事件到物件指標。
  • new_pad指標，指向被建立的src中被建立的GstPad物件例項。這通常是我們需要連線的Pad。
  • data指標，指向我們在連線訊號時所傳的CustomData物件。
GstPad *sink_pad = gst_element_get_static_pad (data->convert, "sink");

我們首先從CustomData中取得convert指標，並通過gst_element_get_static_pad()獲取其Sink Pad。我們需要將這個Sink Pad連線到uridecodebin新建立的new_pad中。

/* If our converter is already linked, we have nothing to do here */
if (gst_pad_is_linked (sink_pad)) {
  g_print ("We are already linked. Ignoring.\n");
  goto exit;
}

由於uridecodebin可能會建立多個Pad，在每次有Pad被建立時，我們的回撥函式都會被呼叫。上面這段程式碼就是為了避免重複連線Pad。

/* Check the new pad's type */
new_pad_caps = gst_pad_get_current_caps (new_pad, NULL);
new_pad_struct = gst_caps_get_structure (new_pad_caps, 0);
new_pad_type = gst_structure_get_name (new_pad_struct);
if (!g_str_has_prefix (new_pad_type, "audio/x-raw")) {
  g_print ("It has type '%s' which is not raw audio. Ignoring.\n", new_pad_type);
  goto exit;
}

由於我們在當前示例中只處理audio相關的資料（我們開始只建立了autoaudiosink），所以我們這裡對Pad所產生的資料型別進行了過濾，對於非音訊Pad（視訊及字幕）直接忽略。
gst_pad_get_current_caps()可以獲取當前Pad的能力（這裡是new_pad輸出資料的能力），所有的能力被儲存在GstCaps結構體中。Pad所支援的所有Caps可以通過gst_pad_query_caps()得到，由於一個Pad可能包含多個Caps，因此GstCaps可以包含一個或多個GstStructure，每個都代表所支援的不同資料的能力。通過gst_pad_get_current_caps()獲取到的當前Caps只會包含一個GstStructure用於表示唯一的資料型別，如果無法獲取到當前所使用到Caps，該函式會直接返回NULL。
由於我們已知在本例中new_pad只包含一個音訊Cap，所以我們直接通過gst_caps_get_structure()來取得第一個GstStructure。接著再通過gst_structure_get_name() 獲取該Cap支援的資料型別，如果不是音訊（audio/x-raw），我們直接忽略。

/* Attempt the link */
ret = gst_pad_link (new_pad, sink_pad);
if (GST_PAD_LINK_FAILED (ret)) {
  g_print ("Type is '%s' but link failed.\n", new_pad_type);
} else {
  g_print ("Link succeeded (type '%s').\n", new_pad_type);
}

對於音訊的Source Pad，我們使用gst_pad_link()將其與Sink Pad進行連線，使用方式與gst_element_link()相同，指定Source和Sink Pad，其所屬的Element必須位於同一個Bin或Pipeline。

到目前為止，我們完成了Pipeline的建立，資料會繼續在後續的Element中進行音訊的播放，直到產生ERROR或EOS。

 

GStreamer的狀態

我們已經知道Pipeline在我們將狀態設定為PLAYING之前是不會進入播放狀態，實際上PLAYING狀態只是GStreamer狀態中的一個，GStreamer總共包含4個狀態：

  1. NULL：NULL狀態是所有Element被建立後的初始狀態。
  2. READY：READY狀態表明GStreamer已經完成所需資源的檢查，可以進入PAUSED狀態。
  3. PAUSED：Element處於暫停狀態，表明其可以開始接收資料。Sink Element在接收了一個buffer後就會進入等待狀態。
  4. PLAYING：Element處於播放狀態，時鐘處於執行中，資料被依次處理。

GStreamer的狀態必須按上面的順序進行切換，例如：不能直接從NULL切換到PLAYING狀態，NULL必須依次切換到READY，PAUSED後才能切換到PLAYING狀態，當我們直接設定Pipeline的狀態為PLAYING時，GStreamer內部會依次為我們切換到PLAYING狀態。

case GST_MESSAGE_STATE_CHANGED:
  /* We are only interested in state-changed messages from the pipeline */
  if (GST_MESSAGE_SRC (msg) == GST_OBJECT (data.pipeline)) {
    GstState old_state, new_state, pending_state;
    gst_message_parse_state_changed (msg, &old_state, &new_state, &pending_state);
    g_print ("Pipeline state changed from %s to %s:\n",
        gst_element_state_get_name (old_state), gst_element_state_get_name (new_state));
  }
  break;

 

總結

在本教程中，我們學習了：

  • 如何通過GSignals在事件發生時得到通知。
  • 如何直接連線位於兩個Element中的Pad。
  • GStreamer中的四種狀態。
  • 如何動態連線Pipeline。
  • 後續文章將繼續介紹GStreamer時間控制的知識。

引用

https://gstreamer.freedesktop.org/documentation/tutorials/basic/dynamic-pipelines.html?gi-language=c
https://gstreamer.freedesktop.org/documentation/additional/design/states.html?gi-language=c

 

作者：John.Leng 出處：http://www.cnblogs.com/xleng/ 本文版權歸作者所有，歡迎轉載。商業轉載請聯絡作者獲得授權，非商業轉載請在文章頁面明顯位置給出原文連線.

相關推薦

GStreamer基礎教程04 - 動態連線Pipeline

摘要 在以前的文章中，我們瞭解到了2種播放檔案的方式：一種是在知道了檔案的型別及編碼方式後，手動建立所需Element並構造Pipeline；另一種是直接使用playbin，由playbin內部動態建立所需Element並連線Pipeline。很明顯使用playbin的方式更加靈活，我們不需要在一開始就建立

GStreamer基礎教程13 - 除錯Pipeline

摘要 　　在很多情況下，我們需要對GStreamer建立的Pipeline進行除錯，來了解其執行機制以解決所遇到的問題。為此，GStreamer提供了相應的除錯機制，方便我們快速定位問題。   檢視除錯日誌 使用GST_DEBUG環境變數檢視日誌 　　GStreamer框架以及其外掛提供了不同級別的

gstreamer基礎教程11-Debugging tools

Goal 有事我們會出現一些錯誤，GSteam會給我們提供一些除錯資訊幫助我們來定位問題。主要包括：如何獲取更多除錯資訊，如何將除錯資訊列印到日誌裡，如何獲取pipeline圖。 Sometimes things won’t go as expected an

GStreamer基礎教程07——多執行緒和Pad的有效性

目標       GStreamer會自動處理多執行緒這部分，但在有些情況下，你需要手動對執行緒做解耦。本教程會教你怎樣才能做到這一點，另外也展示了Pad的有效性。主要內容包括：       如何針對部分的pipeline建立一個新的執行緒       什麼是Pad的有效性

【GStreamer開發】GStreamer基礎教程16——平臺相關的element

目標       雖然GStreamer是跨平臺的framework，但不是所有的element都是在所有平臺下都有的。比如，音訊和視訊的sink都非常依賴於當前的window系統，根據當前的平臺需要選擇不同的element。當然，你在執行playbin2或者autovid

GStreamer基礎教程01——Hello World

目標       對於一個軟體庫來說，沒有比在螢幕上打印出Hello World更近直觀的第一印象了。因為我們是在和一個多媒體的framework打交道，所以我們準備播放一段視訊來代替Hello World。不要被下面的程式碼嚇唬住了——真正起作用的也就四行而已。剩下的都是

GStreamer基礎教程11——除錯工具

目標       有時我們的應用並沒有按照我們的預期來工作，並且在總線上獲得的錯誤資訊也沒有足夠的內容。這時我們該怎麼辦呢？幸運的時，GStreamer自身提供了大量的除錯資訊，通常這些資訊會給出一些線索，指向出錯的地方。本教程主要講述：       如何在GStreame

Gstreamer基礎教程01 - Hello World

摘要 在面對一個新的軟體庫時，第一步通常實現一個“hello world”程式，來了解庫的用法。對於GStreamer，我們可以實現一個極簡的播放器，來了解GStreamer的使用。   環境配置 為了快速掌握Gstreamer相關的知識，我們優先選擇Ubuntu作為

GStreamer基礎教程02 - 基本概念

摘要 在 Gstreamer基礎教程01 - Hello World中，我們介紹瞭如何快速的通過一個字串建立一個簡單的pipeline。為了能夠更好的控制pipline中的element，我們需要單獨建立element，然後再構造pipeline，下面將介紹GStreamer的一些基本概念並展示pipeli

GStreamer基礎教程03 - 媒體型別與Pad

摘要 　　在上一篇文章中，我們介紹瞭如何將多個element連線起來構造一個pipline，進行資料傳輸。那麼GStreamer是通過何種方式保證element之間能正常的進行資料傳輸？今天就將介紹GStreamer是如何利用Pad來控制資料的傳輸。   Pad 　　我們知道，pad是ele

GStreamer基礎教程05 - 播放時間控制

簡介 在多媒體應用中，我們通常需要查詢媒體檔案的總時間、當前播放位置，以及跳轉到指定的時間點。GStreamer提供了相應的介面來實現此功能，在本文中，我們將通過示例瞭解如何查詢時間資訊，以及如何進行跳轉到指定位置。   GStreamer查詢機制 GStreamer提供了GstQuery的

GStreamer基礎教程06 - 獲取媒體資訊

摘要 在常見的媒體檔案中，通常包含一些資料（例如：歌手，專輯，編碼型別等），用於描述媒體檔案。通常稱這些資料為元資料（Metadata：data that provides information about other data）。我們可以通過這些元資料對媒體進行歸類，同時可以在播放的過程中通過介面顯示。

GStreamer基礎教程07 - 播放速率控制

摘要 　　在常見的媒體播放器中，通常可以看到快進，快退，慢放等功能，這部分功能被稱為“特技模式（Trick Mode）”，這些模式有個共同點：都通過修改播放的速率來達到相應的目的。 本文將介紹如何通過GStreamer去實現快進，快退，慢放以及單幀播放。   GStre

GStreamer基礎教程08 - 多執行緒

摘要 　　GStreamer框架會自動處理多執行緒的邏輯，但在某些情況下，我們仍然需要根據實際的情況自己將部分Pipeline在單獨的執行緒中執行，本文將介紹如何處理這種情況。 GStreamer多執行緒 　　GStreamer框架是一個支援多執行緒的框架，執行緒會根據Pipeline的需要自動建立和銷

GStreamer基礎教程09 - Appsrc及Appsink

摘要 在我們前面的文章中，我們的Pipline都是使用GStreamer自帶的外掛去產生/消費資料。在實際的情況中，我們的資料來源可能沒有相應的gstreamer外掛，但我們又需要將資料傳送到GStreamer Pipeline中。GStreamer為我們提供了Appsrc以及Appsink外掛，用於處理這

Gstreamer基礎教程10 - Streaming

摘要 　　我們把直接從網路播放一個媒體檔案的方式稱為線上播放（Online Streaming），我們已經在以往的例子中體驗了GStreamer的線上播放功能，當我們指定播放URI為 http:// 時，GStreamer內部會自動通過網路獲取媒體資料。在今天的示例中，我們將進一步瞭解如何處理由網路問題導致

GStreamer基礎教程11 - 與QT整合

摘要 　　通常我們的播放引擎需要和GUI進行整合，在使用GStreamer時，GStreamre會負責媒體的播放及控制，GUI會負責處理使用者的互動操作以及建立顯示的視窗。本例中我們將結合QT介紹如何指定GStreamer將視訊輸出到指定視窗，以及如何利用GStreamer上報的資訊去更新GUI。 &nb

GStreamer基礎教程12 - 常用命令工具

摘要 　　GStreamer提供了不同的命令列工具用於快速的檢視資訊以及驗證Pipeline的是否能夠正確執行，在平時的開發過程中，我們也優先使用GStreamer的命令列工具驗證，再將Pipeline整合到應用中。本文將介紹gst-inspect-1.0，gst-discoverer-1.0，gst-lau

【BBC micro:bit基礎教程】04-micro:bit讀取光敏電阻

www. inf 訪問 主板 bit 讀取 藍色 電路 問題 【所需材料】 BBC micro:bit 主板 x 1 Micro USB 線 x 1 能容納2節7號（AAA）電池的電池盒 x 1 7號（AAA）電池 x 2 光敏電阻 x 1 10kΩ 電阻 x 1 鱷

學了指標沒學動態記憶體一切都白搭！C語言基礎教程之記憶體管理

本文將講解 C 中的動態記憶體管理。C 語言為記憶體的分配和管理提供了幾個函式。這些函式可以在<stdlib.h>標頭檔案中找到。 在記憶體中動態地分配 num 個長度為 size 的連續空間，並將每一個位元組都初始化為 0。所以它的結果是分配了 n