前言：

    前段時間，學習了YOLO在Python下的實現，而且經過在原始碼基礎上新增部分簡單函式，已經可以實現利用YOLO在Python下實現（1）檢測圖片中的物體，（2）檢測本地視訊，（3）呼叫攝像頭實時檢測。後來又需要利用Kinect實時檢測，所以要用的ROS進行各指令碼之間的通訊。而ROS Image是我寫程式時遇到的一個難點，在此記錄下來，以供後期查閱和網友參考。

本文中，主要是關於OpenCV格式圖片（或視訊幀）和ROS資料格式圖片（或視訊幀）之間的轉換。或者直白點書，通過ROS傳送圖片（Image）資料型別的訊息（message）。

【文中程式碼由於TAB縮排量可能會出現縮排問題，敬請諒解。】

本文其實是為下一篇博文“YOLO在ROS下的使用”打下基礎。

1、使用環境和平臺

ubuntu 14.04+ python2.7+opencv2.4

2、示例程式碼

其實，下述程式碼完全可以在一個指令碼中完成，而且不需要結合ROS；本文為了講述通過ROS傳送Image的方法，故而拆分開來。一個指令碼中，只進行影象捕捉；另一個訂閱之後，只進行影象現實。

(1)通過呼叫webcam捕捉視訊，然後經過ROS的Topic釋出出去：

#!/usr/bin/env python
#!coding=utf-8

#write by leo at 2018.04.26
#function: 
#1, Get live_video from the webcam.
#2, With ROS publish Image_info (to yolo and so on).
#3, Convert directly, don't need to save pic at local.

import rospy
from sensor_msgs.msg import Image
import cv2
import numpy as np
from cv_bridge import CvBridge, CvBridgeError
import sys


def webcamImagePub():
    # init ros_node
    rospy.init_node('webcam_puber', anonymous=True)
    # queue_size should be small in order to make it 'real_time'
    # or the node will pub the past_frame
    img_pub = rospy.Publisher('webcam/image_raw', Image, queue_size=2)
    rate = rospy.Rate(5) # 5hz

    # make a video_object and init the video object
    cap = cv2.VideoCapture(0)
    # define picture to_down' coefficient of ratio
    scaling_factor = 0.5
    # the 'CVBridge' is a python_class, must have a instance.
    # That means "cv2_to_imgmsg() must be called with CvBridge instance"
    bridge = CvBridge()

    if not cap.isOpened():
        sys.stdout.write("Webcam is not available !")
        return -1

    count = 0
    # loop until press 'esc' or 'q'
    while not rospy.is_shutdown():
        ret, frame = cap.read()
        # resize the frame
        if ret:
            count = count + 1
        else:
            rospy.loginfo("Capturing image failed.")
        if count == 2:
            count = 0
            frame = cv2.resize(frame,None,fx=scaling_factor,fy=scaling_factor,interpolation=cv2.INTER_AREA)
            msg = bridge.cv2_to_imgmsg(frame, encoding="bgr8")
            img_pub.publish(msg)
            print '** publishing webcam_frame ***'	
        rate.sleep()

if __name__ == '__main__':
    try:
        webcamImagePub()
    except rospy.ROSInterruptException:
        pass
 

(2)通過ROS訂閱Image型別的視訊幀，然後在視窗顯示出來：

#!/usr/bin/env python
#!coding=utf-8

#right code !
#write by leo at 2018.04.26
#function: 
#display the frame from another node.

import rospy
import numpy as np
from sensor_msgs.msg import Image
from cv_bridge import CvBridge, CvBridgeError
import cv2

def callback(data):
    # define picture to_down' coefficient of ratio
    scaling_factor = 0.5
    global count,bridge
    count = count + 1
    if count == 1:
        count = 0
        cv_img = bridge.imgmsg_to_cv2(data, "bgr8")
        cv2.imshow("frame" , cv_img)
        cv2.waitKey(3)
    else:
        pass

def displayWebcam():
    rospy.init_node('webcam_display', anonymous=True)

    # make a video_object and init the video object
    global count,bridge
    count = 0
    bridge = CvBridge()
    rospy.Subscriber('webcam/image_raw', Image, callback)
    rospy.spin()

if __name__ == '__main__':
    displayWebcam()

 

3、程式碼解釋（函式講解）

從程式碼中可以看出：

from cv_bridge import CvBridge, CvBridgeError

匯入了一個模組下的兩個類，然後例項化一個物件：

    bridge = CvBridge()

接下來，呼叫該物件下的方法（函式）：

            msg = bridge.cv2_to_imgmsg(frame, encoding="bgr8")
            img_pub.publish(msg)

釋出資訊的指令碼（上程式（1）中）裡，利用此方法將OpenCV型別的圖片轉化為ROS型別，然後通過話題釋出出去；

然後：

        cv_img = bridge.imgmsg_to_cv2(data, "bgr8")

訂閱話題的指令碼（上程式（2）中）裡，利用此方法將訂閱到的ROS型別的資料轉化為OpenCV格式的圖片，然後通過imshow函式在視窗顯示出影象。

PS：上邊的程式中，不論釋出還是訂閱，都可以跳過一些幀（通過改變count的值即可）。

4、參考連結

ROS初學者教程：

OpnCV-Python教程：

Converting between ROS images and OpenCV images (Python)

後記：

程式很簡單，在我自己的電腦上完全可以實現，如有問題歡迎批評指正！

（PS：下一篇介紹“用yolo結合ROS識別視訊的python程式碼實現”）