OpenCVで映像を処理しながら音声を処理する方法について解説します

OpenCVで画像を処理する際に、同時に音声も処理したい場合があります。OpenCVのCVはComputer Visionですので、音声を処理する機能は持っていません。音声は別のPythonライブラリで処理します。

この記事ではOpenCVで映像を表示しながら音声を処理する際に気をつける点について解説します。

Video frame and Audio frame
応用例
参照

Video frame and Audio frame

以下にmain関数を示します。

def main(video_file, audio_file):
    print(f"{video_file=},{audio_file=},{use_pyaudio=}")
    cap = cv2.VideoCapture(video_file)

    player = WithPyAudio(audio_file)
    start_time = time.time()

    while cap.isOpened():
        ret, frame = cap.read()
        if not ret:
            break

        cv2.imshow(video_file, frame)

        elapsed = (time.time() - start_time) * 1000  # msec
        play_time = int(cap.get(cv2.CAP_PROP_POS_MSEC))
        sleep = max(1, int(play_time - elapsed))
        if cv2.waitKey(sleep) & 0xFF == ord("q"):
            break

    player.close()
    cap.release()
    cv2.destroyAllWindows()
Code language: Python (python)

main関数には映像ファイル(video_file)と音声ファイル(audio_file)を別々に渡します。通常の映像ファイルは音声も含まれますが、予め分割して渡す必要があります。映像から音声を分割する方法はffmpegを使用し以下を実行します。

ffmpeg -i test.mp4 -vn -f wav test.wav
Code language: Bash (bash)

cap.read()で映像フレームを取得します。音声データはループの中で特別な処理は不要です。

        ret, frame = cap.read()
        if not ret:
            break
Code language: Python (python)

elapsedに再生が開始されてからの実時間を設定します。play_timeに現在のビデオの再生位置を表す時間を設定します。cv2.CAP_PROP_POS_MSECを使用することで再生位置の時間を取得することができます。このplay_timeをelapsedに一致させるように調整することで、ビデオの再生速度を実時間に合わせることができます。なお、音声の再生速度を実時間に合わせる特別な処理は不要です。

        play_time = int(cap.get(cv2.CAP_PROP_POS_MSEC))
        sleep = max(1, int(play_time - elapsed))
        if cv2.waitKey(sleep) & 0xFF == ord("q"):
            break
Code language: Python (python)

最後に、pyaudioの処理を説明します。

class WithPyAudio:
    def __init__(self, audio_file):
        super().__init__()
        wf = wave.open(audio_file, "rb")
        p = pyaudio.PyAudio()

        self.wf = wf
        self.p = p
        print(f"{wf.getsampwidth()=},{wf.getnchannels()=},{wf.getframerate()=}")

        self.stream = p.open(
            format=p.get_format_from_width(wf.getsampwidth()),
            channels=wf.getnchannels(),
            rate=wf.getframerate(),
            output=True,
            stream_callback=self._stream_cb,
        )

    def close(self):
        self.stream.stop_stream()
        self.stream.close
        self.p.terminate()
        self.wf.close()

    def _stream_cb(self, in_data, frame_count, time_info, status):
        data = self.wf.readframes(frame_count)
        # process audio here
        return (data, pyaudio.paContinue)
Code language: Python (python)

waveファイルオブジェクトwf、PyAudioオブジェクトpを作成し、p.openを呼び出すとstream_callbackに渡したコールバック関数_stream_cbが定期的に呼び出されます。

    def __init__(self, audio_file):
        super().__init__()
        wf = wave.open(audio_file, "rb")
        p = pyaudio.PyAudio()

        self.wf = wf
        self.p = p
        print(f"{wf.getsampwidth()=},{wf.getnchannels()=},{wf.getframerate()=}")

        self.stream = p.open(
            format=p.get_format_from_width(wf.getsampwidth()),
            channels=wf.getnchannels(),
            rate=wf.getframerate(),
            output=True,
            stream_callback=self._stream_cb,
        )
Code language: Python (python)

_stream_cbではwaveファイルオブジェクトwfから音声フレームを読み出し、そのフレームをリターンします。音声ファイルに処理を加えたい場合は、このコールバック関数内で取得した音声フレームを処理します。

    def _stream_cb(self, in_data, frame_count, time_info, status):
        data = self.wf.readframes(frame_count)
        # process audio here
        return (data, pyaudio.paContinue)
Code language: Python (python)

ソースコードはhttps://github.com/otamajakusi/opencv_video_with_audioにあります。