来自缓冲区优化的Python图像流

Question

我正在使用有限的计算能力的嵌入式设备中的Python +烧瓶工作。

我想使用存储在设备上的像素阵列上的图像（RGBA）流式传输视频。 目前，我能够收到视频，但是总体性能不足以获得平稳的输出。

这是我已经进行的当前优化：

• 通过读取内存区域
• 删除颜色alpha，由于不使用颜色alpha。
• 减少4个图像大小的

    from PIL import Image

    @bp.route("/stream")
    def stream():
        def loop():
            yield b"--frame\r\n"
            while True:
               raw_data = view[ frame_id * BUF_SIZE : (frame_id + 1) * BUF_SIZE ]
               image_np = np.frombuffer(np.asarray(raw_stream[::]),
                          dtype=np.uint8
                          ).reshape((600, 1024, 4))
               img_byte_arr = io.BytesIO()
               jpeg_img = Image.fromarray(image_np[::4, ::4, :3], mode="RGB")
               jpeg_img.save(img_byte_arr, format="JPEG")
               yield (
                  b"Content-Type: image/jpeg\r\n\r\n"
                  + img_byte_arr.getvalue()
                  + b"\r\n--frame\r\n"
               )
        return Response(loop(), mimetype="multipart/x-mixed-replace; boundary=frame")

基于某些测量的大小，似乎操作image.fromarray（image_np [:: 4，:: 4，:: 4，：3]，mode =“ rgb”）是瓶颈由于执行（10fps）最高为0.2秒。

是否有另一种将数组转换为图像（JPEG或任何格式）可以加快过程的方法？也许是比PIL的另一个图书馆？

Answer 1

如果您可以访问GPU，我建议使用pytorch使用cuda保存和加载图像。您进行的转换（例如还原格式）在GPU上也并行化。加速可能很重要，如果仍然不够，则可以使用数据加载器来不保留所有图像。