代码之家  ›  专栏  ›  技术社区  ›  quacker

PreviewCallback onPreviewFrame不更改数据

  •  5
  • quacker  · 技术社区  · 13 年前

    我想对相机的图像进行一些图像处理,并将其显示在SurfaceView上,但我不知道如何修改相机框架。我尝试使用setPreviewCallbackWithBuffer和onPreviewFrame,但它们没有按预期工作,框架没有被修改。

    /** A basic Camera preview class */
    public class CameraPreview extends SurfaceView implements
            SurfaceHolder.Callback, Camera.PreviewCallback {
        private SurfaceHolder mHolder;
        private Camera mCamera;
        private byte[] mData;
        private long prevFrameTick = System.currentTimeMillis();
        Canvas mCanvas;
    
        public CameraPreview(Context context, Camera camera) {
            super(context);
            mCamera = camera;
    
            // Install a SurfaceHolder.Callback so we get notified when the
            // underlying surface is created and destroyed.
            mHolder = getHolder();
            mHolder.addCallback(this);
            Size previewSize = mCamera.getParameters().getPreviewSize();
            mData = new byte[(int) (previewSize.height * previewSize.width * 1.5)];
            initBuffer();
            // deprecated setting, but required on Android versions prior to 3.0
            mHolder.setType(SurfaceHolder.SURFACE_TYPE_PUSH_BUFFERS);
        }
    
        private void initBuffer() {
            mCamera.addCallbackBuffer(mData);
            mCamera.addCallbackBuffer(mData);
            mCamera.addCallbackBuffer(mData);
            mCamera.setPreviewCallbackWithBuffer(this);
        }
    
        public void setCamera(Camera cam) {
            mCamera = cam;
            initBuffer();
        }
    
        public void surfaceCreated(SurfaceHolder holder) {
            // The Surface has been created, now tell the camera where to draw the
            // preview.
            try {
                mCamera.setPreviewDisplay(holder);
                initBuffer();
                mCamera.startPreview();
            } catch (IOException e) {
                Log.d("APP",
                        "Error setting camera preview: " + e.getMessage());
            }
        }
    
        public void surfaceDestroyed(SurfaceHolder holder) {
            // empty. Take care of releasing the Camera preview in your activity.
        }
    
        public void surfaceChanged(SurfaceHolder holder, int format, int w, int h) {
            // If your preview can change or rotate, take care of those events here.
            // Make sure to stop the preview before resizing or reformatting it.
    
            if (mHolder.getSurface() == null) {
                // preview surface does not exist
                return;
            }
    
            // stop preview before making changes
            try {
                mCamera.stopPreview();
            } catch (Exception e) {
                // ignore: tried to stop a non-existent preview
            }
    
            // set preview size and make any resize, rotate or
            // reformatting changes here
    
            // start preview with new settings
            try {
                mCamera.setPreviewDisplay(mHolder);
                initBuffer();
                mCamera.startPreview();
            } catch (Exception e) {
                Log.d("APP",
                        "Error starting camera preview: " + e.getMessage());
            }
        }
    
        public void onPreviewFrame(byte[] data, Camera camera) {
            // System.arraycopy(data, 0, mData, 0, data.length);
            Log.e("onPreviewFrame", data.length + " "
                    + (System.currentTimeMillis() - prevFrameTick));
            prevFrameTick = System.currentTimeMillis();
            mData = new byte[data.length];
            mCamera.addCallbackBuffer(mData);
        }
    }
    
    2 回复  |  直到 13 年前
        1
  •  10
  •   Eddy Talvala    13 年前

    如果使用setPreviewDisplay()调用,则无法修改发送到SurfaceView的预览数据。预览视频流完全在应用程序之外管理,无法访问。

    您可以选择以下几个选项:

    1. 您可以在SurfaceView的顶部放置第二个视图,例如ImageView或另一个SurfaceView,并将onPreviewFrame回调接收到的数据绘制到此视图中。你必须从预览回调格式(通常是NV21)进行一些颜色/像素格式转换才能显示,显然你也必须首先对这些数据进行图像处理。这不是很有效,除非您愿意编写一些JNI代码。

    2. 在Android 3.0或更新版本上,您可以使用 Camera.setPreviewTexture() 方法,并通过使用 SurfaceTexture 对象,然后可以在显示之前在OpenGL中对其进行操作。那么您根本不需要预览回调。如果GPU处理足够,则这更有效。如果您想以其他方式显示/处理预览数据,也可以使用OpenGL readPixels调用将处理后的预览数据返回到应用程序。

        2
  •  0
  •   DeniSHow    10 年前

    也许这对某人会有帮助。 我已经通过使用OpenCV库从相机中检索帧来解决了这个问题。 在OpenCv 3中,有一个方法onCameraFrame(CvCameraViewFrame inputFrame):

        public Mat onCameraFrame(CvCameraViewFrame inputFrame) {
    
        // here you can do something with inputFrame before it appears on the preview
    
        return inputFrame.rgba();
    }
    

    您可以从samples文件夹中尝试“相机预览”项目。

    或者你可以在ndk做这件事 https://vec.io/posts/how-to-render-image-buffer-in-android-ndk-native-code 但我还没有试过这架喷气式飞机。

    或者在这里你可以找到用NDK在C/C++中从YUV到RGB的解码 https://github.com/youten/YUV420SP