Android的SurfaceView和TextureView介绍及使用示例_Android

前言

一、什么是surfaceview ？

surfaceview 是一种用于直接将图形绘制到屏幕的android组件。与常规的 view 不同，surfaceview 通过使用一个独立的 surface 来进行渲染，它不直接依赖于主 ui 线程，而是利用单独的硬件加速的线程进行渲染。

1.1 surfaceview 使用示例

surfaceview 的常见用法通常是在视频播放、相机预览或实时图形渲染等场景中。以下是一个简单的 surfaceview 使用示例，它展示了如何在 android 应用中创建并使用 surfaceview：

布局 xml 文件 (res/layout/activity_main.xml)

<?xml version="1.0" encoding="utf-8"?>
<linearlayout xmlns:android="http://schemas.android.com/apk/res/android"
    android:layout_width="match_parent"
    android:layout_height="match_parent"
    android:orientation="vertical">
    <android.view.surfaceview
        android:id="@+id/surfaceview"
        android:layout_width="match_parent"
        android:layout_height="match_parent" />
</linearlayout>

import android.os.bundle;
import android.view.surface;
import android.view.surfaceholder;
import android.view.surfaceview;
import androidx.appcompat.app.appcompatactivity;
public class mainactivity extends appcompatactivity implements surfaceholder.callback {
    private surfaceview surfaceview;
    private surfaceholder surfaceholder;
    @override
    protected void oncreate(bundle savedinstancestate) {
        super.oncreate(savedinstancestate);
        setcontentview(r.layout.activity_main);
        surfaceview = findviewbyid(r.id.surfaceview);
        surfaceholder = surfaceview.getholder();
        surfaceholder.addcallback(this);  // 注册回调
    }
    @override
    public void surfacecreated(surfaceholder holder) {
        // 在 surface 创建时调用，可以在此开始渲染
        surface surface = holder.getsurface();
    }
    @override
    public void surfacechanged(surfaceholder holder, int format, int width, int height) {
        // 当 surface 大小或格式改变时调用
        // 更新渲染内容或调整显示内容
    }
    @override
    public void surfacedestroyed(surfaceholder holder) {
        // 在 surface 销毁时调用
        // 停止渲染操作并释放资源
    }
}

在上述示例中，我们首先在布局中定义了一个 surfaceview，然后通过 surfaceview.getholder() 获取 surfaceholder，并注册了 surfaceholder.callback 接口来处理 surface 的生命周期。

1.2 surfaceview 源码概述

surfaceview 主要用于处理需要高效、实时渲染的场景，例如视频播放、游戏渲染、相机预览等。它的渲染操作由后台线程执行，避免了与主 ui 线程的竞争，提升了性能。

主要类及源码文件
surfaceview 类位于 frameworks/base/core/java/android/view/surfaceview.java。
通过 getholder() 获取与 surfaceview 关联的 surfaceholder。
surfaceholder 是一个接口，通过它可以获取与 surfaceview 关联的 surface 对象并进行渲染。

1.3 surfaceview 的构造与初始化

surfaceview 在初始化时，首先通过 getholder() 获取 surfaceholder，然后注册回调接口来处理 surface 的生命周期。具体代码如下：

public surfaceview(context context) {
    super(context);
    msurfaceholder = getholder(); // 获取 surfaceholder
    msurfaceholder.addcallback(this); // 注册回调
}

在此过程中，getholder() 返回一个 surfaceholder 对象，该对象用于管理与 surfaceview 关联的 surface。surfaceholder.callback 回调接口的实现帮助我们在 surface 创建、改变和销毁时执行相应的操作。

1.4 surfaceholder.callback 回调接口

surfaceholder.callback 是一个关键接口，surfaceview 使用它来处理与 surface 相关的生命周期事件。它包括三个主要回调方法：

surfacecreated(surfaceholder holder)
surfacecreated() 方法在 surface 被创建时调用。此时，surfaceview 可以开始渲染图形内容。

@override
public void surfacecreated(surfaceholder holder) {
    // 此时 surface 创建成功，可以开始渲染
    surface surface = holder.getsurface();
    // 进行图形渲染，通常启动渲染线程
}

surfacechanged(surfaceholder holder, int format, int width, int height)
当 surface 的格式或尺寸发生变化时，surfacechanged() 会被调用。此时，应用程序可以根据新的尺寸调整渲染内容。

@override
public void surfacechanged(surfaceholder holder, int format, int width, int height) {
    // 处理 surface 格式或尺寸变化
}

surfacedestroyed(surfaceholder holder)
当 surface 被销毁时，surfacedestroyed() 会被调用。此时，应用程序应停止渲染操作并释放资源。

@override
public void surfacedestroyed(surfaceholder holder) {
    // 停止渲染线程并释放资源
}

1.5 surfaceview 渲染机制

surfaceview 的渲染由后台线程处理，渲染过程包括锁定 canvas、进行绘制并提交结果。

后台线程与 surface
surfaceview 的渲染并不在主 ui 线程中进行，而是通过后台线程来完成的。这是为了避免 ui 线程的阻塞，确保 ui 能够流畅运行。

surfaceview 在后台线程中会使用 surfaceholder.lockcanvas() 获取 canvas 对象，然后进行图形绘制。绘制完成后，通过 surfaceholder.unlockcanvasandpost() 提交更新。

public void render(surface surface) {
    canvas canvas = null;
    try {
        canvas = holder.lockcanvas(null); // 锁定 canvas
        if (canvas != null) {
            // 在 canvas 上绘制图形内容
            canvas.drawcolor(color.black);  // 清屏
            // 绘制其他内容
        }
    } finally {
        if (canvas != null) {
            holder.unlockcanvasandpost(canvas); // 提交绘制结果
        }
    }
}

二、什么是textureview？

textureview 用于显示一个内容的纹理。它和 surfaceview 的功能类似，但实现方式有所不同。
textureview 允许将 opengl 渲染的内容、视频帧或其他图像直接作用在 ui 线程上，并且能够在任何地方进行动画、旋转或缩放，而不仅限于一个固定的 surface。
相较于 surfaceview，textureview 在灵活性和控制方面有更多的优势。

2.1 textureview 使用示例

下面是一个简单的 textureview 使用示例。

public class myactivity extends appcompatactivity {
    private textureview textureview;
    @override
    protected void oncreate(bundle savedinstancestate) {
        super.oncreate(savedinstancestate);
        setcontentview(r.layout.activity_main);
        textureview = findviewbyid(r.id.textureview);
        textureview.setsurfacetexturelistener(new textureview.surfacetexturelistener() {
            @override
            public void onsurfacecreated(surfacetexture surface, int width, int height) {
                // surface 创建时，初始化 surface
                surface newsurface = new surface(surface);
                // 可以在这里执行渲染操作
            }
            @override
            public void onsurfacechanged(surfacetexture surface, int width, int height) {
                // surface 改变大小时
            }
            @override
            public void onsurfacedestroyed(surfacetexture surface) {
                // surface 销毁时
            }
            @override
            public void onsurfaceupdated(surfacetexture surface) {
                // 每次 surface 更新时调用
            }
        });
    }
}

2.2 textureview 源码概述

以下是 textureview 源码概述的核心内容，详细分析其结构和工作原理。

1、关键类和接口
textureview 类：textureview 是整个视图系统的核心，它继承自 view 类。它的主要职责是通过 surfacetexture 渲染图像内容，并通过 surface 显示。

surfacetexture：surfacetexture 是与 opengl 渲染绑定的对象，用于显示图像流。它为 textureview 提供了一个接口，通过它可以将渲染内容传输到 surfaceview 或 textureview。

surface：surface 是 android 用于图形渲染的基本容器。surfacetexture 通过 surface 输出图形数据，textureview 通过此 surface 显示内容。

surfacetexturelistener 接口：该接口提供了与 surfacetexture 生命周期相关的回调方法，开发者可以通过实现该接口来响应 surface 创建、更新和销毁的事件。

2.3 textureview 的构造与初始化

1、构造函数
textureview 提供了多个构造函数，可以通过不同的方式初始化对象。最常见的构造函数是：

public textureview(context context) {
    super(context);
    init();
}

在构造函数中，textureview 被初始化并配置了所需的 surfacetexture。通过调用 init() 方法，surfacetexture 和 surface 将被创建，并为后续的图像渲染做好准备。

private void init() {
    // 创建 surfacetexture 对象
    msurfacetexture = new surfacetexture(false);
    // 创建 surface 对象
    msurface = new surface(msurfacetexture);
    // 设置视图的缓冲区和其他默认参数
    setopaque(true);  // 设置是否为不透明
    msurfacetexturelistener = null;
}

2. surfacetexture 和 surface 的创建
textureview 的核心是通过 surfacetexture 来获取渲染的数据流，并通过 surface 来显示这些图像内容。创建 surfacetexture 和 surface 的代码如下：

msurfacetexture = new surfacetexture(false);  // 创建 surfacetexture 实例
msurface = new surface(msurfacetexture);     // 使用

surfacetexture 创建 surface
surfacetexture 是渲染内容的承载者，它接收渲染引擎（如 opengl）的输出，并将其传递给 surface。
surface 是渲染结果的显示容器，textureview 通过该 surface 来显示图像。
surfacetexture 的参数 false 表示它是一个非透明的纹理。在大多数情况下，使用非透明纹理可以获得更好的渲染性能。

2.4 surfacetexturelistener 回调

textureview 还提供了一个接口 surfacetexturelistener，用于接收 surfacetexture 生命周期的回调事件。这个回调接口包含了多个方法，可以在 surfacetexture 创建、更新或销毁时进行处理。

onsurfacecreated(surfacetexture surface, int width, int height)：当 surfacetexture 创建时调用。此时可以开始渲染内容。
onsurfacechanged(surfacetexture surface, int width, int height)：当 surfacetexture 尺寸发生变化时调用。可以用来更新渲染内容或调整显示尺寸。
onsurfacedestroyed(surfacetexture surface)：当 surfacetexture 销毁时调用，可以在此时释放资源。
onsurfaceupdated(surfacetexture surface)：每次 surfacetexture 更新时调用，用于通知渲染更新。

2.5 textureview渲染流程

textureview 的渲染流程主要依赖于 surfacetexture 和 surface 来将图像渲染到屏幕上。以下是该渲染流程的关键步骤：

初始化 surfacetexture 和 surface：

textureview 在初始化时创建一个 surfacetexture 对象，该对象用于接收图形数据。
然后将 surfacetexture 封装为 surface，surface 用于显示图像内容。

图像数据传递到 surfacetexture：

图形引擎（如 opengl）将渲染结果传递给 surfacetexture，这些数据会被存储在 surfacetexture 中。

3.surfacetexture 更新：

一旦 surfacetexture 中的图像数据更新，textureview 会收到通知，并准备将新图像内容显示出来。
surfacetexture 会将最新的图像数据传递给关联的 surface。

显示图像内容：

surface 在 textureview 上渲染和显示图像内容。此时，textureview 会将图像数据呈现到屏幕上。

三、surfaceview和textureview区别

特性	surfaceview	textureview
渲染方式	渲染内容直接通过硬件层输出，不经过 ui 层，绕过屏幕缓冲区	通过 surfacetexture 渲染内容，经过 ui 层（即视图层）显示
性能	高性能，适合要求低延迟、高帧率的应用，如视频播放、实时游戏等	性能相对较低，适用于对 ui 层交互、动画有要求的应用
渲染效率	渲染在独立的硬件层，减少 ui 线程负担，图形处理独立	渲染经过 ui 层，渲染性能相对较低，可能会受到 ui 层操作影响
硬件加速支持	直接使用硬件加速，不依赖 ui 线程，适合高效图形渲染	使用硬件加速，但图形渲染受 ui 线程限制
变换与动画支持	不支持内建的图像变换，若需动画或变换需要依赖外部图形库如 opengl	支持矩阵变换（旋转、缩放、平移等），支持视图动画和动态效果
视图层级与嵌套	渲染层与 ui 层分离，不能与其他视图进行直接交互或嵌套	渲染内容在 ui 层，可以和其他视图层级交互、嵌套和变换
生命周期管理	通过 surfaceholder.callback 回调接口管理 surface 的生命周期	通过 surfacetexturelistener 回调接口管理 surfacetexture 生命周期
适用场景	适用于视频播放、实时游戏渲染等对性能要求高的应用	适用于动态变换、动画和需要与 ui 层交互的场景（如视频展示、图像旋转）
支持的 ui 操作	不支持直接与 ui 层进行交互（例如点击、动画、视图更新等）	支持与 ui 层的交互，支持视图动画（例如 settransform() 变换）
硬件渲染与ui渲染	渲染直接在硬件层进行，不依赖 ui 线程	渲染通过 ui 层进行，ui 线程参与渲染处理，可能有性能开销
透明背景支持	不直接支持透明背景	支持透明背景，适合需要透明或部分透明效果的应用
支持多层显示	支持多层显示，但通常是通过 surface 进行不同图层显示	支持多图层显示，允许将多个 textureview 嵌套并渲染不同内容
显示内容更新	渲染内容更新较为简单，依赖 lockcanvas、unlockcanvasandpost	显示内容更新通过 surfacetexture 更新，内容刷新通过 updateteximage()
硬件解码视频	非常适合硬件解码视频，视频数据直接渲染到硬件层	不如 surfaceview 高效，视频数据需要通过 surfacetexture 渲染
ui 线程影响	不会受到 ui 线程影响，独立的渲染线程	渲染依赖 ui 线程，可能会影响 ui 线程的流畅性，特别是在高负荷情况下
可嵌入到布局中	不可以直接与其他视图一起进行布局	可以像普通视图一样嵌入布局，支持与其他视图交互和变换
旋转与缩放	不支持内建旋转、缩放等变换，需使用外部图形库	支持内建旋转、缩放和其他变换，支持多种变换方式
api 支持	支持大部分 android 设备，并且对硬件解码支持较好	支持大部分 android 设备，适合需要在视图层做渲染处理的场景
渲染线程	在独立线程中进行渲染，ui 线程与渲染分离	渲染在 ui 线程中进行，ui 操作与渲染共用一个线程