开源语音转文本 Speech-to-Text 大模型实战之Whisper篇_Python

前言

随着深度学习技术的不断发展，语音转文本（speech-to-text，stt）技术取得了显著的进步。开源社区涌现了许多高效的stt大模型，为开发者提供了强大的工具。本文将以openai推出的whisper模型为例，详细介绍如何使用该模型进行语音转文本的实战应用，从模型简介、环境搭建、数据准备到模型推理和应用。

一、模型简介

whisper 是openai推出的一个语音识别模型，具有高精度和高效能。whisper通过大量的多语言、多任务训练，在处理不同语言和口音的语音识别任务上表现出色。以下是whisper模型的几个关键特性：

多语言支持：支持多种语言的语音识别。
高精度：在各种语音识别任务中具有较高的精度。
易用性：基于开源库，可以轻松集成到各种应用中。

二、环境搭建

在开始之前，我们需要搭建一个合适的开发环境。以下是环境搭建的步骤：

1. 安装依赖

确保你的计算机上已经安装了python和pip。可以使用以下命令安装必要的依赖：

pip install torch torchaudio openai-whisper

2. 下载预训练模型

我们将使用whisper模型的预训练版本进行语音转文本任务。可以通过以下代码下载并加载预训练模型：

import whisper

# 加载whisper预训练模型
model = whisper.load_model("base")

三、数据准备

我们需要准备一些语音数据进行测试，可以使用任何包含语音的音频文件。以下是加载和处理音频文件的示例：

import torchaudio

# 加载音频文件
audio_path = "path/to/your/audio/file.wav"
waveform, sample_rate = torchaudio.load(audio_path)

# whisper模型要求音频采样率为16000 hz，可以进行重采样
waveform = torchaudio.transforms.resample(orig_freq=sample_rate, new_freq=16000)(waveform)

四、模型推理

使用加载的whisper模型进行推理，将语音数据转换为文本：

# 将音频数据转换为whisper模型输入格式
audio = waveform.squeeze().numpy()

# 进行推理
result = model.transcribe(audio)

# 获取识别的文本
transcription = result["text"]
print("transcription: ", transcription)

五、实战应用

将以上代码整合起来，我们可以创建一个简易的语音转文本应用。以下是完整的代码示例：

import whisper
import torchaudio

def speech_to_text(audio_path):
    # 加载whisper预训练模型
    model = whisper.load_model("base")

    # 加载音频文件
    waveform, sample_rate = torchaudio.load(audio_path)

    # 重新采样到16000 hz
    waveform = torchaudio.transforms.resample(orig_freq=sample_rate, new_freq=16000)(waveform)
    
    # 将音频数据转换为whisper模型输入格式
    audio = waveform.squeeze().numpy()

    # 进行推理
    result = model.transcribe(audio)
    
    # 获取预测的文本
    transcription = result["text"]

    return transcription

# 测试
audio_path = "path/to/your/audio/file.wav"
print("transcription: ", speech_to_text(audio_path))