我要评论让我们比较一下当前的whisper、whisper.cpp和faster-whisper。
openai / whisper 自发布以来，似乎在各个方面都发生了变化，例如在 2022 年 12 月增加了 large-v2 模型和各种版本升级。
whisper.cpp是用 cpu 的 c/c++ 编写的。 它似乎是core ml支持，所以它对于mac用户有强烈的感觉。
而 faster-whisper是基于 ctranslate2 重写了 whisper 模型，似乎它的速度比原版的快 4 倍，精度也相同，并且使用的内存更少。
以下是测试音频 （wav）（48 秒）的测试示例。
结果
faster-whisper 的 gpu 和传闻中的一样快。
faster-whisper cpu运算速度更快，gpu的速度也从85.62秒→23.9秒加快。
whisper.cpp 效果反而不是很好。 可能真正的价值体现在支持mac coreml加速上。
| implementation | device | time | 结果 |
|---|---|---|---|
| openai/whisper | cpu | 3分1秒 | 上午和今天的东京股市，日经平均指数小幅走高，收于11.72日元，比昨天上涨22.72日元。 是088.58日元，最初价格上涨的股票数量为1146只，而下跌的股票数量为368只，保持不变的股票数量为104只股票，以下是礼物的公告： 在这个节目中，将抽签选出10人来接收每月出版的月报4月号，申请在东京通过电话03-0107-837303-0107-8373 |
| openai/whisper | gpu | 23.9秒 | 上午和今天的东京股市，日经平均指数小幅走高，收于11.72日元，比昨天上涨22.72日元。 是088.58日元，最初价格上涨的股票数量为1146只，而下跌的股票数量为368只，保持不变的股票数量为104只股票，以下是礼物的公告： 在这个节目中，将抽签选出10人来接收每月出版的月报4月号，申请在东京通过电话03-0107-837303-0107-8373 |
| whisper.cpp | cpu | 7分13秒 | 上午和今天的东京股市，日经平均指数小幅走高，收于11.72日元，比昨天上涨22.72日元。 是088.58日元，最初价格上涨的股票数量为1146只，但价格下跌了368只，104只股票保持不变，这是礼物公告该计划将通过抽签将月度报告4月号赠送给10人申请，请致电东京03-0107-8373,03-0107-8373 |
| faster-whisper | cpu（float32） | 4分 18秒 | 我是浅野智美 今天东京股市的日经平均指数略高 收盘价为11,088.58日元，比昨天上涨22.72日元 最初价格上涨的股票数量为1146只，而价格下跌的股票数量为368只股票保持不变 104只股票 以下是礼物的公告： 在本节目中，出版了月度报告4月号。 我们将通过抽签将其赠送给 10 人 申请，请致电东京 03-0107-8373 03-0107-8373 以上是该计划的公告 |
| faster-whisper | cpu（int8） | 2分 27秒 | 我是浅野智美 今天东京股市的日经平均指数略高 收盘价为11,088.58日元，比昨天上涨22.72日元 最初价格上涨的股票数量为1146只，而价格下跌的股票数量为368只股票保持不变 104只股票 以下是礼物的公告： 在本节目中，出版了月度报告4月号。 我们将通过抽签将其赠送给 10 人 申请时，请致电东京0301078373 0301078373 以上是该计划的公告。 |
| faster-whisper | gpu（float16） | 5.22 秒 | 我是浅野智美 今天东京股市的日经平均指数略高 收盘价为11,088.58日元，比昨天上涨22.72日元 最初价格上涨的股票数量为1146只，而价格下跌的股票数量为368只股票保持不变 104只股票 以下是礼物的公告： 在本节目中，出版了月度报告4月号。 我们将通过抽签将其赠送给 10 人 申请，请致电东京 03-0107-8373 03-0107-8373 以上是该计划的公告 |
| faster-whisper | gpu（int8_float16） | 4.73 秒 | 我是浅野智美 今天东京股市的日经平均指数略高 收盘价为11,088.58日元，比昨天上涨22.72日元 最初价格上涨的股票数量为1146只，而价格下跌的股票数量为368只股票保持不变 104只股票 以下是礼物的公告： 在本节目中，出版了月度报告4月号。 我们将通过抽签将其赠送给 10 人 申请时，请致电东京0301078373 0301078373 以上是该计划的公告。 |
whisper
安装
!pip install -u openai-whisper
模型加载
import whisper
model = whisper.load_model("large", device="cpu")
执行
%%time
result = model.transcribe("sampletokyo.wav")
print(result["text"])
whisper.cpp
安装
!git clone https://github.com/ggerganov/whisper.cpp.git
%cd whisper.cpp
!bash ./models/download-ggml-model.sh large
!make
转换为 16khz 的 wav
!ffmpeg -i ../sampletokyo.wav -ar 16000 sampletokyo.wav
执行
%%time
!./main -f ./sampletokyo.wav -nt -l ja -m models/ggml-large.bin
faster-whisper
安装
!pip install faster-whisper
模型加载
from faster_whisper import whispermodel
model_size = "large-v2"
model = whispermodel(model_size, device="cpu", compute_type="float32")
#model = whispermodel(model_size, device="cpu", compute_type="int8")
#model = whispermodel(model_size, device="cuda", compute_type="float16")
#model = whispermodel(model_size, device="cuda", compute_type="int8_float16")
%%time
segments, info = model.transcribe("sampletokyo.wav", beam_size=5, language='ja')
results = list(segments)
print(' '.join([result.text for result in results]))
发表评论