最穩的免費語音輸入 Whisper：我從開始用 AI 開發就沒關過它

你有沒有用過語音輸入？你講話，它直接變成文字，不用打字。

如果你要自己製作的話，現在最穩的免費語音輸入，就是 Whisper。

它是我從開始用 AI 開發以來，唯一一個一直開在桌面上、從來沒關過的程式。這篇文章的初稿，也是我直接用唸的。

如果你要用 AI 開發一個可以長期使用的程式，我會建議，等你準備好了，可以先試著開發自己的語音辨識常駐程式。

在 AI 時代，AI 什麼都幫你做完了，尤其是這種數位上的工作。所以到最後，連字都不想打了，乾脆用講的最方便。

其實蠻多人用 LINE 聊天的時候，也都是直接傳語音訊息，懶得打字。

不過目前來說，iPhone 原生的語音辨識實在很雞肋，常常辨識到讓人覺得不太能用。如果你有這方面的問題，Whisper 可以試試看。

那讓我們來介紹整個介紹一下 Whisper 吧！

Whisper 是 OpenAI 做的語音轉文字模型。它有開源版本，可以免費裝在你自己的電腦上跑；不想裝，也可以付費用 API，把聲音傳上去、拿文字回來。
(來源：GitHub "openai/whisper")

它有好幾種大小，從最小的 tiny、base、small、medium 到最大的 large，另外還有速度比較快的 turbo。越大越準，也越吃電腦。

所以不是每台機器裝了就能跑。我試過裝在手機上，iPhone 17 Pro 大概只能跑到 medium，再大就跑不順了。

如果你本地跑不動，那沒辦法，你就只能用付費的 API 了，不過目前 Groq 有提供免費的額度。

接下來我就介紹幾個我常使用的情境：

第一個用法：用講的，不打字了

最直接的使用情境就是不打字，用講的跟 AI 說話。寫文章也一樣，用唸的就好。

當然它還是會聽錯。以我個人來說，最痛苦的就是「城市」跟「程式」。

它有一些額外的校正方法可以試。但 Whisper 本身也是生成模型，你加任何校正，或是等它轉完再校正一次，都會拖慢整體速度。要不要做，看你自己取捨。

一般來說，一次講多一點內容，命中率反而比較高，不用改字的機會也比較大。

不過現在的 AI Agent 即使有錯字，大概九成都能直接知道我在說什麼。這可能有特別調整過，所以現在的 AI 容忍錯字的範圍都滿寬鬆的。

第二個用法：做字幕

如果你有一段影片沒有字幕，那可以用它來產生。

不過它一次其實不能聽太長一段，所以要做切割合併。

如果對切割合併抓的不是那麼準的話，可以把聲音的波形顯示出來。一般來說沒講話的地方，波形會很明顯地不見，就是空的。所以你就能把時間軸跟講的話對起來。

如果要完美的做到一個字一個字的對上時間不太容易。是能做到某種程度，但真的要那麼準，我覺得大多數情況沒有必要。

如果只是對其句子的時間就簡單很多。能對句子，你的時間軸就出來了。因為不管是影片還是聲音檔，本來就有時間。有了時間軸，字幕檔就可以顯示時間。

我們做字幕是照停頓切，大約 60 秒一塊，切在 50 到 60 秒之間最後一個停頓。之前試過一次丟 10 分鐘進去，結果斷字、句子黏在一起，連英文單字都被拆開。

此外要額外注意的是，沒有人講話的片段送進去，它會自己編字出來，像「詞・曲・編曲 初音ミク」「謝謝觀看」「字幕由社區提供」。這是因為他訓練的時候很多是用過去的字幕檔去訓練的，字幕組很長在沒聲音的地方放這些訊息，Whisper 以為沒聲音的時候需要產生這些內容，所以沒人講話的段落我們乾脆不送，轉出來是這幾句的也直接丟掉。

當然，轉出來的常常還是會有錯字。這時候再丟給 AI Agent 一次就好了，AI 會幫你改字，你的字幕檔就出基本完成了。

如果都設定好的話，大概十幾秒、甚至一分鐘不到，字幕檔就出來了。

第三個用法：跟 AI Agent 有來有往地對話

如果你要做 AI 助理，你也會用到它。

因為 AI 助理是吃文字的，它現在不吃聲音。就算以後吃聲音，其實也是先幫你變成文字再餵回去。就是AI 公司就單純的幫你多做一段，然後可能再多賺你一段錢。

所以要跟 AI 助理講話，Whisper 可能是必要的。你講話，它轉成文字，文字再送進去。

這時候轉換的速度就很重要。

如果你想跟你的 AI Agent 像一般人對話一樣，你講完，Agent 那邊可能 0.5 秒就回了，但你中間轉換花了五秒，整段對話就會斷斷續續。

所以你的電腦跑得動，跟你的電腦跑得順，是兩回事，互動比較會有時間時間的體感差異。

第四個用法：讓它幫你聽生成的語音正確性

這算是第二個用法的延伸。

你能做出字幕之後，就可以對 AI 語音做自動校正

畢竟 AI 生成語音常常會怪怪的。自動校正就是讓 Whisper 去聽那段語音，判斷這句是不是對的，如果有問題就換句話說重新生成。

當然這不可能 100%，不過在你真的動手校正語音之前，Whisper 已經先幫你檢查過一輪，至少它聽不出來的地方會先被抓出來，也是可以節省你大部分的時間。

但如果你問它有沒有可能聽錯？是有可能。

所以某些情況下是會有浪費產生，畢竟生成語音可能要錢，Whisper 也可能要錢。但省的是時間還是比較划算，同時間可以去做其他事情。

而且如果你跟我一樣，語音是本地生、Whisper 也是本地跑，那就不用錢，單純花時間。其實也不是真的不用錢，這兩個一起跑的時候，我的電腦就會比較卡，因為我的電腦不是很新。

跑不順就用遠端，但你的聲音會傳出去

電腦本來就跑不動，或是跑得動但不夠順，那就要考慮用遠端的模型，直接呼叫付費的 API 。

用遠端基本上都是付費的，因為這跟運算有關。有一些有提供免費額度讓你用，我們一般用的是 Groq，它給的額度蠻大的。

要注意的是，你的聲音是傳到遠端去的，所以它都會記錄下來。它到底怎麼處理你的聲音，這很難講。

不過以它這麼大的量，我覺得就看你能不能接受。像我們這種在網路上有大量語音的人，聲音實際上早就被拿去訓練過了，只是一般它不會特別針對單一使用者。

就算真的針對你，其實也不見得容易生出你真實的聲音。因為麥克風收進去的聲音，跟你影片放出來的聲音是有點差別的。

當然你也可以直接用 OpenAI 的服務，畢竟大多數人的資料早就都送給 Open AI 了。而且因為 Whisper 是 OpenAI 做出來的，它有更多情境下的語音服務，例如更即時的方式，當然定價也不太依樣。

電腦好不好，差的是順不順

雖然我每天都在用，但為為了這篇文章，我們實際跑了一次：在 Mac（M2 Max）上用本地的 Whisper，轉一段 2 分鐘的課程錄音，5.5 秒就轉完了，連載入模型的時間都算在裡面。

我也用過外接顯卡，3090。3090 跟我的 Mac M2 單一句跑起來沒有太大差異，並沒有因為算力比較強就跑得比較快。3090 可能還能再進一步調整，但我還沒研究。

我認為 2027、2028 年之後的電腦，或是你現在就買到比較高階的電腦，跑起來都有機會更好一些。

實測用的是 whisper.cpp 1.8.3 加 large-v3-turbo 模型。在我的 Mac（Apple M2 Max）上，由 Claude Code 執行。素材是進度條舊課程的一段 2 分鐘錄音。

跟 AI 一起工作，Whisper 幾乎是必裝的

所以我自己用 Whisper，就是這四件事：直接用講的跟 AI 說話、做字幕、跟 AI Agent 有來有往地對話、檢查生成的語音。

第一個跟第三個其實是同一件事，只是使用情境不同，看起來不太一樣。

AI 現在還是只吃文字，你想用講的，中間就一定要有人幫你轉。電腦跑得順就在本地跑，不用錢；跑不順就用 Groq 的免費額度；要更即時、更準，就付錢用 OpenAI。

因為 Whisper 就是免費的，所以實際上有更多家在提供這樣的服務。

至於哪一家比較好用，或是有經過更多的調整，還不太一定，因為畢竟這東西會隨著時間更加進步。