AI 有時聰明有時笨？那是因為覺得沒難度分流讓小模型去處理！

你有沒有覺得 AI 有時聰明有時笨？永遠不要懷疑大公司賺錢的決心。

目前 Chrome 瀏覽器裡面已經有一個 AI 了，不是外掛，是 Google 直接塞進去的。叫 Gemini Nano，是 Gemini 家族最小的版本，直接在你的電腦上跑。翻譯、摘要、校對，不需要連網就能用。

這種在你裝置上直接跑的就叫做「地端模型」，它對應的當然就是高大上的「雲端模型」。

Google 為什麼要塞進去？因為全世界超過 30 億人用 Chrome。如果每個人的每一句話都送到 Google 的伺服器，光電費就是天文數字。讓你的電腦自己處理簡單的事，複雜的才送雲端，Google 省錢，你也快一點。

簡單的走地端，複雜的走雲端。IBM 的研究說最多可以省 85% 的成本。Anthropic 的 Agent、Nvidia 的建議架構，都是這樣設計的。這不是什麼新概念，手機 app 開發者在本地塞一個 SQLite 資料庫做的也是同一件事。

這個做法叫分流。

ChatGPT 也在做一樣的事。只是 Google 有生態系，能直接把 AI 塞進你每天一定會開的瀏覽器裡。ChatGPT 你得主動去用，所以它的分流是在雲端切，用 router 決定你的問題送去哪個模型。

目前已知 GPT-5 是一堆模型的組合。有便宜的、有貴的。GPT 會自動決定你的問題要送給哪一個。OpenAI 已經公開說了，免費用戶預設走最便宜的那個模型，不再自動幫你切到比較強的。
(來源：Gizmodo "OpenAI Defaults Free Users to Cheapest Model to Cut Back on Costs")

但問題來了。

地端模型（或是小模型）判斷「這個問題我能不能自己處理」的那個閾值，是可以調的。如果讓它更傾向「我自己來」，每一次成功攔截就是少一次大模型的燒錢運算，省一次錢。


那如果小模型其實處理不了呢？

 
我自己碰過一個情況，網路已經斷了，但 AI Agent 還在那邊顯示「正在分析」「正在搜尋」「正在思考」，UI 轉了一兩分鐘，整個演很大。為什麼我這樣想，因為之前碰過另一種錯誤，是它直接告訴我 API 連線失敗。
 
 
所以有時候並不是雲端大模型變弱，而是前置處理的地端模型就是不放棄，沒有轉交出去任務。
 
 
因此「ChatGPT 變笨了」不是你的錯覺。

而且延伸來看，地端模型對 SEO 有災難性的影響。它是訓練好就封版的，不會即時更新。
 

Google 的 AI 搜尋已經在直接給答案不導流量了，但至少它還能即時爬到你的網站。地端模型連這個機會都沒有。你的內容如果不在它訓練資料裡，它永遠不會提到你。

Chrome 塞 AI 進去不是壞事。地端處理更快、更省、更隱私。這是未來趨勢，你沒辦法擋的，因為設計架構上這樣就是比較有效率而且...省錢。

你永遠不要懷疑大公司賺錢的決心。