OpenAI 的 Whisper 轉錄工具因在醫療環境中生成虛假內容而受到嚴厲批評，這引發了對患者安全和醫療資料準確性的重大擔憂。
幻覺危機
OpenAI 廣泛使用的轉錄工具 Whisper 被發現經常在其轉錄內容中生成虛假內容或產生幻覺。儘管 OpenAI 聲稱其具有人類級別的準確性，但研究人員在各種應用中發現了驚人比例的虛構內容。最令人擔憂的是其在醫療環境中的部署，因為準確的記錄對患者護理至關重要。
無視警告的廣泛醫療應用
儘管 OpenAI 明確警告不要在高風險領域使用 Whisper，但醫療行業仍廣泛採用了這項技術。法美合資公司 Nabla 已在40個醫療系統中實施了基於 Whisper 的工具，服務超過30,000名臨床醫生。該工具已被用於轉錄約700萬次醫療訪問，但由於原始錄音出於資料安全原因已被刪除，無法驗證其準確性。
研究揭示驚人的錯誤率
多項獨立研究揭示了 Whisper 幻覺問題的嚴重性。密歇根大學的研究人員發現公共會議轉錄中80%存在幻覺，而另一項對26,000份轉錄的分析顯示幾乎普遍存在虛構內容。康奈爾大學和弗吉尼亞大學的一項特別令人擔憂的研究發現，40%的幻覺內容可能造成危害，包括編造的醫療治療和虛構的暴力內容。
隱私和安全影響
AI轉錄在醫療保健領域的應用引發了額外的隱私擔憂。患者越來越多地發現自己面臨需要簽署同意書，允許將醫療諮詢內容與第三方供應商共享的情況，這引發了對資料保護和患者隱私的質疑。這導致一些患者，包括加利福尼亞州議員 Rebecca Bauer-Kahan 在內，拒絕簽署此類協議。
行業影響和未來擔憂
Whisper 的影響力已超越醫療應用，該工具已被整合到 ChatGPT 以及 Oracle 和 Microsoft 等主要雲平臺中。僅在 HuggingFace 平臺上單月下載量就超過420萬次，這種情況可能導致虛假資訊的廣泛傳播。前 OpenAI 工程師 William Saunders 表示，如果優先處理這些問題是可以解決的，但目前的情況在關鍵的醫療保健環境中構成了嚴重風險。