加拿大醫療調查深入，德勤報告錯誤引發對政策工作中 AI 的新擔憂

在一項備受矚目的加拿大醫療保健審查中發現德勤報告錯誤後，對公共政策研究的審查正在加劇。

人工智能相關問題如何在紐芬蘭和拉布拉多醫療保健審查中浮現？

根據The Independent的調查，由Deloitte進行的加拿大政府委託醫療保健分析，耗資近160萬美元，包含明顯的人工智能生成的不準確信息。這份526頁的文件於五月由紐芬蘭和拉布拉多政府發布，代表該省衛生部門最昂貴的近期諮詢合約之一。

該報告是為當時由自由黨領導的衛生和社區服務部準備的。它研究了遠程醫療、留任激勵措施以及COVID-19疫情對醫護人員的影響，這正值紐芬蘭和拉布拉多面臨嚴重的護士和醫生短缺之際。然而，隨後的媒體審查對支持這些建議的證據可靠性提出了質疑。

專注於加拿大最東部省份的進步媒體The Independent發現了多個潛在的不準確和異常情況。此外，其調查表明，一些基礎研究引用可能是在人工智能工具的協助下產生或扭曲的，儘管主要敘述並非機器撰寫。

調查人員發現了哪些類型的加拿大醫療保健報告錯誤？

根據The Independent的報導，德勤報告包含虛假學術引用，引用了虛構的學術論文。這些虛構的來源被用來支持成本效益分析，這是塑造醫療保健支出決策的關鍵組成部分。該報告還錯誤地將真實研究人員歸因於他們從未參與過的研究，製造了看似有力但實際不存在的證據。

一些引用更進一步，描述了據稱由研究人員共同撰寫的論文，而這些研究人員表示他們從未合作過。話雖如此，審查並未聲稱每個參考文獻都有缺陷。相反，關注點集中在可能削弱對報告關於人員配置、遠程醫療和系統改革結論信心的引用問題模式上。

該報告還引用了一篇據稱發表在《加拿大呼吸治療雜誌》上的文章。然而，調查人員無法在該雜誌的數據庫中找到這篇論文，加深了對生成工具可能發明了聽起來合理但實際不存在的來源的擔憂。

德勤如何回應人工智能生成引用的指控？

在向Fortune發表的聲明中，德勤加拿大發言人為該工作的實質進行了辯護。"德勤加拿大堅決支持我們報告中提出的建議，"發言人表示。"我們正在修訂報告，進行少量引用更正，這些不會影響報告的發現。"

發言人補充說，人工智能並未產生書面報告本身。相反，他們表示，人工智能"有選擇地用於支持少量研究引用"。然而，考慮到醫療保健研究的規模和財務風險，批評者認為，即使有限地依賴機器生成的參考文獻也需要更嚴格的驗證和透明度。

此外，該公司認為引用修正不會影響報告結論的立場引起了審查。一些學者和政策制定者質疑如何在不重新評估任何下游成本效益模型或勞動力預測的情況下，糾正虛構或錯誤歸因的研究。

受影響的研究人員對諮詢公司的事實核查過程有何評論？

新斯科舍省達爾豪斯大學護理學院的兼職教授Gail Tomblin Murphy是被錯誤引用的人之一。她告訴The Independent，德勤在一篇"不存在"的學術論文中引用了她。她指出，她只曾與虛假引用中歸因的六位其他作者中的三位合作過，而非描述的全部群體。

"聽起來如果你提出這樣的東西，他們可能大量使用人工智能來生成工作，"Tomblin Murphy說。她的評論突顯了學術界對生成工具如何製造令人信服但不準確的參考書目的日益不安，特別是當顧問沒有嚴格驗證每個參考文獻時。

她進一步警告，指導公共政策的報告必須得到經過驗證的高質量證據支持。此外，Tomblin Murphy強調，政府和公眾為此類工作支付了大量費用，因此它必須"準確、以證據為基礎，並有助於推動事情向前發展"。她的批評強調了盡職調查的明顯崩潰，而非單一的技術錯誤。

政府委託的報告花費了多少，政治後果是什麼？

根據上週三在博客文章中發布的信息訪問請求，加拿大政府為德勤研究支付了近160萬美元，分八期發放。截至週一，儘管對其參考文獻和方法論的爭議日益增加，該報告仍在紐芬蘭和拉布拉多政府網站上提供。

自報告交付以來，該省的政治領導層已經發生變化。紐芬蘭和拉布拉多進步保守黨領袖Tony Wakeham於十月底宣誓就任該省新總理。然而，無論是總理辦公室還是衛生和社區服務部都沒有立即回應Fortune關於五月報告的問題，而且他們至今尚未公開解決這些擔憂。

這種沉默留下了關於報告的建議是否將繼續指導衛生政策的開放性問題。它還引發了省級立法者或聯邦監督機構對諮詢公司的研究如何在影響核心公共服務之前進行審查的進一步審查前景。

這些德勤報告錯誤與澳大利亞福利案例相比如何？

加拿大的揭露與澳大利亞的類似問題相隨。七月，德勤製作了一份價值29萬美元的報告，幫助澳大利亞政府加強福利合規。這項237頁的研究也依賴於生成技術，後來被發現包含"幻覺"，包括對不存在的學術研究的引用和聯邦法院判決的虛構引述。

在一位研究人員指出問題後，德勤發布了澳大利亞研究的修訂版本。上個月悄悄上傳到政府網站的更新報告承認，該公司使用了生成語言系統Azure OpenAI來幫助創建初始文件。這一承認僅在外部審查揭露了有缺陷的引用後才出現。

在更新的澳大利亞報告中，德勤寫道，"所做的更新絕不會影響報告的實質內容、發現和建議。"然而，批評者認為，虛構的來源本質上會對任何基於證據的建議的完整性產生懷疑，而不僅僅是表面細節。此外，這第二起事件加劇了對德勤人工智能幻覺和該公司內部事實核查穩健性的辯論。

德勤面臨哪些財務後果，加拿大還有哪些未解決的問題？

作為澳大利亞案例的一部分，德勤的當地成員公司被要求為有缺陷的福利報告向聯邦政府提供部分退款。這一財務處罰表明官員認為與人工智能相關的不準確信息嚴重到足以保證賠償。

相比之下，關於與加拿大醫療保健報告相關的任何潛在退款或合同補救措施的信息尚未公開。話雖如此，隨著政策制定者、醫護人員和納稅人詢問他們是否為一項現在需要出版後更正其證據基礎的研究獲得了全部價值，壓力可能會增加。

更廣泛地說，這兩起事件突顯了當政府依賴使用生成技術但沒有嚴格保障措施的大型諮詢公司時的上升風險。它們還表明，公共機構將需要更強的標準來驗證來源，特別是在可能塑造多年關鍵服務的長期、複雜的政策報告中。

總之，對德勤加拿大醫療保健審查和澳大利亞福利研究的持續審查強調了當人工智能輔助研究為公共政策決策提供信息時，對可靠證據、透明方法論和強有力監督的迫切需求。