當生成式AI技術快速進入企業應用的同時，資安風險也伴隨而來，在知名OWASP Top 10風險排名報告中，已列出並持續更新大型語言模型（LLM）應用的十大安全風險，不僅揭露應用的潛在威脅，也提醒生成式AI服務供應商，以及應用這些技術的企業與個人，應注意這方面的安全問題。
別以為這些只是假設在未來發生的情境，有些風險本身就是反映真實世界存在的安全事件。在我們近期報導的國內外資安新聞中，就有一些案例突顯這些問題，並且提醒大家須保持警惕。
LLM在這一年半高速發展，相關資安風險的防範仍處於初期發展階段，但生成式AI應用的趨勢已不可擋，因此我們更需瞭解問題的樣貌與特性，才能持續設法因應與正確使用這項創新技術。
實例1 台北捷運AI客服竟能提供程式碼範例，超出應有用途
目前國內外有哪些顯著的LLM風險事件？例如，5個月前（2024年11月），臺灣就有一起企業LLM服務遭到使用者濫用的實例，被大家發現存在防護不周、違反原本安全使用限制的情形。
事情是這樣的：有民眾發現，北捷提供的AI智慧客服服務，竟能用於生成程式碼範例，引發許多網友測試，導致資源遭濫用。
這其實就是名列LLM十大風險的「提示詞注入」當中的一種情境，使用者透過特定輸入，誘使AI客服產生超出預期範圍的回應，代表系統可能未有效限制模型的回應範圍，導致被濫用。
具體而言，這項AI智慧客服的服務，民眾可以在「台北捷運Go」App，或是臺灣捷運的官方網站，找到這項功能，目的是提供更好體驗的便捷服務，幫助捷運資訊查詢、通報，及失物協尋等。
針對上述狀況，北捷當時表示：在收到通報後，已經要求廠商立即切斷串接Azure Open AI功能，回歸提供旅客常見問答題庫的用途。
這也反映一個現象：隨著LLM技術成熟，企業導入的AI客服，背後技術也隨之升級，從過去規則式傳統NLP的腳本機器人，只能回答固定問題，進化成生成式AI的應用，具備強大語言生成與上下文理解能力，帶來更佳的互動體驗，但同時也帶來了全新的風險與挑戰。
雖然此情形看似影響不大，但攻擊者加以利用恐造成嚴重危害，因為提示詞注入引發的風險，不只有上述資源遭濫用、給出超出預期範圍的回應，攻擊者也可試圖利用此風險，來達到更嚴重的危害。據OWASP指出，單以間接提示注入而言，還可能注入惡意的指令，誘導不正確或有偏見的輸出，洩漏敏感資訊，執行未經授權行為，甚至在其連結的系統執行任意指令等。
實例2 三星員工擅自將企業機敏資料上傳公用AI服務
另一個實際案例，是「敏感資訊洩漏」類型的LLM風險。在2023年4月，ChatGPT剛剛竄紅之際，當時傳出三星員工為了工作之便，可能在不清楚使用規範下，逕自將公司內的半導體設備、程式碼等相關資訊，輸入並上傳至ChatGPT處理，導致該公司的內部機密資料外洩。
原因在於，員工將這些企業內部資訊上傳後，可能被儲存在外部伺服器，並有可能在未來被其他使用者或模型訓練所利用。
這其實與過去員工將公司內部資料，上傳到個人雲端硬碟的狀況有點類似。
而上述三星事件的關鍵在於，該員工想用公共生成式AI服務，卻沒想過這並非企業自建或企業用的生成式AI服務。
簡單來說，公共生成式AI的服務，通常會將使用者輸入的資料，用於改進其模型。這意味著，這些上傳的資訊，可能會成為模型訓練資料的一部分，進而在未來的AI輸出將企業機密洩露出去，或者被其他使用者間接獲取。
因此，從企業角度來看，為確保企業自有資料不外流，會考慮部署私有的LLM，或是與供應商簽訂具有更嚴格資料保護條款的企業版方案，禁止使用者輸入資料被用來調校，以及改進模型。
在此同時，多國政府與企業陸續發布「生成式AI安全使用指引」，強調使用規範與資安意識培訓的重要性，爾後，國際間亦有資安廠商推出相關解決方案，強調能防範外對內的攻擊，或內對外的洩漏。
實例3 未查證即採用AI給的錯誤資訊，律師與開發者誤信添麻煩
「錯誤資訊」的LLM風險造成的問題更加令人不安，究其主要原因，是LLM存在AI幻覺（hallucination）問題。
例如，2023年5月，美國紐約州有一位律師替客戶撰寫案件的摘要，過程中，此人利用ChatGPT整理相關的有利判決，而經過另一方律師的查證之後，發現這些判決案例竟是ChatGPT虛構。
這顯示出一個重要問題：使用者的行為將加劇這項風險的影響。因為使用者過度信任LLM，未驗證回應的正確性。
再者，由於AI給出的錯誤資訊，我們也要當心會被攻擊者利用，下面一例是針對開發人員而來。在2023年6月，當時大家開始理解AI存在幻覺，有安全風險管理廠商Vulcan研究人員以此假設，證明ChatGPT若能捏造出不存在的程式碼庫（套件），攻擊者將可利用此情形，鎖定開發人員來散布惡意套件。
例如，在2023年6月，當時大家開始理解AI存在幻覺問題，因此就有安全風險管理廠商Vulcan的研究人員以此假設，證明ChatGPT若能捏造出不存在的程式碼庫（套件），攻擊者將可利用此情形，鎖定開發人員來散布惡意套件。
據實證結果顯示，以Node.js而言，在201個提問中，ChatGPT 3.5在四十多個答覆中，竟捏造不存在的NPM套件；以Python而言，在227個提問中，有八十多個答覆捏造不存在的pip套件。而且，有些答覆還捏造了多個套件。
之後的概念驗證中，研究人員依據捏造出的套件名稱，製作測試用的套件，發現真的有使用者盲目信任模型建議，並下載與安裝了該套件。
實現Security for AI須多方協力
整體而言，LLM應用型態已擴大，不只公用的LLM，還有企業開發給內部使用的LLM，以及企業將LLM應用成為產品或服務的一部分，提供給客戶使用。
因此，面對不同類型的LLM風險，這不只是生成式AI服務供應商的挑戰，應用這些服務或自建LLM的企業組織，也需要重視與因應，即便一般使用者，同樣應該要理解與建立正確使用觀念。
為了因應新興科技風險，多個產業已展開行動，像是推出專業領域的LLM，針對醫療的Med-Gemini就是一例，可減少幻覺、提升準確性；還有許多科技大廠與資安業者，正打造全新Security for AI的產品與功能，包括：防止提示注入、偵測幻覺、模型濫用、DoS、濫用API，以及防範敏感資訊外洩或輸入，還有盤點企業內使用的AI應用程式、協助AI開發合規等，讓不知如何自己應對的企業，能有相應解決方案。
另外，還有法規面的新規範，雖然這些發展持續進行，但在LLM應用潮流下，安全已成為我們無法迴避的挑戰。
LLM連小學程度的數學問題都會答錯？
不只AI幻覺造成的錯誤資訊，大家也必須注意：LLM雖可理解語意來生成回應，但並非真的理解。
今年2月我們報導AI資安議題，奧義智慧科技創辦人邱銘彰，曾向我們提到一個AI誤答的實例。他說，近年AI資安圈有一道經典題目，突顯LLM在知識與推理能力高速進步下，仍會答錯簡單的數學題。這個題目就是：「9.11與9.9誰比較大」。
由於生成式AI爆紅已兩年之久，當下我們對AI提出這個問題想驗證是否真有此事，結果發現ChatGPT 4o mini真的給出9.11比9.9大的錯誤答案！這樣的結果，沒有相關常識的人恐信以為真，即便有常識的人也可能因一時心急，看AI給出看似正確的解釋就誤信。
相隔一個多月（3月底），我們再用同一道題目詢問多個生成式AI模型的服務，AI答錯比例還是很高：如Grok 3（beta）、ChatGPT 4o都答錯，只有Gemini 2.0 Flash答對。
到了4月9日我們再次進行驗證，這次改問「8.22與8.8誰比較大？」，令人稍感欣慰的是，ChatGPT 4o、Grok 3、Gemini 2.0 Flash都能答對，不過，ChatGPT 4o mini還是答錯。
對於「9.11與9.9誰比較大」的問題，先前有很多LLM模型都無法正確回答，直到最近，答錯情形終於變少。例如我們3月底測試時，發現Grok 3（beta）與ChatGPT 4o答錯，只有Gemini 2.0 Flash答對；4月初再測試，這三種AI模型都回答正確。
今年2月中旬，我們詢問ChatGPT關於9.11與9.9誰比較大的問題，當時是ChatGPT 4o mini模型，回答錯誤。
今年3月底，我請朋友詢問Grok 3（beta）關於9.11與9.9誰比較大的問題，對方說明明就回答正確，當下造成我以為模型能力已改進，但因為預設不相信、一小時後看對方提供的截圖，才發現當時AI模型只是一本正經的給出看似合理的解釋說9.11比9.9多0.02，但邏輯上明顯有誤。4月中再測試Grok 3，此題已經回答正確。
今年3月底，我們詢問ChatGPT 4o關於9.11與9.9誰比較大的問題，與Grok 3（beta）一樣回答錯誤。不過4月中再測試ChatGPT 4o，此題已回答正確。
