ปัญญาประดิษฐ์แบบเอเจนต์ (Agentic AI) มีแนวโน้มที่จะเปลี่ยนแปลงวิธีการดำเนินงานขององค์กร ต่างจากเครื่องมือ AI รุ่นก่อนที่ออกแบบมาเพื่อสรุปเอกสารหรือสร้างเนื้อหา ระบบเหล่านี้สามารถดำเนินการได้อย่างอิสระ ปฏิบัติงาน และโต้ตอบกับระบบองค์กร สำหรับคณะกรรมการที่กำกับดูแลความเสี่ยงด้านเทคโนโลยี การเปลี่ยนแปลงนี้นำมาซึ่งประเภทของความกังวลด้านความปลอดภัยที่แตกต่างโดยพื้นฐาน Laura I. Harder รองประธานของสมาคมความปลอดภัยระบบสารสนเทศ (ISSA) International และเจ้าหน้าที่โจมตีทางไซเบอร์ในกองหนุน กองทัพอากาศสหรัฐฯ เชื่อว่าผู้นำหลายคนประเมินความเร็วในการเกิดความเสี่ยงเหล่านั้นต่ำเกินไป "ความเสี่ยงต่อองค์กรนั้นลดลงเหลือเพียงการมีอำนาจมากเกินไป" Harder กล่าว "เอเจนต์สามารถเปลี่ยนสิทธิ์ เปลี่ยนการทำงาน และสร้างการกระทำที่คุณอาจไม่ได้คาดหวัง" ขณะที่องค์กรเคลื่อนไปจากการทดลองใช้ AI สู่การใช้งานเอเจนต์อิสระ คณะกรรมการต้องเคลื่อนไหวอย่างรวดเร็วเช่นกันเพื่อสร้างโครงสร้างการกำกับดูแล แนวป้องกัน และกระบวนการกำกับดูแลที่สามารถจัดการระบบที่สามารถตัดสินใจและดำเนินการได้โดยไม่ต้องมีมนุษย์เข้ามาแทรกแซง
Agentic AI เปลี่ยนสมการความปลอดภัย
ในช่วงหลายปีที่ผ่านมา การนำ AI ไปใช้งานในองค์กรส่วนใหญ่มุ่งเน้นไปที่เครื่องมือที่วิเคราะห์ข้อมูลหรือสร้างผลลัพธ์ ความสามารถเหล่านั้นนำมาซึ่งความกังวลด้านความเป็นส่วนตัวและความสมบูรณ์ของข้อมูล แต่ระบบเองไม่ค่อยได้ดำเนินการภายในสภาพแวดล้อมขององค์กร Agentic AI เปลี่ยนแปลงพลวัตนี้ แทนที่จะเพียงแค่เสนอคำแนะนำหรือคัดกรองประวัติส่วนตัว เอเจนต์สามารถกระตุ้นเวิร์กโฟลว์ เข้าถึงฐานข้อมูล และโต้ตอบกับระบบซอฟต์แวร์ทั่วทั้งองค์กร "ตอนนี้มันไม่ได้แค่ให้คำแนะนำเรา มันดำเนินการและกระทำเอง" Harder กล่าว
ความเป็นอิสระนั้นสร้างความท้าทายด้านความปลอดภัยใหม่เพราะระบบสามารถถูกบิดเบือนได้ เช่นเดียวกับที่มนุษย์สามารถตกเป็นเหยื่อของวิศวกรรมสังคม เอเจนต์ AI สามารถถูกหลอกให้ปฏิบัติงานที่ไม่ได้ตั้งใจผ่านเทคนิคเช่นการแทรก prompt Harder ชี้ไปที่ตัวอย่างจริงที่คำสั่งที่ซ่อนอยู่ในข้อมูลนำเข้าเปลี่ยนแปลงวิธีการทำงานของ AI "AI จะทำงานตามคำสั่งที่ได้รับ" เธอกล่าว ภัยคุกคามเหล่านี้ทวีความซับซ้อนขึ้นด้วยลักษณะที่ไม่โปร่งใสของโมเดล AI หลายตัว องค์กรมักพึ่งพาเครื่องมือของบุคคลที่สามโดยไม่มีการมองเห็นอย่างเต็มที่ว่าการตัดสินใจเกิดขึ้นอย่างไร ผลลัพธ์คือระบบที่สามารถดำเนินการได้ในขณะที่ทำงานในลักษณะที่ยากต่อการคาดการณ์
ความเสี่ยงที่ซ่อนอยู่ซึ่งคณะกรรมการมักมองข้าม
เมื่อคณะกรรมการเริ่มประเมิน agentic AI Harder กล่าวว่าช่องโหว่ที่ถูกประเมินต่ำที่สุดคือสิทธิ์ เอเจนต์ AI ทุกตัวทำงานภายในเครือข่ายของระบบ แหล่งข้อมูล และแอปพลิเคชัน ระดับการเข้าถึงที่ให้กับระบบเหล่านั้นกำหนดความเสียหายที่อาจเกิดขึ้นหากมีบางอย่างผิดพลาด Harder อธิบายสิ่งนี้ว่าเป็น "รัศมีระเบิด" ของระบบ เอเจนต์ที่ได้รับสิทธิ์กว้างๆ อาจสามารถโต้ตอบกับข้อมูลและโครงสร้างพื้นฐานมากกว่าที่ผู้นำตระหนัก
ตัวอย่างทั่วไปเกิดขึ้นเมื่อระบบ AI เชื่อมต่อกับเครื่องมือทำงานร่วมกันภายในหรือที่เก็บเอกสาร หากโฟลเดอร์ที่แชร์กันอย่างกว้างขวางมีข้อมูลที่ละเอียดอ่อน เอเจนต์ที่ทำงานในสภาพแวดล้อมนั้นจะสามารถเข้าถึงและใช้ข้อมูลนั้นภายในสิทธิ์ที่ให้กับผู้ใช้ บัญชีบริการ หรือการรวมที่มันทำงานอยู่ ในทางปฏิบัติ นั่นหมายความว่าเอเจนต์สามารถเปิดเผยหรือดำเนินการกับข้อมูลที่อาจเข้าถึงได้อย่างกว้างขวางแต่ไม่ได้รับการตรวจสอบอย่างแข็งขัน
บริการ AI ของบุคคลที่สามนำมาซึ่งความเสี่ยงเพิ่มเติม "หากคุณใช้โมเดล ข้อมูลใดที่โมเดลนั้นสามารถเข้าถึงได้ และข้อมูลของคุณสามารถนำไปใช้ฝึกโมเดลนั้นได้หรือไม่?" Harder ถาม หากไม่มีการควบคุมที่ชัดเจน ข้อมูลที่เป็นกรรมสิทธิ์ ทรัพย์สินทางปัญญา หรือข้อมูลลูกค้าที่ละเอียดอ่อนอาจออกจากองค์กรโดยไม่ได้ตั้งใจผ่านการโต้ตอบ AI
การสร้างการกำกับดูแลที่สามารถตามทัน AI
การกำกับดูแล AI ต้องได้รับการปฏิบัติเป็นโปรแกรมที่มีโครงสร้างมากกว่าเป็นส่วนเสริมของเทคโนโลยี องค์กรควรเริ่มต้นด้วยการจัดตั้งคณะกรรมการกำกับดูแล AI เฉพาะ ซึ่งมักจำลองแบบจากคณะกรรมการกำกับดูแลความเป็นส่วนตัวหรือความเสี่ยงที่มีอยู่ กลุ่มนั้นควรนำกรอบงานที่ได้รับการยอมรับมาใช้ เช่น NIST AI Risk Management Framework หรือมาตรฐานสากล เช่น ISO 42001 "การมีการกำกับดูแล AI และการปกป้อง AI ไม่ใช่แค่ผลิตภัณฑ์ที่คุณสามารถซื้อได้" เธอกล่าว
กรอบงานเหล่านี้ให้คำแนะนำเกี่ยวกับนโยบาย การประเมินความเสี่ยง และการควบคุมการปฏิบัติงาน แต่ยังคงต้องการให้องค์กรกำหนดว่า AI จะทำงานอย่างไรภายในสภาพแวดล้อมของพวกเขาและข้อมูลใดที่จะได้รับอนุญาตให้เข้าถึง "คุณต้องการนโยบาย ขั้นตอน และสินค้าคงคลัง" Harder กล่าว "ส่วนเหล่านั้นจะช่วยสร้างโครงสร้างพื้นฐานที่ทีมของคุณสามารถทำงานจากนั้นได้" แนวปฏิบัติที่เกิดขึ้นใหม่อย่างหนึ่งคือการสร้าง "บัญชีรายการวัสดุ AI" ที่ทำบัญชีเครื่องมือ AI ทุกตัวที่ใช้ภายในองค์กร ระบบใดที่เชื่อมต่อด้วย และข้อมูลใดที่สามารถเข้าถึงได้ หากไม่มีการมองเห็นนั้น องค์กรไม่สามารถเข้าใจได้อย่างเต็มที่ถึงความเสี่ยงที่สร้างขึ้นโดยระบบอิสระที่โต้ตอบกับโครงสร้างพื้นฐานขององค์กร
แนวป้องกันที่ป้องกันไม่ให้ AI เสียหาย
แม้จะมีโครงสร้างการกำกับดูแลอยู่แล้ว ระบบเอเจนต์ยังต้องการมาตรการป้องกันทางเทคนิคที่จำกัดวิธีการทำงานของพวกเขา กลยุทธ์ที่มีประสิทธิภาพมากที่สุดคือการออกแบบการควบคุมความปลอดภัยตั้งแต่เริ่มต้น ระบบควรได้รับการพัฒนาในตอนแรกภายในสภาพแวดล้อม sandbox ที่ปิดและควบคุมได้โดยใช้ข้อมูลทดสอบ (ไม่ใช่ข้อมูลการผลิต) และสิทธิ์ที่จำกัด "ขณะที่คุณกำลังสร้างระบบเอเจนต์ของคุณ คุณควรทำในสภาพแวดล้อม sandbox" เธอกล่าว "มันเป็นสภาพแวดล้อมที่ควบคุมได้ซึ่งระบบสังเคราะห์สามารถทำงานได้โดยมีความเสี่ยงต่ำและไม่มีสิทธิ์"
การทดสอบต้องรวมถึง red teaming ซึ่งผู้เชี่ยวชาญด้านความปลอดภัยพยายามทำลายระบบหรือบิดเบือนพฤติกรรมของมัน แบบฝึกหัดเหล่านี้เปิดเผยช่องโหว่ก่อนที่ระบบจะถูกนำไปใช้ในสภาพแวดล้อมการผลิต "การมีมนุษย์ในวงจรช่วยให้มั่นใจว่าหากและเมื่อเครื่องมือ AI ของคุณตัดสินใจที่จะตัดสินใจที่คุณอาจไม่ต้องการ จะมีข้อจำกัดบางอย่าง" Harder กล่าว เทคนิคการแยกยังสามารถจำกัดความเสี่ยงได้ ในสถาปัตยกรรมบางแบบ เอเจนต์ถูกบรรจุอยู่ภายในเครื่องเสมือนที่นโยบายจำกัดคำสั่งที่พวกเขาสามารถดำเนินการและระบบที่พวกเขาสามารถเข้าถึงได้
การกำกับดูแลของคณะกรรมการมีความสำคัญในที่สุด
สำหรับคณะกรรมการ การเพิ่มขึ้นของ agentic AI เป็นความท้าทายด้านการกำกับดูแลและความรับผิดชอบ และ Harder เน้นว่าองค์กรยังคงรับผิดชอบต่อการกระทำที่ระบบ AI ของพวกเขาทำ "คุณไม่สามารถย้อนกลับไปพูดว่า 'ฉันไม่รู้ว่ามันสามารถทำสิ่งนี้ได้'" เธอกล่าว "คุณต้องทำการตรวจสอบอย่างรอบคอบ" ความรับผิดชอบนั้นมีนัยทั้งทางกฎหมายและความไว้วางใจ คณะกรรมการต้องแน่ใจว่าเทคโนโลยีอิสระได้รับการนำไปใช้ด้วยการกำกับดูแลที่ชัดเจน อำนาจที่จำกัด และการตรวจสอบอย่างต่อเนื่อง "อย่าเชื่อมต่อเอเจนต์กับเครื่องมือที่มีสิทธิ์พิเศษจนกว่าคุณจะพิสูจน์ได้ว่ามันมีอำนาจที่จำกัด จุดตรวจสอบโดยมนุษย์ และการตรวจสอบ" Harder กล่าว ขณะที่ agentic AI ยังคงเคลื่อนไปจากการทดลองเข้าสู่การดำเนินงานหลัก องค์กรที่ประสบความสำเร็จจะเป็นองค์กรที่ปฏิบัติต่อการกำกับดูแลและความปลอดภัยเป็นข้อกำหนดพื้นฐานมากกว่าความคิดหลัง
ติดตาม Laura I. Harder บน LinkedIn สำหรับข้อมูลเชิงลึกเพิ่มเติม
