อุปกรณ์อัดฉลาดของคุณกำลังสื่อสารกับแฮ็กเกอร์ แต่ระบบรักษาความปลอดภัยของคุณไม่ได้รับฟัง

โดย Oluwapelumi Bankole นักวิจัย ระบบสารสนเทศและความปลอดภัยทางไซเบอร์ มหาวิทยาลัยเนวาดา ลาสเวกัส

ทุกเช้า ชาวอเมริกันหลายล้านคนตื่นขึ้นมาในบ้านที่เต็มไปด้วยอุปกรณ์ที่เชื่อมต่อกัน เทอร์โมสแตทรู้ว่าคุณออกไปเมื่อไหร่ กล้องกริ่งประตูเฝ้าดูถนนของคุณ โรงพยาบาลแถวนั้นใช้เครื่องให้สารน้ำ เครื่องตรวจสอบผู้ป่วย และระบบ HVAC ที่สื่อสารผ่านเครือข่ายประเภทเดียวกับตู้เย็นอัจฉริยะของคุณ และอุปกรณ์เหล่านี้แทบไม่มีการป้องกันที่เพียงพอเลย

เราได้สร้างโครงสร้างพื้นฐานของเครื่องจักรที่เชื่อมต่อกันอย่างน่าทึ่ง และเรากำลังป้องกันมันด้วยเครื่องมือที่ออกแบบมาสำหรับยุคที่แตกต่างกัน

นี่ไม่ใช่ปัญหาเรื่องการตระหนักรู้ ความปลอดภัยทางไซเบอร์เป็นลำดับความสำคัญสูงสุดของรัฐบาลกลาง หน่วยงานความปลอดภัยทางไซเบอร์และโครงสร้างพื้นฐาน (CISA) เผยแพร่คำแนะนำทุกสัปดาห์ เงินหลายพันล้านดอลลาร์ไหลเข้าสู่ไฟร์วอลล์องค์กร การป้องกันจุดปลายทาง และศูนย์ปฏิบัติการด้านความปลอดภัย แต่พื้นที่ที่ถูกโจมตียังคงเพิ่มขึ้น ณ ปี 2024 เครือข่ายไฟฟ้าของสหรัฐฯ เพียงอย่างเดียวมีอุปกรณ์ IoT ที่เชื่อมต่อกันมากกว่า 2.3 ล้านเครื่อง หลายเครื่องใช้เฟิร์มแวร์ที่ล้าสมัยโดยไม่มีกำหนดการแพตช์และไม่มีการตรวจสอบ

ช่องว่างไม่ได้อยู่ระหว่างสิ่งที่เรารู้และสิ่งที่เรากลัว ช่องว่างอยู่ระหว่างระบบความปลอดภัยที่เราได้สร้างขึ้นและสภาพแวดล้อมที่ระบบเหล่านั้นต้องทำงานจริงๆ

ห้องปฏิบัติการไม่เหมือนโลกแห่งความเป็นจริงเลย

ระบบตรวจจับการบุกรุก ซอฟต์แวร์ที่ออกแบบมาเพื่อตรวจจับกิจกรรมที่เป็นอันตรายบนเครือข่าย ได้ปรับปรุงอย่างมากในทศวรรษที่ผ่านมา โมเดลการเรียนรู้ของเครื่องและการเรียนรู้เชิงลึกสามารถระบุรูปแบบการโจมตีด้วยความแม่นยำที่น่าทึ่งในสภาพแวดล้อมการวิจัย สถาปัตยกรรมทรานส์ฟอร์เมอร์ที่ยืมมาจากการประมวลผลภาษาธรรมชาติ เครือข่ายหน่วยความจำระยะสั้นแบบยาวที่ได้รับการฝึกฝนจากข้อมูลการรับส่งข้อมูลตามลำดับ โมเดลแบบรวมที่รวมตัวจำแนกหลายตัว: วรรณกรรมทางวิชาการเต็มไปด้วยระบบที่บรรลุความแม่นยำ 98 หรือ 99 เปอร์เซ็นต์

ตัวเลขเหล่านั้นมักทำให้เข้าใจผิด

ตัวเลขความแม่นยำมักมาจากชุดข้อมูลห้องปฏิบัติการที่รวบรวมในสภาวะที่ควบคุมได้ โดยมีการกระจายการรับส่งข้อมูลที่ค่อนข้างสะอาด และทดสอบกับข้อมูลประเภทเดียวกับที่โมเดลได้รับการฝึกฝน เครือข่าย IoT จริงไม่เป็นเช่นนั้น มันยุ่งเหยิง แตกต่างกัน และเปลี่ยนแปลงอยู่ตลอดเวลา อุปกรณ์จากผู้ผลิตหลายสิบรายส่งข้อมูลในรูปแบบที่แตกต่างกัน รูปแบบการรับส่งข้อมูลเปลี่ยนแปลงเมื่อมีคนติดตั้งเครื่องใช้ใหม่ เปลี่ยนกิจวัตร หรือแค่ออกไปหนึ่งสัปดาห์ และที่สำคัญ การโจมตีจริงเป็นเหตุการณ์หายากในท่ามกลางการรับส่งข้อมูลปกติ

เมื่อโมเดลได้รับการฝึกฝนบนชุดข้อมูลที่การโจมตีคิดเป็น 40 เปอร์เซ็นต์ของบันทึก จากนั้นนำไปใช้บนเครือข่ายที่การโจมตีคิดเป็น 0.1 เปอร์เซ็นต์ของการรับส่งข้อมูลจริง พฤติกรรมของโมเดลเปลี่ยนแปลงไปโดยสิ้นเชิง มันไม่เคยเรียนรู้ว่าความหายากที่แท้จริงมีลักษณะอย่างไร ผลลัพธ์คือระบบที่พลาดภัยคุกคามที่มันถูกสร้างขึ้นมาเพื่อตรวจจับ ในขณะที่สร้างสัญญาณเตือนเท็จเพียงพอที่จะครอบงำนักวิเคราะห์ที่ต้องตรวจสอบพวกมัน

ปัญหาความไม่สมดุลของคลาสไม่ใช่เชิงอรรถ

ในชุมชนการวิจัย ความไม่สอดคล้องกันระหว่างข้อมูลการฝึกและเงื่อนไขในโลกแห่งความเป็นจริงมีชื่อทางเทคนิคว่า: ความไม่สมดุลของคลาส มันเป็นที่เข้าใจกันดี มีการศึกษาอย่างแข็งขัน และได้รับการประเมินต่ำอย่างสม่ำเสมอโดยองค์กรที่ใช้ระบบเหล่านี้

นี่คือประเด็นหลัก ระบบตรวจจับการบุกรุกเครือข่ายต้องจำแนกแต่ละแพ็กเก็ตหรือการรับส่งข้อมูลว่าเป็นปกติหรือเป็นอันตราย ในความเป็นจริง การรับส่งข้อมูลส่วนใหญ่เป็นปกติ การรับส่งข้อมูลที่เป็นการโจมตีเป็นคลาสส่วนน้อย บางครั้งคิดเป็นน้อยกว่าหนึ่งเปอร์เซ็นต์ของเหตุการณ์ที่สังเกตได้ทั้งหมด โมเดลการเรียนรู้ของเครื่องมาตรฐานที่ได้รับการปรับให้เหมาะสมเพื่อเพิ่มความแม่นยำโดยรวมสูงสุด เรียนรู้อย่างรวดเร็วว่ากลยุทธ์ที่ดีที่สุดคือการจำแนกเกือบทุกอย่างว่าเป็นปกติ กลยุทธ์นั้นสร้างคะแนนความแม่นยำที่ยอดเยี่ยม มันสร้างผลลัพธ์ในโลกแห่งความเป็นจริงที่หายนะ

ระบบที่พลาดการโจมตี 80 เปอร์เซ็นต์เพราะได้รับการฝึกฝนให้สนับสนุนคลาสส่วนใหญ่ไม่ใช่ระบบความปลอดภัย มันเป็นช่องทำเครื่องหมายการปฏิบัติตามข้อกำหนด

การวิจัยเกี่ยวกับเทคนิคเช่น Adaptive SMOTE ซึ่งสร้างตัวอย่างสังเคราะห์ของการโจมตีคลาสส่วนน้อยเพื่อช่วยให้โมเดลเรียนรู้ว่าภัยคุกคามที่หายากมีลักษณะอย่างไร แสดงให้เห็นแนวโน้มที่แท้จริง แต่แนวทางเหล่านี้ต้องได้รับการดำเนินการอย่างรอบคอบ ทดสอบกับชุดข้อมูลที่สะท้อนเงื่อนไขการใช้งานจริง และประเมินด้วยเมตริกที่ถูกต้อง การเรียกคืน เปอร์เซ็นต์ของการโจมตีจริงที่ระบบจับได้จริงๆ มีความสำคัญมากกว่าความแม่นยำโดยรวมเมื่อผลที่ตามมาของการตรวจจับที่พลาดคือการติดเชื้อแรนซัมแวร์ในโรงพยาบาลหรือการฉีดข้อมูลเท็จเข้าสู่ระบบควบคุมของสาธารณูปโภค

ปัญหาหลายมิติที่ไม่มีใครอยากแก้ไข

มีปัญหาที่เกี่ยวข้องที่ได้รับความสนใจน้อยกว่านั้นอีก: เราตัดสินใจอย่างไรว่าระบบตรวจจับการบุกรุกดีพอที่จะนำไปใช้

การประเมินส่วนใหญ่เลือกเมตริกหนึ่งหรือสองตัวและปรับให้เหมาะสมสำหรับพวกมัน ความแม่นยำเป็นเรื่องธรรมดา คะแนน F1 เป็นที่นิยมในเอกสารวิชาการ แต่การใช้งาน IoT ในโลกแห่งความเป็นจริงต้องการการแลกเปลี่ยนระหว่างมิติที่แข่งขันกันอย่างน้อยสี่มิติพร้อมกัน: ความแม่นยำในการตรวจจับ ประสิทธิภาพการประมวลผล อัตราบวกเท็จ และความสามารถในการปรับตัวกับประเภทการโจมตีใหม่

ระบบที่ตรวจจับการโจมตีที่รู้จัก 99 เปอร์เซ็นต์ แต่ใช้พลังการประมวลผลมากกว่าอุปกรณ์ IoT ที่มันป้องกันไม่ใช่ระบบที่สามารถนำไปใช้ได้ ระบบที่ทำงานอย่างมีประสิทธิภาพแต่สร้างสัญญาณเตือนเท็จสิบครั้งสำหรับภัยคุกคามจริงทุกครั้ง สร้างความเหนื่อยล้าจากการแจ้งเตือนที่รุนแรงจนนักวิเคราะห์หยุดสืบสวน ระบบที่ได้รับการปรับให้เหมาะสมสำหรับอนุกรมวิธานการโจมตีในปัจจุบันที่ไม่สามารถปรับตัวเมื่อฝ่ายตรงข้ามเปลี่ยนกลยุทธ์เป็นระบบที่มีวันหมดอายุที่ทราบแล้ว

การขาดกรอบการประเมินหลายมิติที่ใช้ร่วมกันหมายความว่าองค์กรที่ซื้อหรือใช้ระบบตรวจจับการบุกรุกไม่สามารถเปรียบเทียบอย่างมีความหมาย ผู้จำหน่ายสามารถอ้างอัตราการตรวจจับชั้นนำในอุตสาหกรรมในขณะที่เงียบๆ ปรับให้เหมาะสมสำหรับเมตริกที่ดูดีในการสาธิตและล้มเหลวในการผลิต

สิ่งที่จำเป็นต้องเปลี่ยนแปลง

เส้นทางข้างหน้าต้องการการลดระยะห่างระหว่างสิ่งที่นักวิจัยสร้างและสิ่งที่ผู้ปฏิบัติการใช้งานจริง

ประการแรก ชุมชนการวิจัยจำเป็นต้องประเมินระบบตรวจจับการบุกรุกกับการกระจายการรับส่งข้อมูลที่เหมือนจริง ไม่ใช่แค่ชุดข้อมูลมาตรฐานที่สมดุล การทดสอบกับ CIC-IDS2017 หรือ NSL-KDD ด้วยการกำหนดค่าเริ่มต้นสร้างตัวเลขที่เป็นนิยายโดยพื้นฐานเมื่อเปรียบเทียบกับเครือข่ายโรงพยาบาลจริงหรือสมาร์ทกริด

ประการที่สอง องค์กรที่ใช้ระบบเหล่านี้จำเป็นต้องเรียกร้องหลักฐานประสิทธิภาพหลายมิติก่อนซื้อ อัตราการตรวจจับเพียงอย่างเดียวไม่เพียงพอ ขออัตราลบเท็จในหมวดหมู่การโจมตีที่หายาก ขอข้อมูลประสิทธิภาพภายใต้งบประมาณการประมวลผลที่จำกัด ถามว่าระบบทำงานอย่างไรหกเดือนหลังการใช้งาน เมื่อรูปแบบการรับส่งข้อมูลเปลี่ยนไป

ประการที่สาม และเร่งด่วนที่สุด หน่วยงานของรัฐบาลกลางที่รับผิดชอบในการปกป้องโครงสร้างพื้นฐานที่สำคัญจำเป็นต้องกำหนดมาตรฐานการประเมินขั้นต่ำสำหรับการตรวจจับการบุกรุกที่ใช้ AI CISA และ NIST ได้ผลิตกรอบที่ยอดเยี่ยม การแปลกรอบเหล่านั้นเป็นเกณฑ์ประสิทธิภาพเฉพาะที่ทดสอบได้สำหรับระบบความปลอดภัย IoT เป็นขั้นตอนต่อไป

อุปกรณ์ที่เชื่อมต่อกันจะไม่หายไป ผู้โจมตีที่สำรวจมันก็จะไม่ไปไหน คำถามคือระบบที่เราสร้างเพื่อปกป้องมันถูกสร้างขึ้นสำหรับโลกที่ระบบเหล่านั้นจะทำงานจริงหรือโลกที่เราหวังว่าเราอาศัยอยู่เมื่อเราเขียนข้อมูลการฝึก

Oluwapelumi Bankole เป็นนักวิจัยด้านระบบสารสนเทศและความปลอดภัยทางไซเบอร์ที่มหาวิทยาลัยเนวาดา ลาสเวกัส ซึ่งงานของเขามุ่งเน้นไปที่การตรวจจับการบุกรุกที่ขับเคลื่อนด้วย AI สำหรับเครือข่าย IoT และคลาวด์ เขามีปริญญาโทคู่ในสาขาระบบสารสนเทศการจัดการและความปลอดภัยทางไซเบอร์