Tóm tắt
Hệ thống Phát hiện Xâm Nhập Mạng (NIDS) đóng vai trò thiết yếu trong việc nhận diện các hoạt động mạng bất thường và độc hại, nhưng các cuộc tấn công mạng gần đây ngày càng có tính thích ứng cao, tự động hóa và khó phát hiện chỉ bằng các quy tắc tĩnh. Do đó, một hệ thống IDS thực tế dựa trên học máy phải giải quyết hai yêu cầu có liên quan chặt chẽ: hiệu suất phát hiện mạnh mẽ và khả năng dự đoán hiệu quả phục vụ giám sát gần thời gian thực[cite: 1]. Cơ sở tham chiếu gần nhất cho nghiên cứu này, “Một khung học máy nâng cao để phát hiện bất thường mạng”, cho thấy việc giảm chiều dữ liệu dựa trên PCA/IPCA có thể duy trì hiệu suất IDS cạnh tranh trên UNSW-NB15 bằng cách sử dụng Hồi quy Logistic, Máy véc-tơ hỗ trợ và Cây quyết định[cite: 1]. Tuy nhiên, không gian mô hình của nó bị giới hạn ở các bộ phân loại truyền thống, việc đánh giá chủ yếu gắn liền với một tập dữ liệu và nó chưa kiểm tra đầy đủ xem các mô hình dựa trên cây mạnh mẽ hơn hoặc định tuyến chuỗi (cascade) có thể cải thiện sự đánh giá đổi mới về thời gian-F1 định hướng triển khai hay không[cite: 1]. Bài báo này giải quyết khoảng trống đó bằng cách tái tạo hướng cơ sở dựa trên PCA/IPCA, mở rộng nó với Random Forest, XGBoost, bỏ phiếu trọng số, và mô hình Lai chuỗi (Hybrid Cascade) kết hợp Cây quyết định – XGBoost – Random Forest, đồng thời đánh giá quy trình trên UNSW-NB15 và CIC-UNSW-NB15[cite: 1]. Các thực nghiệm áp dụng xác thực nhãn, loại bỏ các cột dễ rò rỉ dữ liệu, mã hóa one-hot, chuẩn hóa, Batch PCA, Incremental PCA, lựa chọn mô hình dựa trên tập xác thực và đánh giá trên tập kiểm tra[cite: 1]. Kết quả cho thấy cấu hình IDS tốt nhất phụ thuộc vào tập dữ liệu và giao thức[cite: 1]. Trên tập chia ngẫu nhiên thô của UNSW-NB15 với IPCA, XGBoost đạt điểm F1-Weighted 99,2221% với Tỷ lệ báo động giả (FAR) là 0,4701%, trong khi mô hình Lai chuỗi duy trì điểm F1-Weighted 99,2018% với FAR là 0,5814% và thời gian dự đoán ở cấp độ mô hình thấp hơn đáng kể[cite: 1]. Tuy nhiên, trên tập chia chính thức của UNSW-NB15, FAR tăng lên 30,4865% đối với XGBoost và 29,2595% đối với mô hình Lai chuỗi dưới IPCA[cite: 1]. Do đó, kết quả chia thô được diễn giải là bằng chứng cùng phân phối, trong khi tập chia chính thức được coi là một bài kiểm tra tính mạnh mẽ nghiêm ngặt hơn[cite: 1]. Trên CIC-UNSW-NB15 với IPCA, Random Forest đạt điểm F1-Weighted mạnh nhất là 98,3088% và FAR thấp nhất là 1,8065%, trong khi mô hình Lai chuỗi cung cấp một giải pháp thay thế nhanh hơn nhưng có điểm F1 thấp hơn[cite: 1]. Những phát hiện này chỉ ra rằng việc đánh giá IDS thực tế nên xem xét đồng thời điểm F1, Tỷ lệ báo động giả, Tỷ lệ phát hiện, giao thức chia dữ liệu và thời gian dự đoán thay vì chỉ chọn mô hình dựa trên điểm phân loại[cite: 1].
Từ khóa: Hệ thống phát hiện xâm nhập mạng, UNSW-NB15, CIC-UNSW-NB15, Batch PCA, Incremental PCA, Random Forest, XGBoost, Bỏ phiếu có trọng số, Lai chuỗi, Thời gian dự đoán[cite: 1].
I. GIỚI THIỆU
Hệ thống Phát hiện Xâm nhập Mạng (NIDS) giám sát hành vi lưu lượng mạng để nhận diện lưu lượng độc hại hoặc bất thường[cite: 2]. Trong nghiên cứu này, IDS được mô tả như một bài toán phân loại nhị phân có giám sát: các luồng dữ liệu có nhãn được sử dụng trong quá trình huấn luyện và đánh giá, trong khi các luồng không có nhãn trong quá trình triển khai được xử lý thông qua cùng một đường ống tiền xử lý đã khớp và sau đó được dự đoán là Bình thường (Normal) hoặc Tấn công (Attack)[cite: 2]. Do đó, nhãn là bắt buộc để xây dựng và đánh giá mô hình, nhưng không bắt buộc đối với quá trình suy luận[cite: 2].
Một IDS dựa trên học máy thực tế không nên chỉ được lựa chọn dựa trên điểm F1[cite: 2]. Độ chính xác ngoại tuyến cao vẫn có thể không phù hợp nếu mô hình tạo ra nhiều cảnh báo giả, bỏ sót các luồng tấn công hoặc yêu cầu quá nhiều thời gian dự đoán[cite: 2]. Điều này đặc biệt quan trọng đối với các tập dữ liệu dựa trên luồng, nơi việc mã hóa danh mục có thể làm tăng số chiều đặc trưng và chi phí dự đoán[cite: 2]. Do đó, các phương pháp giảm chiều đặc trưng như Batch PCA và Incremental PCA (IPCA) rất quan trọng vì chúng có thể làm giảm số chiều đầu vào trước khi phân loại[cite: 2].
Cơ sở tham chiếu gần nhất với công trình này, “Một khung học máy nâng cao để phát hiện bất thường mạng”, đánh giá quy trình IDS dựa trên PCA/IPCA trên UNSW-NB15 bằng cách sử dụng Hồi quy Logistic, Máy véc-tơ hỗ trợ và Cây quyết định[cite: 2, 8]. Tuy nhiên, không gian mô hình của nó bị giới hạn ở các bộ phân loại truyền thống và chưa kiểm tra đầy đủ các mô hình dựa trên cây mạnh mẽ hơn hoặc suy luận theo giai đoạn[cite: 2]. Bài báo này tái tạo hướng đi dựa trên PCA/IPCA đó và mở rộng nó với Random Forest, XGBoost, bỏ phiếu có trọng số, và mô hình Lai chuỗi DT-XGB-RF[cite: 2].
Nghiên cứu đánh giá UNSW-NB15 và CIC-UNSW-NB15 bằng điểm F1-Weighted, Tỷ lệ Báo động Giả (FAR), Tỷ lệ Phát hiện (DR), thời gian dự đoán và tỷ lệ định tuyến[cite: 2]. Quan trọng là, UNSW-NB15 được diễn giải theo cả cách chia ngẫu nhiên thô và cách chia tập huấn luyện/kiểm tra chính thức[cite: 2]. Việc chia thô được coi là bằng chứng cùng phân phối, trong khi việc chia chính thức được xem như một bài kiểm tra tính mạnh mẽ nghiêm ngặt hơn[cite: 2]. Khung phân tích này tránh việc coi điểm số chia thô cao là bằng chứng sẵn sàng triển khai[cite: 2].
Các đóng góp chính của bài báo này như sau:
- Bài báo này tái tạo và mở rộng cơ sở IDS có giám sát dựa trên PCA/IPCA dưới một quy trình tiền xử lý và giảm chiều đồng nhất[cite: 2].
- Bài báo này đánh giá LR, SVM, DT, RF, XGB, bỏ phiếu có trọng số và mô hình Lai chuỗi DT-XGB-RF bằng cả các chỉ số phát hiện và hiệu suất[cite: 2, 3].
- Bài báo này báo cáo độ nhạy khi chia tập dữ liệu, FAR, các chỉ số lớp tấn công, thời gian và bằng chứng định tuyến để trình bày mô hình chuỗi như một cơ chế hiệu suất có điều kiện chứ không phải là một mô hình IDS ưu việt toàn cục[cite: 3].
Phần còn lại của bài báo được tổ chức như sau. Phần II tổng quan các nghiên cứu liên quan. Phần III trình bày quy trình và thiết kế mô hình. Phần IV báo cáo kết quả. Phần V thảo luận các hạn chế. Phần VI kết luận bài báo[cite: 2].
II. CÁC NGHIÊN CỨU LIÊN QUAN
IDS dựa trên học máy thường coi việc phân loại lưu lượng là một bài toán học có giám sát, trong đó các luồng mạng có nhãn được dùng để huấn luyện bộ phân loại và các luồng chưa thấy trước đó sẽ được dự đoán là bình thường hay độc hại[cite: 2]. Các mô hình cổ điển như Hồi quy Logistic, Máy véc-tơ hỗ trợ và Cây quyết định vẫn hữu ích cho dữ liệu luồng dạng bảng vì chúng có thể tái tạo và có trọng lượng tính toán nhẹ hơn nhiều phương pháp học sâu[cite: 2]. Tuy nhiên, chúng có thể ít mang tính biểu đạt hơn khi các tương tác đặc trưng trở nên phức tạp hơn[cite: 2].
Các tập dữ liệu chuẩn như UNSW-NB15, CICIDS2017, CSE-CIC-IDS2018, ToN-IoT và CIC-UNSW-NB15 được sử dụng rộng rãi để đánh giá các mô hình IDS[cite: 2, 13]. Kết quả trên các tập dữ liệu này không thể so sánh trực tiếp trừ khi kiểm soát được giao thức chia dữ liệu, các bước tiền xử lý, ánh xạ nhãn và các chỉ số[cite: 2]. Điều này rất quan trọng trong nghiên cứu hiện tại vì cách chia ngẫu nhiên thô và cách chia chính thức của UNSW dẫn đến các giá trị FAR rất khác nhau[cite: 2].
Giảm chiều dữ liệu thường được sử dụng trong IDS vì dữ liệu luồng được mã hóa có thể có số chiều rất cao[cite: 2]. PCA chiếu các đặc trưng vào không gian thành phần nhỏ hơn, trong khi IPCA thực hiện phép biến đổi tương tự theo các lô (batches)[cite: 2]. Cơ sở gần nhất với nghiên cứu này báo cáo các kết quả IDS dựa trên PCA/IPCA cạnh tranh trên UNSW-NB15 sử dụng LR, SVM và DT[cite: 2]. Bài báo này tuân theo cùng hướng tiền xử lý nhưng mở rộng tập mô hình[cite: 2].
Random Forest và XGBoost là các mô hình dựa trên cây mạnh mẽ cho dữ liệu IDS dạng bảng vì chúng có thể nắm bắt các tương tác đặc trưng phi tuyến tính[cite: 2, 13]. Thiết kế chuỗi (cascade) và thoát sớm (early-exit) cũng là những ý tưởng hiệu quả phổ biến: một mô hình nhẹ xử lý các trường hợp dễ trước, trong khi các mô hình nặng hơn xử lý các mẫu không chắc chắn[cite: 2]. Bài báo này không tuyên bố đưa ra thuật toán học cây mới hoặc đạt trạng thái tiên tiến (SOTA) về học sâu[cite: 2]. Đóng góp của nó là sự mở rộng thực nghiệm có kiểm soát đối với quy trình IDS dựa trên PCA/IPCA với các mô hình dựa trên cây mạnh mẽ hơn, định tuyến theo giai đoạn, phân tích hướng đến FAR và báo cáo độ nhạy theo cách chia tập dữ liệu[cite: 2].
III. PHƯƠNG PHÁP LUẬN
A. Thiết kế nghiên cứu và phạm vi tái tạo
Nghiên cứu này tuân theo thiết kế IDS dựa trên luồng thực nghiệm[cite: 2]. Đầu vào là một bản ghi luồng mạng và đầu ra là quyết định IDS nhị phân, Bình thường hoặc Tấn công[cite: 2]. Do tác vụ là học có giám sát, các nhãn được sử dụng trong quá trình huấn luyện và đánh giá, trong khi các luồng thời điểm triển khai được dự đoán mà không yêu cầu nhãn[cite: 2]. Phương pháp luận có ba mục đích[cite: 2]. Đầu tiên, nó tái tạo hướng cơ sở dựa trên PCA/IPCA gần nhất bằng cách sử dụng cùng ý tưởng tiền xử lý cốt lõi và các bộ phân loại truyền thống là Hồi quy Logistic, Máy véc-tơ hỗ trợ và Cây quyết định[cite: 1, 2]. Thứ hai, nó mở rộng cùng quy trình đó với Random Forest, XGBoost, bỏ phiếu có trọng số và mô hình Lai chuỗi DT-XGB-RF[cite: 2]. Thứ ba, nó đánh giá xem các mô hình mở rộng có cải thiện không chỉ điểm F1-Weighted mà còn cả hành vi thời gian dự đoán thực tế hay không[cite: 2].
Để làm cho thực nghiệm có thể tái tạo, nghiên cứu tách biệt hai lớp thực nghiệm[cite: 2]. Lớp so sánh chính sử dụng các cài đặt thành phần Batch PCA và IPCA cố định để so sánh các nhóm cơ sở, mở rộng và chuỗi dưới cùng một cách chia dữ liệu[cite: 2]. Lớp quét thành phần kiểm tra nhiều giá trị n_components và sử dụng hành vi xác thực để biện minh cho chiều dữ liệu được chọn[cite: 2]. Tập kiểm tra chỉ được sử dụng để báo cáo cuối cùng[cite: 2].
B. Tái tạo tiền xử lý từ cơ sở ban đầu
Quy trình tiền xử lý được thiết kế tuân theo cùng logic với khung IDS dựa trên PCA/IPCA ban đầu: làm sạch dữ liệu, mã hóa các thuộc tính phân loại, chuẩn hóa các đặc trưng số, giảm chiều bằng PCA/IPCA và huấn luyện các bộ phân loại[cite: 2, 3]. Bảng I thể hiện rõ ràng cách hướng cơ sở ban đầu được tái tạo và cách bài báo này mở rộng nó[cite: 3].
Sự khác biệt chính so với cơ sở ban đầu do đó không phải là triết lý tiền xử lý khác[cite: 3]. Cùng thứ tự tiền xử lý được giữ nguyên, nhưng không gian mô hình và bằng chứng đánh giá được mở rộng[cite: 3]. Điều này làm cho việc so sánh trở nên công bằng: LR/SVM/DT, RF/XGB, bỏ phiếu và mô hình Lai chuỗi đều nhận dữ liệu từ cùng các ma trận đặc trưng đã được làm sạch, mã hóa, chuẩn hóa và biến đổi bằng PCA/IPCA[cite: 3].
C. Tập dữ liệu, cách chia và giao thức nhãn
Các thực nghiệm sử dụng UNSW-NB15 và CIC-UNSW-NB15[cite: 2, 3]. Các tập dữ liệu không được xếp hạng lẫn nhau; thay vào đó, cùng một quy trình được áp dụng cho cả hai tập dữ liệu để kiểm tra xem hành vi mô hình có ổn định dưới các biểu diễn đặc trưng luồng khác nhau hay không[cite: 3]. Việc chia phân tầng (stratified splitting) được sử dụng để bảo toàn phân phối lớp trong tập huấn luyện, xác thực và kiểm tra[cite: 3].
IV. KẾT QUẢ
Phần này trình bày việc đánh giá trên tập kiểm tra của quy trình IDS dựa trên PCA/IPCA trên UNSW-NB15 và CIC-UNSW-NB15[cite: 5]. Phân tích tập trung vào bốn câu hỏi[cite: 5]. Đầu tiên, nó kiểm tra xem các mô hình cơ sở được tái tạo có tính cạnh tranh dưới cùng quy trình tiền xử lý hay không[cite: 5]. Thứ hai, nó đánh giá xem các mô hình mở rộng, đặc biệt là Random Forest và XGBoost, có cải thiện hiệu suất phát hiện hay không[cite: 5]. Thứ ba, nó phân tích xem mô hình Lai chuỗi DT→XGB→RF đề xuất có thể giảm thời gian dự đoán trong khi vẫn duy trì điểm F1-Weighted cao hay không[cite: 5]. Cuối cùng, nó điều tra xem cấu hình tốt nhất có nhất quán giữa các tập dữ liệu và chế độ PCA hay không[cite: 5].
A. Độ nhạy chia tập theo hướng FAR trên UNSW-NB15
Trước khi diễn giải tốc độ của mô hình chuỗi, cách chia ngẫu nhiên thô và cách chia chính thức của UNSW-NB15 phải được so sánh trực tiếp[cite: 5]. Bảng VII báo cáo FAR và số lượng dương tính giả cho XGBoost và mô hình Lai chuỗi dưới cả hai giao thức[cite: 5]. Chúng được tách biệt ở đây vì FAR là rủi ro vận hành quan trọng nhất đối với việc triển khai IDS[cite: 5].
Bảng VII cho thấy cách chia ngẫu nhiên thô và cách chia chính thức của UNSW-NB15 dẫn đến các giá trị FAR rất khác nhau[cite: 5]. Dưới đánh giá IPCA thô, XGBoost và mô hình Lai chuỗi duy trì mức FAR dưới 0,6%[cite: 5]. Dưới đánh giá IPCA chính thức, FAR tăng lên 30,4865% đối với XGBoost và 29,2595% đối với mô hình Lai chuỗi[cite: 5]. Do đó, kết quả chia thô được xử lý như bằng chứng cùng phân phối, trong khi cách chia chính thức được coi là một bài kiểm tra tính mạnh mẽ nghiêm ngặt hơn[cite: 5]. Điểm F1 chia thô cao không nên được sử dụng đơn độc để tuyên bố sẵn sàng triển khai[cite: 5].
B. So sánh tổng thể tập kiểm tra
Bảng VIII tóm tắt kết quả trên tập kiểm tra đại diện qua hai tập dữ liệu, hai chế độ PCA và ba nhóm mô hình[cite: 5, 6]. Nhóm cơ sở của bài báo bao gồm LR, SVM và DT[cite: 6]. Nhóm mở rộng bao gồm RF và XGB[cite: 6]. Nhóm lai đề cập đến chuỗi DT→XGB→RF được đề xuất[cite: 6].
Kết quả cho thấy RF và XGB mạnh hơn cơ sở LR/SVM/DT được tái tạo khi mục tiêu là điểm F1-Weighted tối đa[cite: 6]. Trên CIC-UNSW-NB15, RF với IPCA đạt điểm F1-Weighted cao nhất là 98,3088% và FAR thấp nhất là 1,8065% trong số các cấu hình CIC đại diện[cite: 6]. Trên UNSW-NB15, XGB đạt điểm F1-Weighted cao nhất dưới cả Batch PCA và IPCA, lần lượt đạt 99,2218% và 99,2221%[cite: 6]. Điều này xác nhận rằng việc mở rộng từ các bộ phân loại truyền thống sang các mô hình tập hợp và tăng cường mạnh mẽ hơn rất hữu ích cho dữ liệu IDS dạng bảng[cite: 6].
Tuy nhiên, mô hình có F1-Weighted tốt nhất không phải lúc nào cũng là cấu hình IDS thực tế nhất[cite: 6]. RF và XGB cải thiện chất lượng phát hiện, nhưng chúng cũng làm tăng thời gian dự đoán[cite: 6]. Điều này thể hiện rõ ràng trên UNSW-NB15 với IPCA, nơi XGB đạt điểm F1-Weighted 99,2221% nhưng yêu cầu 0,8129 giây để dự đoán[cite: 6]. Mô hình Lai chuỗi đạt điểm F1-Weighted thấp hơn một chút là 99,2006%, nhưng giảm thời gian dự đoán xuống 0,1000 giây[cite: 6]. Do đó, giá trị chính của mô hình chuỗi không phải là tối đa hóa F1 tuyệt đối[cite: 6]. Giá trị của nó là khả năng bảo toàn hiệu suất gần bằng XGB trong khi giảm chi phí suy luận[cite: 6].
C. Lựa chọn thành phần dựa trên xác thực
So sánh mô hình đầy đủ chính báo cáo kết quả nhóm mô hình đại diện, trong khi quét thành phần giải thích giá trị n_components nào có ý nghĩa[cite: 6]. Bảng X báo cáo các cấu hình phân đoạn đầy đủ đại diện được chọn trên dữ liệu xác thực và sau đó được đánh giá trên tập kiểm tra[cite: 6]. Bảng này nên được đọc như một bảng biện minh thành phần, không phải là sự thay thế cho so sánh nhóm mô hình chính[cite: 6].
D. Kết quả trên CIC-UNSW-NB15
Kết quả trên CIC-UNSW-NB15 chỉ ra rằng mô hình Lai chuỗi mang tính cạnh tranh nhưng không chiếm ưu thế[cite: 7]. Dưới Batch PCA, XGB đạt điểm F1-Weighted tốt nhất là 98,2947%,