恶意流量分类

项目简介

主要任务：从数据处理到算法建模再到结果分析，构建一个端到端的恶意流量分类模型
数据集：10种恶意软件所产生的流量，格式为pcap文件
算法：卷积神经网络，2个卷积层以及2个全连接层

具体流程

环境准备

Mono

$ sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv-keys 3FA7E0328081BFF6A14DA29AA6A19B38D3D831EF
$ sudo apt install apt-transport-https ca-certificates
$ echo "deb https://download.mono-project.com/repo/ubuntu stable-xenial main" | sudo tee /etc/apt/sources.list.d/mono-official-stable.list
$ sudo apt update
$ sudo apt install mono-devel

PowerShell Core

$ wget -q https://packages.microsoft.com/config/ubuntu/16.04/packages-microsoft-prod.deb
$ sudo dpkg -i powershell_6.1.0-1.ubuntu.16.04_amd64.deb
$ sudo apt-get install -f

fdupes
```
$ sudo apt-get install fdupes
```

数据处理

每个类别对应一个pcap文件，存放在1_pcap文件夹中

数据集可以在https://github.com/echowei/DeepTraffic/tree/master/1.malware_traffic_classification/1.DataSet(USTC-TFC2016)/Malware 里下载

拆包，将pcap文件进行session层面的拆分

$ pwsh 1_Pcap2Session.ps1 -s
如果是按照flow层面进行拆分
$ pwsh 1_Pcap2Session.ps1 -f
如果成功运行，则可以看到2_Session/文件夹中含有AllLayers/和L7/这两个文件夹

对pcap包进行预处理，主要是进行下采样以及进行padding操作，统一到784个字节

$ pwsh 2_ProcessSession.ps1 -a [-u | -s]
其中-u表示随机进行下采样，而-s表示对pcap包进行按size从大到小后再进行下采样，采样60000个包  
如何执行成功则在3_ProcessedSession文件夹中包含两个文件夹，FilteredSession/和TrimedSession/分别对应下采样和padding操作后的文件夹

将pcap包进行转图像操作

python3 3_Session2png.py
得到的结果保存在4_Png/文件夹中，每个样本一个文件夹

模型训练
- 加载数据
  代码保存在load_dataset.py中，作为模块提供给训练脚本进行导入
- 模型训练
  代码保存在train.ipynb中，使用tensorflow2.0进行模型的构建与训练
模型结果
- 模型在训练集上的准确率为0.9901，验证集上的准确率为0.9864，测试集上的准确率为0.9872
引用说明
本项目中数据处理部分的代码参考了yungshenglu/USTC-TK2016，以及echowei/DeepTraffic两个项目，特地表示感谢。

BeStrongok/Malicious-Traffic-Classification

恶意流量分类

项目简介

具体流程