信安之路（2）大数据安全分析_vlambda技术博客

vlambda
2020-06-05

信安之路（2）大数据安全分析

大数据

信安之路（2）大数据安全分析

大数据

众所周知就是大量数据的集合

这个并不难理解

而利用大数据技术去做安全分析

就是一个从多年前就在谈的话题了

信安之路（2）大数据安全分析

解决问题？

信安之路（2）大数据安全分析

无论如何

无论利用什么样的技术

终归要有其目的

解决什么样的安全问题？

有几个要素呢？

攻击对象、攻击目的、攻击手段

以及抽象出来的指纹信息

信安之路（2）大数据安全分析

传统手段

信安之路（2）大数据安全分析

WAF、IDS等传统监测手段

基本上是基于签名的方式进行检测

也就是黑名单机制

大数据支撑下

可以对数据进行深度学习

在看似正常的数据下

学习并识别异常行为

信安之路（2）大数据安全分析

大数据安全分析

信安之路（2）大数据安全分析

深度学习、计算平台、神经网络

在真正进行安全分析的时候

这些恰巧是应该尽量避免考虑的方向

安全分析

安全才是核心

大数据拥有足够高价值的数据

完全能够对攻击行为进行威胁感知

而威胁感知究竟要如何去做呢？

信安之路（2）大数据安全分析

威胁行为建模

信安之路（2）大数据安全分析

攻击模型、杀伤链

都是对大数据威胁感知模型中

关于攻击者行为分析的描述核心

我们要做的

可以参考ATT&CK模型

抽象攻击者行为特征

明确攻击手段

并最终精确还原攻击场景

建立标准的大数据杀伤链渗透模型

信安之路（2）大数据安全分析

数据处理

信安之路（2）大数据安全分析

在建立模型之后

我们终于有了自己的门面🤔

接下来怎么补充自己的里子呢？

套用算法不可取

大数据中数据的深入分析

是对后续自主学习的重要支撑

什么是深入分析呢？

就是以杀伤链为原型

对真实数据进行解剖

比如在链中的信息收集阶段

攻击者是利用MSF进行端口扫描？

还是NMAP进行大范围的弱口令探查

还是仅仅利用whois、wafw00f这样的工具

进行初级的探查

这些手段

无论多么高明

总会留下探查过的痕迹

而这些痕迹，就是引向光明的面包屑

信安之路（2）大数据安全分析

多条数据联合分析

信安之路（2）大数据安全分析

当实现了对链中单条数据的分析处理

我们终于可以做第二件事

就是对这些无数的面包屑

进行关联

比如单个通联数据中的多条请求

是否存在信息探查的痕迹、

是否存在漏洞初步利用的痕迹等等

这是对数据的联合分析

而后

还有对各项安全数据的联合分析

比如WAF日志、IDS报警数据、SIEM冗合数据

对Web数据、数据库数据、系统操作日志数据、

报警初步筛选数据等各项数据进行关联

依然是依据杀伤链模型

进行精准校对

降低消除数据噪音

保证足够的数据支撑

最终可以实现逆向的完整回溯攻击过程，

以及正向的精确攻击手段拆解

信安之路（2）大数据安全分析

正常数据并非正常

信安之路（2）大数据安全分析

正常登陆操作？

真的么？

晚上12点登陆也正常？

联合查询

并非只是数据与数据的碰撞

更要参考人为、环境要素

比如：

单点的多账号同时登陆、

VPN链接下数据的大量导入导出、

周末勤工好学的半夜登陆、

极为偶然的系统手动更新

这些难道不是异常么

因此关联分析

很关键鸭😏

信安之路（2）大数据安全分析

算法优化

信安之路（2）大数据安全分析

基于现有模型的数据处理

优化是个很重要的方面

比如

进行关联索引分析

直接对数据库内超大量的数据进行匹配

那个速度...

也忒感人了叭～

大量数据的汇集

抽取、汇总、联合存储

损耗资源和处理能力要求都是极高的

怎么对数据进行格式化、序列化

优化每个模块之间的互通能力

就显得极为重要了

现有架构

像ES这种

进行全文索引

数据源抽取、存储、计算、顶层算法实现、展示

这样的通用实现模型

非常常见

虽然ES不太适合大规模数据的分析吧

毕竟只支持全文索引

压力大扛不住啊～

因此

单独实现算法

将抽取功能、存储功能、算法层模块拆开

单独实现

最终结果基于独立开发的展示页面

将是多么美好的一个场景哟～

讲的都是比较基础的东西～

看官老爷看看就好

毕竟技术实现是复杂的

安全专家的数据初步筛选和清洗

也是非常耗时的

大数据在今天也已经非常成熟

基于摩尔定律

如今设备的性能那更是一天一个台阶

我相信

终有一天

黑客的攻击水准会达到一个我理解不能的层次

防护手段更是像神一样

智能、高效、直指黑客老家的一体化防护

而那一天

貌似并不远

PEACE！

安安～