大数据安全技术在信息安全领域的应用之安全检测与大数据的融合

在大数据滔滔来袭的背景下，人们的关注点逐渐从如何掌握庞大的数据信息，转向如何实现对这些数据的深层挖掘，进而让其增值。通过大量信息的整合与海量数据的分析，企业能够更深入地了解自身业务，实现新需求洞察，更好地做出商业决策。

在这里小编建了一个大数据学习交流扣扣群：529867072，我自己整理的最新的大数据进阶资料和高级开发教程，如果有想需要的，可以加群一起学习交流
图片描述

对企业而言，信息安全是为信息化服务的，而信息化又服务于业务增长。因此，利用大数据提升企业信息安全防护水平，能够间接为企业带来效益。大数据在信息安全领域的应用将演化为 IT 商业智能发展趋势的一部分，即安全数据和业务数据的结合能够为企业提供更可靠的策略依据，帮助企业判断各种潜在威胁，预测业务发展趋势。

本文围绕大数据在安全检测、数据挖掘、网络感知、视频监控4个方面的应用介绍相关的技术，包括安全检测与大数据整合技术、面向安全大数据的挖掘技术、基于大数据的网络态势感知技术、视频监控数据的挖掘技术，力求使大家了解大数据在信息安全领域的应用情况。

安全检测与大数据的融合

安全检测与大数据的融合能够及时发现潜在的威胁，提供安全分析与趋势预测，加强应对威胁的能力。需要首先对数据进行分类、过滤与筛选，其次采用信息安全检测技术对系统环境和数据环境进行检测，然后通过关联分析和数据挖掘构建安全威胁模型，经过数据分析预测安全趋势。

1、数据提炼与处理

在收集到原始海量数据后，需要对数据进行分类、过滤、筛选等提炼与处理操作。应当根据数据的敏感程度、影响范围、应用场景，以及业务合作的数据需求，对数据进行分级分类的预处理。然后过滤敏感数据、保密数据、非法数据，得到有价值的可使用的数据。数据过滤与筛选需要达到的性能要求包括海量处理规模、多字段过滤、智能筛选、高效过滤等。因此，针对大数据的智能过滤和内容审计，能够快速便捷地匹配大量自定义的关键字、词，智能过滤去违反国家法律法规以及侵犯用户权益的内容，确保信息内容的安全。

（1）关键字、词智能匹配

大数据的智能匹配要求用户输入关键字、词后，系统能够自动匹配，计算出有关该字词的相关信息。同时保证用户定义的关键词数目不限，可以并发支持百万级别的关键词。依据Google、百度等公司定义的关键字匹配方式，大数据智能匹配大致有广泛匹配、词组匹配、精准匹配、多关键字匹配等方式。

● 广泛匹配可以对关键字的任一顺序进行匹配，对包含其他字词的查询也能触发，并且对相似字词（包括复数形式和同义词）也能触发。

● 词组匹配只有搜索字词同词组顺序完全匹配时才触发，并且允许词组周围存在其他搜索字词。

● 精准匹配只会对完全匹配的关键字进行触发，限制触发范围，减少触发次数。

● 多关键字匹配是从大量数据中快速匹配多个关键字（多个模式）的技术，需要对文本进行预先处理。

（2）智能逻辑关系运算

大数据的智能逻辑关系运算应支持关键字、词复杂匹配，包括常用的"与、或、非"，同时支持"NEAR"临近关系的复杂算法。按照用户自定义的类别体系分类整理过滤出的信息内容，根据自身业务的特点，自定义内容过滤体系，将自定义的类别输出。

（3）样本机器学习

在没有关键词的时候，机器通过自动学习技能，达到对信息文本的相似类划分。由大数据环境提供信息，学习部分则实现信息转换，用能够理解的形式记忆下来，并从中获取有用的信息。学习过程与推理过程是紧密相连的，按照学习中使用推理的多少，机器学习所采用的策略大体上可分为4种：机械学习、通过传授学习、类比学习和通过事例学习。学习中所用的推理越多，系统的能力越强。