中国银联建立威胁情报体系实战案例

雷锋网注:本文为威胁情报公司微步在线投稿,授权雷锋网(公众号:雷锋网)发布,本文原标题为《威胁情报的私有化生产和级联:威胁狩猎及情报共享》

1.  威胁情报库建设的背景和需求

第三,我们也希望,腾讯企鹅辅导在过去一年迅速增长的前提下,能继续保持同样的速度,而且我们也会加强和腾讯内部资源的协同,比如与腾讯公益等其它部门的联合,对于偏远山区,对一些相对弱势,教育资源不那么强的地区进行定点帮扶,我想这也是符合国家整个教育普惠的大方向和政策的。

情报辅助上下文是不可忽略的重点,机读情报字段的丰富性决定该威胁情报是否可实际落地,现有情报精确刻画该攻击行为或团伙特征,包括但不限于发现时间、端口协议、严重级别、URL、相关样本、域名属主、家族标签、针对行业等30多个字段,相比之下,仅提供一份黑名单,没有任何辅助上下文信息开源情报几乎无法在金融生产环境中使用。自动化筛查和有效线索转化为情报,主要考验的是我们威胁情报库的私有威胁情报本地化生产能力。

就像腾讯企鹅辅导自己的学生,有很多孩子真的是上午上完课,接下来就要去放牛。跟老师互动时,我们看到他家里的地板就是黄土地,有很多家长在相对偏远的地区,没有那么多钱支撑孩子的学习,但又希望让孩子提高成绩,让孩子学到有用的东西,而去上线下的辅导班成本会更高昂,这时候我们更多是通过线上的服务,也就是刚才我说的几个关键词——效率、体验、效果、性价比,通过技术来解决核心问题。

赵尔迪:我于2015年离开一家知名的线下机构,我最核心的判断是我觉得未来整个教育的发展一定是技术驱动,作为线下机构的校长很多年,对于我来说最困扰的一个方面就是师资的质量和数量得不到有效控制和供给,教学和培训属于服务类产品,是通过人来达成的交付,人在这其中起的作用就特别关键,对于二三四五线缺少优秀师资的地方来说,他们需要通过技术、通过互联网解决。其实每年我自己也资助一些偏远山区的高中生,帮他们支付学费和生活费,经常跟他们通信,了解他们的思想动态和情况,我感觉他们缺少的其实并不是硬件,甚至并不缺少资金的支持,很多时候他们只是缺少一些能够引导他们、指导他们的好老师,就像我刚才说的,帮助他们打开一扇看到外面世界的窗口,他们的视野和思路还需要再开拓,这可能是中国普惠教育核心要做的一点,怎样辐射、覆盖到这些同学,帮助这些同学解决核心问题,我觉得技术和互联网是非常核心的一种方式。

2)  软硬件与数据解析基础组件

另外,广东联通也建立了5G创新联合实验室,目前已经签约的有347家,涉及到8个领域,已经完成活动的有23家。

情报误报问题主要由于多个下游机构采购相同厂家的安全产品,同类安全产品误报后通过下游情报管理平台上传到核心情报管理平台,造成误判问题,这类问题后续计划通过增加鉴别安全设备类型实现进一步规避。

赵尔迪:谢谢主持人!谢谢大家!

主持人:首先恭喜腾讯企鹅辅导获得了“2019年度品牌影响力在线教育机构“奖项,恭喜!

3)   归一化安全设备日志格式问题

1)  新时代攻防趋势与需求的变化。

在智慧城市方面,5G安防比现在4G做得更好。同时在城市市政管理方面5G也提供了诸多可能,广东联通正试着在这方面进行合作。

2.  私有情报生产

在交通方面,广东联通利用5G可以为自动驾驶提供更多的动能,在广州做了自动驾驶的试验,实现了24小时的无人驾驶的应用。

1)   如何构建和落地24*7全自动的多机构情报共享和消费机制

从现在的具体数据上,我们已经能看到这些趋势,整个在线教育市场已经有了几千亿规模以上,它的年增长复合率还在30%以上,相比而言,线下的增长速度其实没有这么快,也就是说,现在已经有了端倪,我相信这样的趋势会越来越明显。这是我的一个判断。

我相信腾讯做企鹅辅导这样的项目可能跟腾讯其它To B的项目、互联网技术项目驱动的不完全一样,因为我们是To C的,相对来说比较重,肯定还是基于腾讯怀有对教育的情怀来做这样的事情,所以我们一定要践行腾讯的企业愿景和使命,“用户为本,科技向善”这两个关键词是重中之重。

3)  威胁检测分析模型

威胁情报库会根据机读情报、高级报告和月报、第三方机读情报、用户手工导入的私有情报以及全球多个开源情报的统一存储、检索和对比自动补充辅助信息,并使用统一的生命周期管理情报从产生、使用、静默与消亡的完整过程。

主持人:腾讯企鹅辅导获得这个奖项,说明在过去一年的工作中取得了非常多有影响力的成绩,您能不能跟我们分享一下,在过去一年腾讯企鹅辅导取得了哪些成绩?

以下是本次活动的腾讯教育副总裁、腾讯企鹅辅导总经理赵尔迪访谈实录:

威胁狩猎流程(流程图)

新浪声明:所有实录均为现场速记整理,新浪网登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。

依据银联威胁情报库结构,首先从内部日志、行业情报和联盟数据中自动生成、筛选情报,并从云端拉取社区情报和定期情报更新,开启协同研判功能后,威胁情报库会自动通过加密信道从云端拉取附加信息并与本地简版私有情报合并,最终形成完整威胁情报形态。本地私有情报可直接查看、删除、导出和应用到第三方系统中。

2.  威胁狩猎的技术重点和难点

对于拥有自有情报平台的机构,情报管理平台可以采用行业同行的标准进行情报的交换。

该目标由核心情报管理平台下发情报、下游情报管理平台写入、上报、消费情报等过程组成,其中重点在于搞清楚谁向下游情报管理平台写情报,下游情报管理平台的情报被谁消费以及怎么消费。

在智能制造方面,广东联通跟多个合作伙伴在工厂里,利用5G就可以把用电控制线变成无线。在质量检测方面,在5G网络下通过AR的眼镜可以将其做得更加精细和快速。

第二,我是今年年初加入腾讯企鹅辅导的,腾讯引入了很多行业内的优质人才加盟企鹅辅导,它的期待和希望是把整个教学水平、教学质量的底线整体提升,所以我们在老师、教材、教学体系方面下的功夫非常大,整体来说,教学内容、师资的把控和技术平台是腾讯企鹅辅导的重要特色。

赵尔迪:从数据上来看,过去一年是企鹅辅导快速发展的一年。首先,我们在招生人数上有超过5倍的增长。同时,我们也拓宽了品类、学科,包括一些素质类课程,例如编程课、科学课,都融入到了我们的课程中,同时增加了很多有趣互动环节,结合了腾讯的技术优势,开发出趣味化的教学形式,所以,在教学内容、教学形式上深受同学们的喜爱。

通过对接入数据源、底层软硬件架构、大数据标准化处理、模型算法,以及顶层安全业务应用的系统规划,依托威胁情报大数据知识图谱技术、高级入侵检测与分析技术、黑客画像与追踪溯源技术、情报数据共享技术、响应策略自动化编排与处置技术等核心技术,构建覆盖全行业网络的威胁检测分析、威胁事件线索提取、攻击者画像与溯源分析、威胁阻断响应与协同联动等完整闭环解决方案,形成以威胁情报数据为驱动的检测、分析、响应、溯源、预测能力。

情报冲突问题是该项目一开始未充分考虑的问题,但是在测试部署中,我们发现有些IP被不同分支机构分别标记为白名单和恶意地址,造成下游机构问问题,经过排查发现主要原因为:A机构将自身办公网出口地址标记为白名单,但其办公网内存在蠕虫病毒,通过办公网出口扫描其他机构,又其他机构或被标记为恶意;

下游情报管理平台主要功能包括自有情报录入,用于情报查询与汇报;向核心情报管理平台汇报本地录入情报;接收核心情报管理平台分发的情报。

依托微服务、分布式集群、海量数据存储、消息队列等大数据软硬件基础组件,构建“松耦合、高内聚”的底层大数据架构,采用ElasticSearch、Hadoop、Spark、Kafka等开源分布式技术,解决海量数据接入、解析、分析、存储、输出等关键环节并发瓶颈问题,能够根据检测环境进行动态扩展。

当情报库建立之后,情报共享的需求马上就被提出。与公司内部、行业机构等进行情报共享,一方面能够快速实现威胁感知能力的提升和风险共担,另一方面情报的合法有序共享,也有利于整个生态的健康持续运转,降低运行成本。

威胁情报库的建立,一方面能够协助我们及时察觉黑客或恶意攻击者的各类战术、方法、行为模式,掌握针对支付场景的最新攻击动向,高效预防和处理各类网络风险安全事件;另一方面高质量的情报数据能够为风险防控提供有力支持,实现对外部网络异常访问行为的精确识别。它对于防守方安全风控团队及时掌安全态势并做出正确响应具有重要价值。

对于接入原始流量的数据接入形式,系统需要将原始流量中的二进制数据解析成结构化的DNS报文。对常见的流量解析工具(包括Bro、Suricata等)调研测试后发现并不适用于DNS解析场景,原因在于 1.此类工具架构设计上针对全流量解析,为了兼容其他协议特性,很大一部分系统资源用于数据流Session维护、流量缓存等,这在DNS解析过程中属于不必要的系统开销。2.此外,DNS数据报文长度较小,相同流量下QPS较高,在Bro和Suricata上性能测试结果不够理想。因此本系统在技术路线上采用自研抓包模块,针对DNS的协议特性进行性能优化。

这就要求我们开放对外部SIEM/SOC数据平台、防火墙或WAF设备、主机管理产品、路由和交换设备以及其他安防产品的联动。并分析特定场景的设备联动,对于命中的高危情报,调用下游设备实现阻断,推动情报从检测、响应场景到全面的安全防护。

“谁向下游情报管理平台写情报”:除了核心情报管理平台外,下游机构其实并没有直接、准确的情报可被写入,实际可写入的是下游机构网络环境中部署的安全设备产生的告警,当众多下游机构上报告警后,核心情报管理平台可以根据智能策略实时动态生成行业威胁情报,例如:下游机构网络不连续的情况下,某个外部IP连续攻击多个下游机构,该攻击IP就相当可疑,根据策略生产为行业情报,并推送给其他暂未感知到风险的下游机构。

在原有情报管理平台与威胁检测平台上,附加更多的能力,基于现有能力不断升级,保证原有能力的持续运营,与新技术的无缝衔接,保证持续有效的安全建设。

主持人:现在市面上的教育机构非常多,尤其是在线教育,腾讯企鹅辅导和其它教育机构的区别和差异在哪里呢?

在原有情报管理平台整合情报与提供情报检测接口的能力上,增强行业情报共享能力、提供批量接入挖掘情报的接口,并建设与现有安全设备联动的能力,基于威胁情报进行自动化的响应。

威胁狩猎技术重点和难点主要来源于以下三个方面:

整体方案主要由核心情报管理平台和下游情报管理平台两部分组成:

虚假注册、批量绑卡、恶意刷单刷券等各种恶意行为会影响企业相关产品的日常运营和营销推广,而传统金融行业自身缺乏与互联网相关的安全数据,需要高质量的情报数据支持相关的风险防控工作。因此,需要把安全跟业务相结合,引入跟风控等业务相关的威胁情报,帮助提升公司的风险防控能力。

主持人:其实可以看到,这两年技术深入各个行业去改变不同行业的形态,同时就像您所说的,技术让更加优质的教育触达更远方,给偏远地区的孩子们更优质、更公平的教育。特别想问问您,对于腾讯企鹅辅导来讲,未来的规划是什么?

银联是典型多职场、多组织协同防御的结构,拥有较多安防设备且对攻击敏感,会有海量的告警信息,如何从海量告警信息中获取真实的攻击行为是一个大的挑战。同时来自外部的威胁情报数据无法完全支撑对于真实攻击的检测、阻断和溯源分析,攻击者对于外围资产实施跳跃式攻击时,也可能导致联动防御困难。在这些场景中,我们对威胁情报数据和威胁情报生产均有强需求。

1.  威胁狩猎的定义和流程

在电力方面,由于电力行业是与大家生活紧密相关的。5G网络能够提供支撑让电力网安全稳定的运行、电力资源有效的调度的能力,特别是在负荷调整、信息监控做得更好。目前在无人机、AR巡检方面,广东联通正在跟电力行业做共同的研究和试点。

赵尔迪:各位网友大家好!

1.  安全建设保障延续性

对企业相关网络边界的出入站双向流量、内网各区域之间横向东西向流量进行全面采集,由流量采集器通过流量镜像方式,对网络内产生流量的所有全量数据进行实时采集,主要采集数据包括流量信息、流量中还原的payload或文件、终端日志数据等三类,其中,流量信息包含DNS、HTTP、TCP、SMTP、POP3、RSYNC、RDP、TFTP等8项协议;DNS日志包括Request与Response双向日志中的解析域名、查询类型、源地址与端口、目的地址与端口等信息。据此形成全流量威胁持续检测接入数据。

2.  现有威胁情报库

总结来说,我认为未来教育的发展一定是技术或互联网深度融合教育的过程,不断改变或解决原有传统教育的痛点。但线下教育和线上教育其实不能严格分开,我觉得在未来一段时间内它应该是一个深度融合的过程,线下教育当然有很多优势,比如效果、学生的专注度,当然我也认为随着技术的日趋成熟,各种技术瞬息万变、不断发展,很多原来线上教育的痛点和不足之处也可能会在短时间内得到一定的解决,当这些得到解决时,相信技术驱动下的在线教育在这个教育培训市场上应该会占到牢固的一席之地。

威胁狩猎是企业机构基于威胁情报的自我查验。威胁狩猎需要提前掌握攻击者某些基本模糊特征和线索,即威胁情报,然后基于情报,通过旁路流量检测、系统日志检测或主机行为检测来挖掘正在进行的攻击行为或已经失陷的内网主机,其效果随着线索或情报的准确性、及时性和多样性而变化。

2)  银联本身业务的要求。

随着互联网特别是移动互联网的发展,网络环境愈发复杂,不同的攻击行为更具产业化、团伙化,入侵手法也愈发多样化与复杂化,传统以防御漏洞为主的安全策略在面对层出不穷的新型、持续性、高级威胁时难以及时有效的检测、拦截和分析。安全攻防需求逐渐从传统的、以漏洞为中心进化为主动型、以情报为中心的建设模式。

在智慧医疗这方面,广东联通跟广东省卫计委推出了智慧医疗的业务。

该项目开发和部署测试过程中,也发现很多重要节点和技术难点,经过充分研讨与贴合实际需求进行评估后一一突破,其中包括有:

4.  对于整个网络安全威胁情报共享体系建设发展的意义

在现有情报库部署情报管理平台,各分支机构部署分支情报管理平台,总控推送情报到各分支,各分支私有情报自动上报到总控,总控可控制是否将各分支上报私有情报进行二次分发。

该架构拥有威胁检测模型十类,包括基于威胁情报的大数据碰撞模型、DNS隐蔽信道检测模型、动态沙箱检测模型、DGA随机域名生成检测模型、内网横向渗透检测模型、深度学习算法自学习检测模型等。检测覆盖阶段包括嗅探、漏洞利用、武器投递、远控、横向移动、对外攻击、行动(勒索、挖矿、数据窃取),识别的攻击与威胁类型至少包括:端口扫描、应用扫描、子域名暴破、远程溢出、WEB攻击、SQL注入、配置漏洞、命令注入、CC破坏性攻击、XSS、SSRF、文件泄露、目录遍历、暴力破解、网页木马、木马执行、webshell、僵木蠕检测、高危漏洞利用、勒索软件、挖矿木马、高级APT组织、隐蔽信道通信等。

第二,我们有自己的规划,我们会继续深耕教学产品和内容,比如我们会在课程设置、设计上更新颖独特,结合最新的AI技术和动画科技,让教学内容更加有趣,互动性更强,让各个年龄段的孩子都有自己喜欢的地方,既能提高成绩,同时在学习过程中也有比较好的体验。

同时,无论是在线教育还是线下教育,其实都离不开教育的本质——教学产品、内容和师资,所以,在过去一年我们引入了大量核心优秀的教育人才加入到腾讯企鹅辅导的队伍中,因此,我们的教学质量和产品研发能力得到了巨幅提升。

协同研判过程中,威胁情报团队成员将共同补全攻击组织手法,最终形成自主的攻击者画像数据库;情报管理平台 支持单一情报的多个情报源数据横向对比查看,多角度综合评估情报全貌,然后通过 Restful API 将威胁能力共享,实现总控和各分支之间的推送、上报和可控的二次分发。

基于威胁情报做日志关联分析

3.  技术的重点和难点

2)  如何对拓展出的更多线索进行自动化筛查,并将有效线索进一步转化为情报;

在前期威胁情报中心能力之上,增强流量监控与威胁狩猎分析能力,精准定位攻击全过程;同时提升情报挖掘能力,并在行业情报共享机制进行探索研究,为将来的实践应用奠定理论和技术基础。

主持人:赵老师作为在教育行业深耕十五年的资深人士,不论线上还是线下教育,您都有非常丰富的经验,您如何判断线下和线上教育未来的发展趋势?

赵尔迪:腾讯企鹅辅导更关注自己,更关注自己的教学质量是不是做得足够好,腾讯刚刚升级新的企业愿景和使命“用户为本,科技向善”,所以我们所有的产品和服务一定要围绕着是否让学员满意的“本”,我们做的工作是不是让更多家庭受益了,“善”在哪里,这一定是我们工作的重点,比那些数据、指标更有意义、更有温度。

在传媒和娱乐这方面,广东联通在春晚、庙会、白云机场利用5G做了更好的传播。

2)   如何解决分支机构情报冲突和误报

3)  如何将威胁情报落地于旁路流量检测、系统日志检测或主机行为检测产品中。

主持人:非常感谢赵老师,能感受到腾讯企鹅辅导的社会责任感。期待接下来能听到更多关于腾讯企鹅辅导的优异成绩。再次感谢赵总带给我们的分享,以上就是本时段所有内容,我们下一时段再见!

在威胁情报的应用过程中,我们发现仍然有一些问题有待解决。

核心情报管理平台主要作用包括接收云端情报用于情报查询;向下游情报管理平台分发情报;接收下游情报管理平台汇报情报;自有情报录入,用于情报查询与分发。

在大的平台上我觉得一定要有大格局和大方向,一切工作都是围绕用户,并积极响应国家相关政策指导。

主持人:各位网友大家好,欢迎大家锁定新浪网教育频道,目前您正在关注的是新浪2019教育盛典的活动现场,那本时段邀请到的是是腾讯教育副总裁、腾讯企鹅辅导总经理赵尔迪老师。欢迎赵老师,请先跟网友们打个招呼。

由于各下游机构采购安全设备的多样性,必然导致日志归一化问题,该问题目前没有十分完美的解决方案,在下游情报管理平台入口处使用技术手段进行统一格式处理目前是可行方案。

威胁情报库的数据来源分为三方面,包括内部情报、专业机构和行业联盟。内部情报包括传统安全设备的拦截、后台SIEM等安全分析系统的分析以及业务风控系统的发现;专业机构会提供所处专业的多源情报,根据每家机构的专业特点进行互补,并在情报冲突时对数据进行研判;行业联盟的威胁情报共享目前正在研究探索中。内部情报、专业机构和行业联盟这三方面的数据聚合后,形成本地库,进行处理后,最终将数据结果反馈给最上层的应用层,推送给后台应用、防御设备或者人工调用。在综合考虑威胁情报库需求后,我们对国内相关厂商进行调研测试,最终选择北京微步在线科技有限公司旗下本地威胁情报管理平台作为银联威胁情报库的载体平台。

五、研究的产出和意义

在原有威胁检测平台边界检测失陷主机的能力上,增强流量的覆盖度,覆盖内网流量,并应用流量文件还原技术、引擎与动态沙箱技术、机器学习技术等提升检测能力,对威胁攻击过程进行分析狩猎,提升对内网中威胁与全攻击过程的可见性。

腾讯教育副总裁、腾讯企鹅辅导总经理赵尔迪

第三,企鹅辅导背靠腾讯,融入了很多外部教育资源,不少重点院校不仅成为了我们的研发基地,还成为我们很多在线教育课题的理论支撑者,同时,我们与第三方企业、政府机构在学术方面有着广泛深入的探讨和合作,有了这些理论的支撑,我们的教学效果、教学内容会更加符合家长和学生的学习习惯和需求,而不仅仅只是把应试通过互联网的形式加强,我们更希望让互联网普惠更多二三四五线没有那么多优质教育资源的地区,同时我们也把很多有趣的、开阔学生眼界和视野的活动加入其中,比如:今年11月,由中央人民广播电视总台与民政部联合摄制的首档大型地名文化节目《中国地名大会》开播,作为节目官方合作伙伴,企鹅辅导联动节目组推出线上互动答题玩法。我们通过各种各样的形式、各种符合学生学习习惯和兴趣的内容给企鹅辅导的同学和家长开通一扇扇新窗口。

雷锋网版权文章,。详情见转载须知。

2.  情报完整流转流程

1)  如何获取准确、及时和多样的具备大量辅助上下文的威胁情报;

赵尔迪:首先,腾讯企鹅辅导肯定要立足于腾讯本身的优势,我觉得最大的优势是腾讯的技术优势,我们充分利用腾讯的底层技术,融入到我们的教学技术环节中,也就是底层技术结合AI、结合图像识别、语音识别、大数据等技术,让课堂的授课环节做到生动、有趣、互动性强,同时要体现科技赋能教育的核心理念,让教学围绕着更有效果、更好体验、更高效率、高性价比这四个关键词进行尝试和努力。这是腾讯企鹅辅导在这方面最重要的特色。

“下游情报管理平台的情报被谁消费、以及怎么消费”:   一些敏感业务例如支付口、登录口都可以使用推送的情报进行主动防御,即使来自攻击IP的用户提供正确的用户名密码,业务仍然强制要求上下行短信验证,对于某些类互联网行业的抽奖活动,还可以降低其所在网段的中奖几率,在不得罪用户、不打断业务的前提下保障业务安全性。 

为了实现这两个目标,我们进行了情报共享技术和全流量威胁狩猎的研究。

1.  情报上传下达的基本逻辑

针对威胁情报准确性、及时性和多样性的需求,威胁情报库采取多源威胁情报的收录和管理,本地情报平台应至少能装载四种情报类型、具备两种情报能力,具体包括多源机读情报、高级人读报告、漏洞情报、自定义情报等,情报能力应包括情报代理能力、本地生产情报能力等,此外,情报共享和级联正是保证威胁狩猎成功进行的关键能力之一。

1.  情报合法有序共享

三、情报共享技术研究

3.  行业情报共享,增强响应能力

依托可视化关联分析技术,对威胁情报、网络原始日志、终端日志、告警日志进行关联分析,从攻击者视角完整还原攻击路径,从被控主机视角完整描绘被控主机网络行为,完整呈现威胁全貌。

3.  全流量威胁狩猎技术

2.  增加全网威胁可见性