网络威胁情报平台abuse.ch的技术演进与未来规划

本文详细介绍了abuse.ch平台从2008年创建至今的技术发展历程,包括其运营的ZeuS Tracker、URLhaus和MalwareBazaar等项目,平台当前每月处理3000万次HTTP请求、2TB日数据量,以及向研究项目转型的技术架构需求与挑战。

我们的使命

13年前,我开始在业余时间分析偶尔进入个人邮箱的恶意软件样本,并决定通过博客记录发现,abuse.ch由此诞生。同年ZeuS(又名Zbot)恶意软件出现,这款在暗网出售的犯罪软件工具包迅速成为网络犯罪分子实施电子银行欺诈和身份盗用的热门选择。针对2008/2009年ZeuS的兴起,我创建了首个项目:ZeuS Tracker。

自2009年ZeuS Tracker启动以来,多年间不断出现新的网络威胁。在此期间,我陆续推出了更多旨在帮助互联网社区对抗网络犯罪的项目。abuse.ch提供的所有数据始终对商业和非商业用途免费开放。随着使用平台威胁情报的用户不断增加,项目处理的数据量也大幅增长。

技术运营挑战

运营所需的基础设施变得日益复杂,包括:

  • 约50台服务器和200个沙箱环境
  • 每月产生超过130TB网络流量
  • 每日处理约2,000,000次API请求
  • 每月处理近300,000,000次HTTP请求
  • 每日生成80GB数据

最近的两个项目URLhaus和MalwareBazaar采用众包模式,大部分威胁情报来自信息安全社区,包括SOC、CSIRT或CERT的IT安全研究人员以及安全解决方案供应商。

转型研究项目

为应对基础设施成本和大数据分析专业知识的挑战,计划将abuse.ch转型为研究项目,这样可:

  • 接受第三方资助(目前不可行)
  • 申请国内外研究基金(如瑞士国家科学基金会或Horizon Europe)
  • 招聘具备额外技术能力的人员支持项目发展

转型需满足以下条件:

  1. 找到托管项目的大学(已获得瑞士某大学 mutual commitment)
  2. 成为该大学的兼职雇员
  3. 通过筹集的资金支付薪酬

寻求支持

目前已联系使用abuse.ch数据保护网络或客户的大型组织寻求帮助。目标是在2020年底前筹集足够资金实现转型。若计划失败,项目虽不会在2021-01-01立即停止,但长期运营存在不确定性。

(联系方式:cosntacptamem@abuse.ch 请移除所有大写字母)

comments powered by Disqus
使用 Hugo 构建
主题 StackJimmy 设计