SPYSE团队独家专访:构建互联网基础设施搜索引擎的技术实践

本文深入探讨SPYSE团队开发的CertDB SSL证书搜索引擎技术架构,涵盖其互联网扫描机制、数据完整性优势、免费API服务设计理念,以及如何通过证书数据分析企业活动和网络安全威胁,为研究人员和普通用户提供开放的互联网基础设施探索工具。

独家专访SPYSE团队 | 网络罪与安全

内容目录

  • 什么是CertDB?谁是CertDB的核心团队?
  • 是否存在市场竞争?你们的独特卖点是什么?
  • 与crt.sh或Censys相比有何优势?
  • 如何对网站进行分类和筛选?
  • 扫描频率和优先级标准是什么?
  • 是否进行过安全测试或评估?
  • 未来会推出付费服务吗?

我认为很多人之前没听说过SPYSE(我在这次采访前也不知道),但让我告诉你——他们是一群了不起的人、优秀的开发者,相信我,他们正通过出色的工具和项目为信息安全社区做出巨大贡献。我在查看certdb和findsubdomains项目时对他们产生了兴趣——这些网站非常出色,强烈推荐大家去看看!我为他们的项目写过评测:CertDB是一个免费的SSL搜索引擎,而FindSubdomains则用于开源情报的子域名发现,并给予了高度评价。最近几天,我有机会就他们的CertDB项目及持续努力向他们提问,与大家分享。

什么是CertDB?谁是CertDB的核心团队?

我们是SPYSE团队,专注于网络分析和数字安全领域的专业技术人员。2017年,我们组建了一个小组,自愿开发非营利性工具和服务,用于探索和分析互联网上的公开数据。

CertDB.com是一个面向数字证书研究和分析的互联网范围搜索引擎。这是SPYSE团队在2017年启动的第一个项目,旨在为教育、研究和实践目的构建覆盖整个互联网基础设施的搜索引擎,它结合了Censys、Shodan、Domaintools等服务的核心功能,并在数据完整性和分析能力上显著超越它们。除了CertDB,我们的产品组合还包括用于自动化子域名发现的FindSubdomains.com。目前我们正在开发另一个与DNS相关的项目,计划每月发布一个新项目。

该项目的使命在于消除“SSL证书只是将加密密钥与企业详细信息数字绑定的少量数据文件”这一普遍误解。相反,CertDB的创建者旨在改变普通互联网用户对事物的认知。

未来项目包括用于域/子域名分析、IP范围、DNS地址以及组织与其数字资产之间连接的分析工具。我们相信团队实力雄厚,计划每月发布一个项目。大约4个月内,我们打算将这些服务整合成一个覆盖所有这些领域的搜索引擎。我们构建的搜索引擎将结合Censys、Shodan、Domaintools等服务的核心功能,并在数据完整性和分析能力上显著超越它们。该工具将拥有比网络上任何现有资源更完整的数据池。

可用查询示例:https://certdb.com/about
CertDB用例

  • 新颁发的证书有助于比任何新闻稿更快地识别新服务的启动、组织之间的合并和其他市场活动。
  • 跟踪SSL证书过期时间至关重要。一旦SSL证书过期,可能对网站和最终用户造成不良后果,包括信任损失、因弃购导致的利润下降、组织形象和声誉受损以及隐私风险。
  • CertDB不仅是IT领域专业人士的工具。通过探索SSL证书,不仅可以分析单个组织的业务活动,还可以分析整个行业或市场的趋势。
  • 焦点公司可能与其他公司域名一起在组织中颁发证书,这可能意味着合作或收购。此类信息可能作为内幕信息产生利润,甚至启动调查(如果存在不公平商业行为的迹象)。
  • 专注于安全漏洞的公司可能使用CertDB研究有问题的证书,以最终削弱黑客攻击的可能性。
  • 商业SSL销售公司可以通过“警告”受影响的子域名和域名的公司来增加销售额。
  • 公司可能注册暗示即将启动首次代币发行的域名。这一有前景的证据有助于竞争分析或业务分析,同时为数据所有者提供筹集潜在投资资金的能力。
  • 在帕洛阿尔托注册新的未知域名可能暗示新初创公司的出现;从“通配符”证书切换到“Let’s Encrypt”告诉我们组织的预算限制。
  • 基于颁发给特定国家域名的SSL证书数量以及人均证书数量,可以衡量不同国家IT基础设施的成熟度。

我们刚刚起步,非常欢迎任何帮助或支持——建设性反馈、建议、提及、报道选项和联系。

是否存在市场竞争?你们的独特卖点是什么?

CertDB的关键卖点:

  • 完全免费;我们作为志愿者为教育和研究目的开发这些项目,它们将永远免费;
  • 拥有互联网上最完整的证书库;
  • 最准确且每天更新,扫描整个互联网;
  • CertDB拥有最佳用户界面,因为我们不仅关注数据,还关注用户体验。

我们7x24小时分析网络,为您提供互联网上最完整和最新的SSL证书信息。CertDB提供免费访问其强大API的权限。您可以将API用于实际研究或教育目的,或用于其他程序和服务的实现。我们的服务提供多条件搜索能力、质量过滤,还按各种标准聚合数据,从而在更大范围内查看全景。

我们高度重视UX/UI、页面加载速度和其他细节,我们的项目以用户为导向。开发人员不断研究行为因素和用户反馈,以改进项目。

与crt.sh或Censys相比有何优势?

我们的证书工作乍看与censys.io非常相似。我们从开发人员和专家面临的相同问题出发,因此搜索机制有一些重合。同时,应注意我们很大程度上力求使项目可供非专业人士使用并获取有价值信息。我们理解这是一个复杂漫长的过程,但我们深承诺向市场展示一款不是为极客而是为广泛受众设计的产品。

如何对网站进行分类和筛选?

事实上,我们的团队当然不仅处理数字证书。目前,我们通过多种不同技术探索整个IPv4范围的网络部分。研究起点的很大一部分数据来自公开来源,一些是我们自己发现的,一些来自合作伙伴。由于几乎不存在我们不知道的域名,提交表单似乎不切实际。

扫描频率和优先级标准是什么?

近期我们正在准备基础设施,用于定期系统扫描互联网上所有已知点。根据计划,不超过一个月,我们将能够为过去6个月内显示任何生命迹象的每个点至少每两周更新信息,实际上我们预期会更频繁。

是否进行过安全测试或评估?

SPYSE团队主要成员从事IT安全工作。项目想法最初源于我们的日常需求。我们为许多公司(受NDA保护)进行并持续进行测试,拥有相当多的知识。然而,我们将当前服务与工作分开,目标受众更广泛,用于教育目的,为感兴趣的人提供更多研究互联网的机会,研究人员可以免费探索和分析。

如果谈到我们项目的安全性,我们尽力做好,尽管没有单独关注安全问题——我们没有什么可偷的。

未来会推出付费服务吗?

我们计划保持服务完全免费。我们愿意相信当前事务对人们有用。这最激励我们。我们非常希望传播关于免费服务的信息,使普通用户能够访问。希望本文读者能在这方面支持我们。

继续努力,我们对你们的新项目感到兴奋。

封面图片:Jonathan Velasquez

comments powered by Disqus
使用 Hugo 构建
主题 StackJimmy 设计