【情报课堂】开源情报（osint)理论及其使用方法

点击下方小卡片关注情报分析师

什么是开源情报，如何使用它？今天情报分析师小编将介绍开源情报的基础知识，包括如何使用它，以及可以用来收集和分析它的工具和技术。

知识要点:

• 开源情报来自公众可用的数据和信息。它不仅限于使用Google可以找到的内容，尽管所谓的“表面网络”是一个重要的组成部分。

• 尽管开源智能很有价值，但信息过载是一个真正的问题。用于执行开源情报计划的大多数工具和技术旨在帮助安全专业人员（或威胁参与者）将精力集中在感兴趣的特定领域。

• 开源情报有一个黑暗的一面：安全专业人员可以找到的任何东西也可以被威胁行为者找到（和使用）。

• 为开源情报收集制定明确的战略和框架至关重要 - 简单地寻找任何可能有趣或有用的东西将不可避免地导致倦怠。

  
  

在所有威胁情报子类型中，开源情报（OSINT）可能是使用最广泛的，这是有道理的。毕竟，它基本上是免费的。

不幸的是，就像其他主要的子类型一样——人力情报、信号情报和地理空间情报，仅举几例——开源情报被广泛误解和误用。

在查看开源情报的常见来源和应用之前，重要的是要了解它到底是什么。

根据美国公法，开源情报：

• 根据公开信息制作

• 及时收集，分析并传播给适当的受众

• 满足特定的情报要求

  
  

这里要关注的重要短语是“公开可用”。“开源”一词特指可供公众消费的信息。如果需要任何专业技能，工具或技术来访问一条信息，则不能合理地将其视为开源。

至关重要的是，开源信息不仅限于使用主要搜索引擎可以找到的信息。使用Google可以找到的网页和其他资源当然构成了大量开源信息的来源，但它们远非唯一的来源。

首先，使用主要搜索引擎无法找到很大一部分互联网（根据前谷歌首席执行官埃里克·施密特（Eric Schmidt）的说法，超过99%）。

这个所谓的“深网”是大量的网站，数据库，文件，以及更多（出于各种原因，包括登录页面或付费墙的存在）无法被Google，Bing，Yahoo或任何其他您关心的搜索引擎索引。尽管如此，深网的大部分内容都可以被认为是开源的，因为它很容易被公众使用。

此外，在线上有很多可自由访问的信息，可以使用传统搜索引擎以外的在线工具找到这些信息。我们稍后会更详细地介绍这一点，但作为一个简单的例子，像Shodan和Censys这样的工具可以用来查找IP地址，网络，开放端口，网络摄像头，打印机以及连接到互联网的几乎任何其他内容。

如果信息是以下情况，也可以将其视为开源信息：

• 为公众受众发布或广播（例如，新闻媒体内容）

• 可根据要求向公众提供（例如，人口普查数据）

• 通过订阅或购买（例如，行业期刊）向公众开放

• 可以被任何不经意的观察者看到或听到

• 在向公众开放的会议上提供

• 通过访问任何地方或参加任何向公众开放的活动获得

谈论的是真正难以想象的信息量，它的增长速度远远高于任何人希望跟上的速度。即使我们将领域缩小到单一信息源- 比如Twitter - 我们每天也被迫应对数亿个新数据点。

正如已经收集到的那样，这是开源情报的固有权衡。作为一名情报分析师，拥有如此大量的信息，既是祝福也是诅咒。一方面，几乎可以访问任何可能需要的东西- 但另一方面，您必须能够在永无止境的数据洪流中找到它。

已经介绍了开源情报的基础知识，可以看看它是如何用于网络安全的。有两种常见的用例：

1. 道德黑客和渗透测试

安全专业人员使用开源情报来识别友好网络中的潜在弱点，以便在它们被威胁参与者利用之前进行补救。常见的弱点包括：

• 敏感信息的意外泄露，例如通过社交媒体

• 开放端口或不安全的互联网连接设备

• 未修补的软件，例如运行旧版常见 CMS 产品的网站

• 泄露或暴露的资产，例如粘贴器上的专有代码

  
  

2. 识别外部威胁

正如过去多次讨论的那样，互联网是深入了解组织最紧迫威胁的绝佳来源。从识别哪些新漏洞正在被积极利用，到拦截威胁参与者对即将到来的攻击的“喋喋不休”，开源情报使安全专业人员能够优先考虑他们的时间和资源，以解决当前最重要的威胁。

在大多数情况下，这种类型的工作需要分析师在采取措施之前识别和关联多个数据点以验证威胁。例如，虽然一条威胁性推文可能不会引起关注，但如果同一条推文与已知活跃在特定行业中的威胁组织相关联，则会以不同的方式看待。

关于开源情报，要了解的最重要的事情之一是它经常与其他智能子类型结合使用。来自闭源（如内部遥测、封闭的暗网社区和外部情报共享社区）的情报经常用于过滤和验证开源情报。有多种工具可以帮助分析师执行这些功能，我们将在稍后介绍。

在这一点上，是时候解决开源情报的第二个主要问题了：如果情报分析师可以随时获得某些东西，那么威胁参与者也可以随时获得。

威胁参与者使用开源情报工具和技术来识别潜在目标并利用目标网络中的弱点。一旦识别出漏洞，利用它并实现各种恶意目标通常是一个非常快速和简单的过程。

这个过程是每年有这么多中小企业被黑客入侵的主要原因。这并不是因为威胁组织特别对它们感兴趣，而是因为使用简单的开源情报技术可以发现其网络或网站架构中的漏洞。简而言之，他们是容易的目标。

开源情报不仅能够对IT系统和网络进行技术攻击。威胁参与者还寻求有关个人和组织的信息，这些信息可用于使用网络钓鱼（电子邮件），语音钓鱼（电话或语音邮件）和SMiShing（SMS）为复杂的社会工程活动提供信息。

通常，通过社交网络和博客共享的看似无害的信息可用于开发高度令人信服的社会工程活动，而这些活动又被用来欺骗善意的用户破坏其组织的网络或资产。

这就是为什么将开源情报用于安全目的如此重要的原因 - 它为您提供了一个机会，可以在威胁参与者使用相同的工具和技术来利用它们之前发现和修复组织网络中的弱点并删除敏感信息。

介绍了开源情报的用途,看看一些可用于收集和处理开源信息的技术了。

首先，必须有一个明确的战略和框架来获取和使用开源情报。不建议从寻找任何可能有趣或有用的东西的角度来看待开源情报- 正如已经讨论过的那样，通过开源获得的大量信息只会让你不知所措。

相反，你必须确切地知道你想要实现什么，例如，识别和补救你网络中的弱点并把你的精力集中在实现这些目标上。

其次，必须确定一组用于收集和处理开源信息的工具和技术。再一次，可用的信息量太大，手动过程甚至连一点点有效都无法做到。

从广义上讲，开源情报的收集分为两类：被动收集和主动收集。被动收集通常涉及使用威胁情报平台 （TIP） 将各种威胁源合并到一个易于访问的位置。虽然这是与手动情报收集相比迈出的一大步，但信息过载的风险仍然很大。

更高级的威胁情报解决方案（如Recorded Future）通过使用人工智能、机器学习和自然语言处理来解决此问题，从而根据组织的特定需求自动执行优先级和消除警报的过程。

以类似的方式，有组织的威胁组织通常使用僵尸网络来收集有价值的信息，使用流量嗅探和键盘记录等技术。

另一方面，主动收集是使用各种技术来搜索特定的见解或信息。对于安全专业人员来说，这种类型的收集工作通常是出于以下两个原因之一而完成的：

1.被动收集的警报突出显示了潜在威胁，需要进一步了解

2.情报收集练习的重点非常具体，例如渗透测试练习

看看一些最常用的工具，用于收集和处理开源情报。虽然安全专业人员和威胁行为者可以使用许多免费且有用的工具，但一些最常用（和滥用）的开源情报工具是像Google这样的搜索引擎- 只是不像我们大多数人所知道的那样。

安全专业人员面临的最大问题之一是正常，善意的用户意外地将敏感资产和信息暴露在互联网上。有一系列称为“Google dork”查询的高级搜索功能，可用于识别它们公开的信息和资产。

Google dork查询基于IT专业人员和黑客每天用于开展工作的搜索运算符。常见示例包括“filetype：”（它将搜索结果缩小到特定文件类型）和“site：”（仅返回来自指定网站或域的结果）。

公共情报网站提供了更全面的Google dork查询，其中给出了以下示例搜索：

“敏感但未分类” 文件类型：pdf 网站：publicintelligence.net

如果在搜索引擎中键入此搜索词，它将仅返回来自公共情报网站的 PDF 文档，这些文档在文档文本中的某个位置包含“敏感但未分类”一词。可以想象，有了数百个命令，安全专业人员和威胁参与者可以使用类似的技术来搜索几乎任何东西。

除了搜索引擎之外，还有数百种工具可用于识别网络弱点或暴露的资产。例如，您可以使用 Wappalyzer 来确定网站上使用了哪些技术，并将结果与 Sploitus 或国家漏洞数据库相结合，以确定是否存在任何相关漏洞。

更进一步，您可以使用更高级的威胁情报解决方案（如Recorded Future）来确定漏洞是否正在被积极利用，或者是否包含在任何活动的漏洞利用工具包中。

当然，这里给出的例子只是使用开源情报工具所能实现的一小部分。有大量的免费和高级工具可用于查找和分析开源信息，其常见功能包括：

• 元数据搜索

• 代码搜索

• 人员和身份调查

• 电话号码研究

• 电子邮件搜索和验证

• 链接社交媒体帐户

• 图像分析

• 地理空间研究和制图

• 无线网络检测和数据包分析

  
  

无论目标是什么，开源情报对于所有安全学科都非常有价值。但是，最终，为特定需求找到正确的工具和技术组合将需要时间，以及一定程度的试验和错误。识别不安全资产所需的工具和技术与帮助您跟进威胁警报或跨各种源连接数据点的工具和技术不同。

任何开源情报计划成功的最重要因素是存在明确的战略 - 一旦知道想要完成什么，并且你已经相应地设定了目标，那么确定最有用的工具和技术将更容易实现。

长按下方二维码加入情报学院知识星球

知识星球APP内有超千篇情报专业资料可供下载