Question

笔者从 2008 年接触 ArcSight 系列产品以来，见证了 ArcSight 在 SIEM 市场的迅速崛起，多次获得 Gartner SIEM 魔力象限的领导者区域并高居榜首。虽然最近几年有不断下滑之势，但不可否认，ArcSight 仍是笔者用过的最好用也是最简单的 SIEM 工具。

1.ArcSight 优势

ArcSight 是 SIEM 的老牌传统产品，成立于 2000 年 5 月，2010 年 10 月被 HP 以约 16 亿美元收购，纳入其企业安全软件群中，2016 年 9 月慧与（中国）有限公司（Hewlett Packard Enterprise，HPE）以 88 亿美元将其软件业务出售给了 Micro Focus，其中就包含 ArcSight。

ArcSight 的强项是可灵活定制的关联分析平台 ESM 以及可以方便收集非标日志的 Flex-Connector。注意 ESM 仅仅是平台，就像微软的 Office 套件，大好文章随你挥洒，但文章好坏在于文章作者和内容而非 Office 套件。

2.ArcSight 模块

ArcSight 包含的产品及模块较多，有些还需单独付费才能启用，以下仅就中国大陆地区常见的模块及功能进行简要介绍，其产品框架如图 21-1 所示。

（1）数据采集

ArcSight 的数据采集由采集软件（Connector）实现，目前支持近 400 种日志类型。日志获取的方式支持数据库、文本文件、Syslog、简单网络管理协议（Simple Network Manage-ment Protocol，SNMP）、REST API；日志记录支持单行、多行；日志内容支持文本、XML、JSON。

由 ArcSight 开发、维护、支持的日志采集器称为 SmartConnector，用户自定义开发、维护、支持的日志采集器称为 FlexConnector，两种 Connector 使用完全相同的框架，是同一个软件安装包。SmartConnector 大约每 1~2 月发布一个大版本，提供新的日志类型和格式的解析支持，本书写作时最新的版本是 7.7。

SmartConnector 本身并不单独销售，也不免费提供下载，但可以通过下载官网 Logger 评测版的方式获得相关软件及文档，官网下载链接： https://software.microfocus.com/en us/products/siem data collection log management platform/free trial 。FlexConnector 需要单独采购一个开发授权。Connector 支持安装在 Windows 32/64 位、Linux 32/64 位、Solaris x64、Solaris SPARC 操作系统中。

Connector 本身是个软件，ArcSight 也可以硬件形式提供 Connector Appliance，它按 EPS 划分规格，设备包括 Linux 操作系统和基于 Web 的管理界面，适合一体化解决方案的用户。

（2）数据汇聚

Connector 采集后，经过规范、补充后的数据可以直接发送至后台的关联分析软件 ESM 或/和发送给日志存留/查询软件 Logger，这是以前传统的做法。2016 年 ArcSight 发布了基于 Kafka 技术名为 Event Broker 的产品，它可以适应超大数据量的场景，支持伸缩、高可用、多 Consumer。Connector 可以作为 Producers 将数据以 CEF 格式输入 Event Broker 中，ArcSight ESM、Logger、Hadoop 及其他支持 Kafka 的 Consumer 可以从中获取 CEF 格式数据。

图 21-1　ArcSight 产品框架

Event Broker 本身不单独销售，它和 Connector、Logger、ArcMC 一起打包作为 ADP（ArcSight Data Platform）进行销售。

Event Broker 由于是新出的产品，版本迭代很快，本书写作时最新的版本是 2.11。

（3）数据存储

Logger 是一个类似 Splunk 的产品，可以接收 Connector 发送的格式化日志，也可以直接作为 Syslog 服务器或通过 SCP、SFTP、FTP 获取非结构化的数据，但其性能和部分细节功能没有 Splunk 强大。它是 ArcSight 为了应对 Splunk 而生的，评测版可以直接下载，官网下载链接： https://software.microfocus.com/en us/products/siem data collection log management platform/download ，在日数据量不大于 750M 的情况下可以免费使用 1 年。

Logger 的主要功能包括日志的长期存储、快速检索、快速出具简单报表，不具备真正意义上的实时分析功能。它可以将日志分类，分别设置最多 6 个存储组，每个存储组可以设置不同的保留期限以满足不同的日志存留需求。

Logger 可以查询结构化和非结构化的日志，但关键字检索不支持非英文字符。

Logger 宣称数据压缩比为 10∶1，因此 Logger 本身的内置存储未必要很大。针对于内置存储不足的情况，可以设置自动归档，将日志归档至外部的存储资源中。

Logger 本身是个软件，ArcSight 也可以硬件形式提供 Logger Appliance，它按 EPS 划分规格，设备包括 Linux 操作系统和基于 Web 的管理界面，适合一体化解决方案的用户。

Logger 可以单独购买，购买时就会包含 Connector 的软件，但是建议同时购买 Flex-Connector 的开发授权（价格不贵）以及 ArcMC 用于集中管理。

Logger 大约半年会有一个新的大版本出现，本书写作时最新的版本是 6.51。

（4）数据分析

ESM 是 ArcSight 的真正核心，笔者认为，当前在 SIEM 的实时关联分析领域它应该是排名第一的。

ESM 本身包含了很多组件/模块，有些是要单独付费的：

·Manager，是整个 ESM 的核心，它是基于 Java 的处理软件，主要完成信息的实时关联和分析工作，其中包含 19 大类 30 多个小类的功能（ArcSight 称之为 Resource），Manager 只能处理 Connector 发送来的规范化的结构化日志。

·CORRE，其实就是 Logger 的一个存储引擎，它具备 Logger 的所有关键功能，在 6.0 版本之前 ESM 使用的存储引擎是 Oracle，但这种通用关系型数据库成为了整个 ESM 的性能瓶颈，因此现在新购 ESM 版本全是基于 CORRE 的，基于 Oracle 的 ESM 最高版本自 2015 年以来一直停滞在 5.6，该模块无需单独付费。

·Command Center，是基于 Web 的 ESM 管理控制台，它设计的功能主要针对 ESM 的平台系统管理员、SOC 的一线运维值班人员及日志源设备管理员。Command Center 的 Web 界面相对比较简洁并且以查看功能为主。该模块无需单独付费。

·Pattern Discovery，是一个单独付费的功能，它主要解决历史数据挖掘的问题。ESM Manager 在实时关联分析上功能很强，但是对历史数据的挖掘能力却很差，因此 ArcSight 开发了模式发现的功能，此功能需要在 ESM Console 上使用。另外 ArcSight 还 OEM 了一个离线的模式发现软件 AID（ArcSight Interactive Discovery），这个产品在中国大陆地区仅有极少数用户购买过，真正要用起来对分析员的功力要求非常高，在大数据技术没有出现前该工具还有意义，随着大数据工具越来越多、越来越成熟，这两个模式发现的功能/产品基本就没人需要了。

·Solution&Use Case，是需要单独付费的资源包，ESM 实现的所有实时关联分析功能都是通过 Manager 的 19 大类 30 多个小类的功能组合实现的，而 Solution&Use Case 就是 ArcSight 基于一些常见的合规性规范定制好的资源包功能组合，例如 PCI、HIPPA、SOX。实际上，将这些资源包落地成符合本机构需求的功能也是需要耗费很多精力的，因此不建议购买。

·Domain Field，可以单独付费激活的功能，尽管 ESM 预留了 400 个以上的字段给单条日志，但在涉及业务日志分析的时候就有些不合适了，Domain Field 就是允许客户在 ESM 中增加自定义的数据字段。

·Actor，可以单独付费激活的功能，主要是和 Oracle IDM 或 Microsoft AD 集成使用，可以将身份管理系统中的账号属性全部自动、实时同步进 ESM，可以实现越权操作的监视。实际上，要实现此功能对用户自身的安全管理要求很高，绝大多数用户完全没有进化到这个层级，因此这些功能在中国大陆地区没听说有谁买过。

ESM 本身是个软件，ArcSight 也可以硬件形式提供 ESM Appliance，它按 EPS 划分规格，设备包括了 Linux 操作系统和基于 Web 的管理界面，适合一体化解决方案的用户。

ESM 大约半年到一年会有一个新的大版本出现，本书写作时最新的版本是 6.11c+Patch1。

ESM 对历史数据的分析是弱项，因此 ArcSight 在 2017 年发布了一个名为 Investigate 的产品，它从 Event Broker 中消费数据，使用 Vertica 列式存储数据库，宣称可以只用数秒便可以 10 亿条记录中查询到结果，查询的语法支持人类自然语法。由于此产品很新且需单独付费，笔者也没有实际接触过，很难评价。

（5）系统操作和管理

Console 是 ESM 的控制台，主要由安全分析员、Use Case 开发人员使用，Console 用户数量是需要单独计费的，当然目前只是技术上弹出个烦人的提示而已，还没有限制到无法登录的情况。

Command Center、Logger、Event Broker、Investigate 都可以通过主流的浏览器访问进行信息查询及系统管理。

除非购买了 Connector Appliance，否则每个 Connector 都需要单独维护，对于多 Connector 的环境这点就比较麻烦，因此建议购买 ArcMC，它可以通过 Web 界面集中管理所有的 Connector、Logger、Event Broker。

ArcMC 可以单独购买，也可以作为 ADP 打包一起购买。

ArcMC 大约半年会有一个新的大版本出现，本书写作时最新的版本是 2.71。