将 CloudWatch 日志发送到数据库

Question

我正在尝试将 Cloudwatch 日志保存在本地 Postgres 数据库中。我目前正在将日志导出到 S3 并保存在 DynamoDB 中。我现在的要求是使用节点和 AWS js-SDK 将其保留在我们的数据库中。我对 Node 和 js-SDK 不是很了解，所以我会非常感激任何想法。

我尝试了一个简单的实现。

const pools = require('../src/common/db'),
const AWS = require('aws-sdk');

// set the cwl
let cwl = new AWS.CloudWatchLogs({
  region: 'us-east-1',
  accessKeyId: 'ABCD1234',
  secretAccessKey: 'MNBV76543',
  Bucket: 'My_bucket'
});

// Get the events
cwl.getLogEvents({
  logGroupName: 'OurLogGroupname',
  logStreamName: 'specifiedLogstream'
}, (error, success ) =>{
  if(error){
    console.log(error)
  }
  console.log(success)
})

// Try saving to db
let sql = ''
pools.query_db('abc', 'INSERT INTO logging.aws_logs(request_id, duration, billed_duration) VALUES (?,?,?)', function(err, res){
  if(err) return callback(err);
  callback();
})

Answer 1

如果您确实想将 Cloudwatch 中的所有消息存储到数据库中，我更喜欢以下方式：

• 向您的 Cloudwatch LogGroup 添加订阅

• 此订阅可配置为触发 Lambda

• Lambda 将具有以下逻辑：

  1. 从事件变量中提取消息
  2. 准备 SQL 语句
  3. 连接到数据库（如果无法连接，请重试）
  4. 执行SQL语句（如果不可能则重试）
  5. 完成

一个关于如何提取事件消息的好示例Cloudwatch 订阅调用将把这些日志发送到 Opensearch（搜索蓝图）