Debezium 连接器任务处于未分配状态

Question

今天，三个节点中有一个不同步，但又恢复了。 现在，当我检查连接器任务的状态时，即使连接器处于“运行”状态，它也会显示为“未分配”。 工作人员以分布式模式运行。

我尝试重新启动连接器，但它仍然未分配并指向带回集群的同一工作节点。

以下是我的其中一个工作人员的属性文件，该文件在所有工作人员中都是相同的：

bootstrap.servers=something:9092
group.id=ffb-supply-kafka-connect
key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
key.converter.schemas.enable=false
value.converter.schemas.enable=false
offset.storage.topic=supply-kafka-connect-offsets
config.storage.topic=supply-kafka-connect-configs
status.storage.topic=supply-kafka-connect-status
plugin.path=/var/lib/3p-kafka/connect-plugins/,/usr/share/3p-kafka/libs

连接器配置：

  "connector.class": "io.debezium.connector.mysql.MySqlConnector",
  "snapshot.locking.mode": "minimal",
  "transforms.insertKey.fields": "external_shipment_id",
  "tasks.max": "1",
  "database.history.kafka.topic": "seller_oms_log_history_20220304200010",
  "transforms": "unwrap,insertKey,extractKey,alterKey",
  "transforms.extractKey.type": "org.apache.kafka.connect.transforms.ExtractField$Key",
  "include.schema.changes": "false",
  "table.whitelist": "seller_oms.shipment_log",
  "database.history.kafka.recovery.poll.interval.ms": "5000",
  "transforms.unwrap.drop.tombstones": "false",
  "database.history.skip.unparseable.ddl": "true",
  "transforms.unwrap.type": "io.debezium.transforms.ExtractNewRecordState",
  "value.converter": "org.apache.kafka.connect.json.JsonConverter",
  "database.whitelist": "seller_oms",
  "transforms.alterKey.type": "org.apache.kafka.connect.transforms.ReplaceField$Value",
  "key.converter": "org.apache.kafka.connect.json.JsonConverter",
  "database.user": "cdc_user",
  "transforms.extractKey.field": "external_shipment_id",
  "database.server.id": "20220304200010",
  "transforms.insertKey.type": "org.apache.kafka.connect.transforms.ValueToKey",
  "database.history.kafka.bootstrap.servers": "XX:9092,YY:9092,ZZ:9092",
  "transforms.alterKey.renames": "__source_ts_ms:updated_by_debezium_at",
  "database.server.name": "seller_oms_log",
  "heartbeat.interval.ms": "5000",
  "database.port": "3306",
  "key.converter.schemas.enable": "false",
  "database.hostname": "master.in",
  "database.password": "XXYYSS",
  "value.converter.schemas.enable": "false",
  "name": "shipment-log-connector-20220304200010",
  "errors.tolerance": "all",
  "transforms.unwrap.add.fields": "source.ts_ms",
  "snapshot.mode": "schema_only"

我创建了一个具有相同配置的新连接器，它在现有连接器失败的同一工作节点上工作正常。 我不确定为什么旧管道没有出现并进入任务的运行状态。 当节点与集群断开连接时是否需要执行某些操作，如何在连接器返回后恢复该连接器？ 根据我的理解，如果一个工人宕机了，它应该自动将任务分配给另一个工人。

Answer 1

连接器恢复后是否恢复？

运行分布式连接脚本后，它应该重新平衡任务。

否则，会有一个 /restart API 端点

如果一个worker宕机了，它应该自动将任务分配给另一个worker

根据我的经验，当任务实际上失败时，它们仍然失败，并且如果是临时故障并且日志没有显示任何有用的内容，则需要重新启动端点。但是，您的 errors.tolerance 设置可能有助于在一定程度上隔离问题