Skip to content

v3.2.0

Latest
Latest

Choose a tag to compare

View all tags
@YenchangChan YenchangChan released this 31 Mar 10:28
· 9 commits to master since this release
v3.2.0
d96fc20

发布说明

新功能

  • 新增IPV4和IPV6类型的支持
  • 移除多任务根据lag做assgin的复杂逻辑，需要显式打开rebalanceByLags 开关才能使用该功能
  • 支持异步插入
  • 支持ClickHouse集群发现功能，当ClickHouse集群发生了扩容或者缩容，sinker能动态感知到，并自动调整节点配置，无需人工修改配置重启任务；该功能为实验性质，需要通过 discovery.enabled: true开启 
    {
    "discovery":{
        "enabled": true,
        "checkInterval": 60
    }
}

优化项

  • 增加kafka 高级配置，避免频繁rebalance导致不工作 
    {
    "kafka":{
        "properties":{
            "heartbeat.interval.ms": 3000,
            "session.timeout.ms": 120000,
            "rebalance.timeout.ms": 120000,
            "request.timeout.ms": 60000
        }
    }
}
  • clickhouse client 默认开启lz4压缩
  • 增加 recordPoolSize 用来优化内存占用
  • 动态列加列时使用 aleter_sync = 0, 转为异步执行
  • 如果 http-port没有指定，禁用http功能，避免安全漏洞
  • 第一次运行时，随机选择副本，而不是每次都选择第一个
  • 当每次发现新列时，不重启consumer，减少rebalance的次数
  • 增加 ClickHouse客户端参数readTimeout配置，防止大sql运行超时
  • kafka增加 max.poll.interval.ms参数，当长时间没有消费消费者组时，主动脱离该消费者组
  • 所有错误码均会切换节点重试，防止报错任务卡住

缺陷修复

  • 当指定http-port时，同一台机器运行多个示例会报错的问题
  • 修改动态列会多次重复运行相同的sql的问题
  • sinker配置多个任务，当其中一个任务初始化失败，后续任务都不能运行的问题
  • 新加标签时，如果series为空，该标签不能添加到__labels__字段中的问题
  • Cannot convert NULL value to non-Nullable type导致任务卡住无法继续的问题
Assets 4
Loading