druid stream push 每小时都会出现一次非常强烈的抖动

hello,Yang Fangjin:

我在使用 Tranquility http server,push数据到druid,目前每分钟写入量大概368000条,每小时的segment写入量在500m。

问题如图所示:

第一个问题,每小时都会出现一次非常强烈的抖动

第二个问题,会有部分的数据丢失的情况。

非常希望得到你的帮助。

1、如何设置可以避免每分钟index task切换时引起的抖动。

2、数据丢失的情况目前怀疑是hdfs 在某些时间写入失败,我除了调整hdfs之外,druid可以做什么配置,在写hdfs失败后可以重试。

Tranquility 部分配置如下:

“granularitySpec” : {

“type” : “uniform”,

“segmentGranularity” : “hour”,

“queryGranularity” : “none”

},

“properties” : {

“task.partitions” : “4”,

“task.replicants” : “2”

}

try set task.warmingPeriod

Given the language of the user groups are in english, is it possible to please post the question in english?

But in general, feng’s answer is correct and that you should take a look at task.warmingPeriod.

tks for your help. you are right.

在 2016年5月28日星期六 UTC+8下午3:03:22,feng ge写道:

yes.feng’s answer is correct.tks.

在 2016年6月1日星期三 UTC+8上午8:08:08,Fangjin Yang写道: