[Feature request] Округление даты в макросе $from для улучшения cache hit ratio about clickhouse-grafana HOT 13 CLOSED

Привет @kshvakov
В мастер-ветку была добавлена опция Round:

Дефолтное значение - 0s. Округление происходит всегда в меньшую сторону

from clickhouse-grafana.

Спасибо

from clickhouse-grafana.

Обновились, выставил round в 1m на $from и $timeFiler это никак не повлияло, как шли по секунде так и идут (1500881708, 1500881709 ...) используем Grafana v4.1.1

from clickhouse-grafana.

Да, моя ошибка - забыл обновить скомпиленые js файлы

from clickhouse-grafana.

Есть подозрение, что округляется только from поле, а $to - нет, если так - очень грустно и хотелось бы $to

from clickhouse-grafana.

$to действительно не округляется, так как в этом нет потребности:

   WHERE EventDate >= toDate(1500715771)
     AND EventTime >= toDateTime(1500715771)

здесь используется только $from
Плагин строит такое условие, если $to == 'now', а это верно для всех случаев lastN. Исключением может быть использование time shift опции в панели, тогда Grafana генерирует четкие таймстампы для $from и $to

from clickhouse-grafana.

Но поле now тоже же меняется, а хотелось бы:

1. Округлять Now до нескольких минут
2. При выборке назад тоже производить округление обоих вариантов

Нет ли планов\желания реализовать подобное?

from clickhouse-grafana.

Это очень легко сделать и не сделано это было только потому, что в этом не было надобности - как я упоминал выше, $to не используется в запросах lastN. Опишите, пожалуйста, Ваш кейс подробнее, чтобы я удостоверился, что мы говорим об одном и том же.

from clickhouse-grafana.

Кейс у меня следующий:
Льётся очень много статистики в Clickhouse, есть набор дашбордов на которых показывается верхнеуровневая проблема и генерация одного графика занимает около минуты.

Следовательно я прогреваю кэш дашбордов через переодический опрос ch-proxy по целевым запросам (они же забиты в графану). Графики - часовы, показ на графике - неделя\месяц - это я храню в кэше и быстро рисую.

Но когда нужно отобразить конкретную проблему - идет приближение графика с сужением выборки по времени - ch на лету достаточно быстро отрисовывает график.

И остается третий кейс - когда 10 человек мониторят проблему по последним данным которые кэшируются очень редко или не кэшируются (грубо говоря - 2 человека и у каждого дата окончания выборки - now и авторефреш) - такие запросы я не могу кэшировать, а очень бы хотелось.

Как решение этой проблемы я вижу обрезку даты now до минуты(или нескольких) или часа

from clickhouse-grafana.

Добавил округление $to в https://github.com/Vertamedia/clickhouse-grafana/releases/tag/1.2.6
Но все равно странно, что у Вас используется $from в запросах "дата окончания выборки - now"

from clickhouse-grafana.

Сразу уточню - для конструкции $timeFilter работать будет же? там from работает

from clickhouse-grafana.

Да, $timefilter раскладывается в:

$dateCol BETWEEN toDate($from) AND toDate($to) AND $dateTimeCol BETWEEN $from AND $to

Или в случае с from N to now в:

$dateCol >= toDate($from) AND $dateTimeCol >=$from

from clickhouse-grafana.

Спасибо огромное! Ушел тестировать.

from clickhouse-grafana.