- Вы любите Кафку?
- Да, грефневую!
Так вот, кто использовал Kafka и для чего? Как ощущения?
У меня возникло желание использовать кафку как стораж для логов. Не брокер, а именно стораж. Насколько идея безумна?
Пользую как брокер, быстрая, т.к. все в есть в ОЗУ, когда брокером работает, никакого говна типа транзакций и пушей.
Для логов люди пользуют, да, как свалку. Как грепать потом - не знаю, будет ли удобно искать за месяц, по перфомансу, всякие там смещения... Если у меня есть лог 100 гиг, я пишу ему tail -c 1000000 | grep error, и за последний мегабайт можно грепать. С кафкой не знаю.
@sanovach вытейлить из кафки миллион записей должно быть достаточно просто, да и даже из середины последовательно вытащить кусок тоже дешево. вот индексов конечно никаких как в эластиксёрчях не будет, но поиск по логам нужен не так часто чтобы это парило.
Ну, я не знаю зачем еще логи нужны, если по ним не искать, но люди пользуют, кароч, - я где-то читал. Особенно в распределенных системах вместо remote syslog должно хорошо работать. А еще, там наконец-то додумались в последних client-side версиях кешировать всякие мелкие writes на клиенте и потом пачкой отправлять, если настроить. Для логов самое оно.
я использовал как иллюстрацию для судебных процессов в условиях государства