Docker Compose i Kafka klaster

U prethodnom članku opisana je proces instalacije i pokretanja Kafka klastera. Za pokretanje Kafke i Zookeepera koriste se shell skripte koje imaju svoje prednosti ali i nedostatke. Kako bi se efikasnije upravljalo Kafka i Zookeeper komponentama u ovom članku opisati će se kako navedeno uspješno postići Docker Compose alatom. Docker Compose je alat za definiciju […]

Instalacija Kafka klastera

Pisao sam o problematici konfiguracije Kafka servera i topica te kako efikasno kreirati Kafka topic a da nisam napisao osnove: instalacija Kafka klastera. Ovim postom ispraviti ću taj propust. Preduvjeti Operativni sustav koji se koristi kroz ovaj post je CentOS8. Kafka i Zookeeper pokreću se u Docker kontejnerima. Time se omogućava da se na istom […]

Kafka create-topic.sh

Kreiranje topica u Kafki vrlo vjerojatno je najčešći operativni zadatak u održavanju Kafka okruženja. Ako ste pročitali moj članak “Kako ne izgubiti podatke iz Kafka klastera” i onemogućili automatiku kreiranja topica onda bi vam ova skripta mogla biti korisna. Ovu skriptu kreirao sam kako bi si olakšao rad sa više Kafka okruženja i (pre)dugačkim komandnim […]

Kako ne izgubiti podatke iz Kafka klastera

Kafka je izvrstan alat, vrlo otporan na greške, nedostupnost i incidente. Ali, ako se poklopi nekoliko standardnih postavki sa određenim događajima, mogli bi ostati bez podataka u Kafki. Iz tog razloga u nastavku ću vam pokušati približiti najčešće standardne postavke za koje bi trebali razmisliti da li ih je potrebno izmijeniti (osim u specifičnim situacijama). […]