Cara Install Apache Kafka di CentOS/RHEL 7

Apache Kafka adalah mesin perpesanan canggih yang banyak digunakan dalam proyek BigData dan siklus hidup Analisis Data. Ini adalah platform sumber terbuka untuk membangun saluran streaming data waktu nyata. Ini adalah platform terbitkan-langganan terdistribusi dengan Keandalan, Skalabilitas, dan Daya Tahan.

Kita dapat memiliki Kafka sebagai sebuah cluster atau mandiri. Kafka menyimpan data streaming, dan dapat dikategorikan sebagai Topik. Topik akan memiliki sejumlah partisi sehingga dapat menangani jumlah data yang berubah-ubah. Selain itu, kami dapat memiliki beberapa replika untuk toleransi kesalahan seperti yang kami miliki di HDFS. Dalam klaster Kafka, broker adalah komponen yang menyimpan data yang dipublikasikan.

Zookeeper adalah layanan wajib untuk menjalankan cluster Kafka, karena digunakan untuk mengelola koordinasi broker Kafka. Zookeeper memainkan peran kunci antara produsen dan konsumen dimana ia bertanggung jawab untuk menjaga keadaan semua broker.

Pada artikel ini, kami akan menjelaskan cara menginstal Apache Kafka di satu node CentOS 7 atau RHEL 7.

Menginstal Apache Kafka di CentOS 7

1. Pertama, Anda perlu menginstal Java di sistem Anda untuk menjalankan Apache Kafka tanpa kesalahan apa pun. Jadi, instal versi Java default yang tersedia menggunakan perintah yum berikut dan verifikasi versi Java seperti yang ditunjukkan.

yum -y install java-1.8.0-openjdk
java -version

2. Selanjutnya, unduh Apache Kafka versi stabil terbaru dari situs resminya atau gunakan perintah wget berikut untuk mengunduhnya secara langsung dan mengekstraknya.

wget https://mirrors.estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz 
tar -xzf kafka_2.13-2.7.0.tgz 

3. Buat tautan simbolik untuk paket kafka, lalu tambahkan jalur lingkungan Kafka ke file .bash_profile dan kemudian inisialisasi seperti yang ditunjukkan.

ln -s kafka_2.13-2.7.0 kafka
echo "export PATH=$PATH:/root/kafka_2.13-2.7.0/bin" >> ~/.bash_profile
source ~/.bash_profile

4. Selanjutnya, jalankan Zookeeper, yang sudah terintegrasi dengan paket Kafka. Karena ini adalah cluster node tunggal, Anda dapat memulai zookeeper dengan properti default.

zookeeper-server-start.sh -daemon /root/kafka/config/zookeeper.properties

5. Validasi apakah penjaga kebun binatang dapat diakses atau tidak hanya dengan telnet ke port Zookeeper 2181.

telnet localhost 2181

6. Mulai Kafka dengan properti defaultnya.

kafka-server-start.sh -daemon /root/kafka/config/server.properties

7. Validasi apakah Kafka dapat diakses atau tidak hanya dengan telnet ke port Kafka 9092

telnet localhost 9092

8. Selanjutnya, buat contoh topik.

kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tecmint

9. Cantumkan topik yang dibuat.

kafka-topics.sh --zookeeper localhost:2181 --list

Kesimpulan

Pada artikel ini, kita telah melihat cara menginstal cluster Kafka node tunggal di CentOS 7. Kita akan melihat cara menginstal multinode Kafka Cluster di artikel selanjutnya.