Cara Menginstal dan Mengonfigurasi Cloudera Manager di CentOS/RHEL 7 - Bagian 3

Dalam artikel ini, kami menjelaskan proses langkah demi langkah untuk menginstal Cloudera Manager sesuai praktik industri. Pada Part 2 kita sudah melalui Prasyarat Cloudera, pastikan semua server telah dipersiapkan dengan sempurna.

Persyaratan

Praktik Terbaik untuk Menerapkan Server Hadoop di CentOS/RHEL 7 – Bagian 1
Menyiapkan Prasyarat Hadoop dan Penguatan Keamanan – Bagian 2

Di sini kita akan memiliki 5 node cluster dimana 2 master dan 3 pekerja. Saya telah menggunakan 5 instance AWS EC2 untuk mendemonstrasikan prosedur instalasi. Saya menamai 5 server tersebut seperti di bawah ini.

master1.linux-console.net
master2.linux-console.net
worker1.linux-console.net
worker2.linux-console.net
worker3.linux-console.net

Cloudera Manager adalah alat administratif dan pemantauan untuk keseluruhan CDH. Kami admin biasanya menyebutnya sebagai alat manajemen untuk Cloudera Hadoop. Kami dapat menerapkan, memantau, mengontrol, dan membuat perubahan konfigurasi dengan menggunakan alat ini. Ini sangat penting untuk mengelola keseluruhan cluster.

Di bawah ini adalah kegunaan penting Cloudera Manager.

Terapkan dan konfigurasikan kluster Hadoop dengan cara otomatis.
Pantau kesehatan klaster
Konfigurasikan peringatan
Penyelesaian masalah
Pelaporan
Pembuatan Laporan Pemanfaatan Cluster
Mengonfigurasi Sumber Daya secara dinamis

Langkah 1: Menginstal Server Web Apache di CentOS

Kami akan menggunakan master1 sebagai server web untuk repositori Cloudera. Selain itu, Cloudera Manager adalah WebUI, jadi kita perlu menginstal Apache. Ikuti langkah-langkah di bawah ini untuk menginstal server web Apache.

yum -y install httpd

Setelah httpd terinstal, jalankan dan aktifkan agar dapat dimulai saat boot.

systemctl start httpd
systemctl enable httpd

Setelah memulai httpd, pastikan statusnya.

systemctl status httpd

Setelah memulai httpd, buka browser di sistem lokal Anda dan tempel alamat IP master1 di bilah pencarian, Anda akan mendapatkan halaman pengujian ini untuk memastikan httpd berjalan dengan baik.

Langkah 2: Konfigurasikan DNS Lokal untuk Menyelesaikan IP dan Nama Host

Kita perlu memiliki server DNS atau mengkonfigurasi /etc/hosts untuk menyelesaikan IP dan nama host. Di sini kita mengonfigurasi /etc/hosts, namun secara real-time, server DNS khusus akan tersedia untuk lingkungan produksi.

Ikuti langkah-langkah di bawah ini untuk membuat entri untuk semua server Anda di /etc/hosts.

vi /etc/hosts

Ini harus dikonfigurasi di semua server.

13.235.27.144   master1.linux-console.net     master1
13.235.135.170  master2.linux-console.net     master2
15.206.167.94   worker1.linux-console.net     worker1
13.232.173.158  worker2.linux-console.net     worker2
65.0.182.222    worker3.linux-console.net     worker3

Langkah 3: Konfigurasikan Login Tanpa Kata Sandi SSH

Cloudera Manager sedang diinstal pada master1 dalam demonstrasi ini. Kita perlu mengkonfigurasi ssh tanpa kata sandi dari master1 ke semua node lainnya. Karena Cloudera Manager akan menggunakan ssh untuk mengkomunikasikan semua node lain untuk menginstal paket.

Ikuti langkah-langkah di bawah ini untuk mengonfigurasi ssh tanpa kata sandi dari master1 ke semua server yang tersisa. Kami akan memiliki pengguna 'tecmint' untuk melangkah lebih jauh.

Buat pengguna 'tecmint' keempat server menggunakan perintah useradd seperti yang ditunjukkan.

useradd -m tecmint

Untuk memberikan hak istimewa root kepada pengguna 'tecmint', tambahkan baris di bawah ini ke dalam file /etc/sudoers. Anda dapat menambahkan baris ini di bawah root seperti yang diberikan pada tangkapan layar.

tecmint   ALL=(ALL)    ALL

Beralih ke pengguna 'tecmint' dan buat kunci ssh di master1 menggunakan perintah di bawah ini.

sudo su tecmint
ssh-keygen

Sekarang salin kunci yang dibuat ke keempat server dengan menggunakan perintah ssh-copy-id seperti yang ditunjukkan.

ssh-copy-id -i ~/.ssh/id_rsa.pub [email 
ssh-copy-id -i ~/.ssh/id_rsa.pub [email 
ssh-copy-id -i ~/.ssh/id_rsa.pub [email  
ssh-copy-id -i ~/.ssh/id_rsa.pub [email

Sekarang Anda seharusnya dapat melakukan ssh dari master1 ke semua server tanpa kata sandi seperti yang ditunjukkan.

ssh master2
ssh worker1
ssh worker2
ssh worker3

Langkah 4: Menginstal dan Mengonfigurasi Cloudera Manager

Kita dapat menggunakan repositori vendor (Cloudera) untuk menginstal semua paket menggunakan alat manajemen paket di RHEL/CentOS. Secara real-time, membuat repositori sendiri adalah praktik terbaik karena kami mungkin tidak memiliki akses internet di server produksi.

Di sini kita akan menginstal rilis Cloudera Manager 6.3.1. Karena kita akan menggunakan master1 sebagai server repo, kita mengunduh paket-paket di jalur yang disebutkan di bawah.

Buat direktori yang disebutkan di bawah ini pada server master1.

sudo mkdir -p /var/www/html/cloudera-repos/cm6

Kita dapat menggunakan alat wget untuk mengunduh paket melalui http. Jadi, instal wget menggunakan perintah di bawah ini.

sudo yum -y install wget

Selanjutnya, unduh file tar Cloudera Manager menggunakan perintah wget berikut.

wget https://archive.cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-redhat7.tar.gz

Ekstrak file tar ke /var/www/html/cloudera-repos/cm6, kita sudah menjadikan master1 sebagai webserver dengan menginstal http dan kami telah mengujinya di browser.

sudo tar xvfz cm6.3.1-redhat7.tar.gz -C /var/www/html/cloudera-repos/cm6 --strip-components=1

Sekarang, verifikasi bahwa semua file rpm Cloudera ada di direktori /var/www/html/cloudera-repos/cm6/RPMS/x86_64.

cd /var/www/html/cloudera-repos/cm6
ll

Buat file /etc/yum.repos.d/cloudera-manager.repo di semua server di host cluster dengan konten berikut, di sini master1 (65.0.101.148) adalah server Web.

[cloudera-repo]
name=cloudera-manager
baseurl=http:///cloudera-repos/cm6/
enabled=1
gpgcheck=0

Sekarang repositori telah ditambahkan, jalankan perintah di bawah ini untuk melihat repositori yang diaktifkan.

yum repolist

Jalankan perintah di bawah ini untuk melihat semua paket terkait Cloudera yang tersedia di repositori.

yum list available | grep cloudera*

Instal cloudera-manager-server, cloudera-manager-agent, cloudera-manager-daemons cloudera-manager-server-db-2.

sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server cloudera-manager-server-db-2

Jalankan perintah di bawah ini untuk melihat semua paket Cloudera yang terinstal.

yum list installed | grep cloudera*

Jalankan perintah di bawah ini untuk memulai cloudera-scm-server-db yang merupakan database dasar untuk menyimpan Cloudera Manager dan metadata layanan lainnya.

Secara default, Cloudera hadir dengan postgre-sql yang tertanam di Cloudera Manager. Kami menginstal yang tertanam, dalam database eksternal real-time yang dapat digunakan. Bisa berupa Oracle, MySQL, atau PostgreSQL.

sudo systemctl start cloudera-scm-server-db

Jalankan perintah di bawah ini untuk memeriksa status database.

sudo systemctl status cloudera-scm-server-db

Konfigurasikan db.properties untuk server Cloudera Manager.

vi /etc/cloudera-scm-server/db.properties

Konfigurasikan nilai di bawah ini EMBEDDED agar Cloudera Manager menggunakan Database Tertanam.

com.cloudera.cmf.db.setupType=EMBEDDED

Jalankan perintah di bawah ini untuk memulai server Cloudera Manager.

sudo systemctl start cloudera-scm-server

Jalankan perintah di bawah ini untuk memeriksa status server Cloudera Manager.

sudo systemctl status cloudera-scm-server

Jalankan perintah di bawah ini untuk memulai dan memeriksa status agen Cloudera Manager.

sudo systemctl start cloudera-scm-agent
sudo systemctl status cloudera-scm-agent

Setelah Cloudera Manager Server berhasil aktif dan berjalan dengan baik, Anda dapat melihat WebUI (halaman Login) di browser menggunakan alamat IP dan nomor port 7180 yang merupakan nomor port Manajer Cloudera.

https://65.0.101.148:7180

Ringkasan

Dalam artikel ini, kita telah melihat proses langkah demi langkah untuk menginstal Cloudera Manager di CentOS 7. CDH dan instalasi layanan lainnya akan kita lihat pada artikel berikutnya.