Praktik Terbaik untuk Menerapkan Server Hadoop di CentOS/RHEL 7 - Bagian 1

Dalam rangkaian artikel ini, kita akan membahas seluruh gedung Cloudera Hadoop Cluster Building dengan praktik terbaik yang direkomendasikan oleh Vendor dan Industri.

Instalasi OS dan melakukan Prasyarat tingkat OS adalah langkah pertama untuk membangun Kluster Hadoop. Hadoop dapat berjalan di berbagai platform Linux: CentOS, RedHat, Ubuntu, Debian<, SUSE dll., Dalam produksi waktu nyata, sebagian besar Kluster Hadoop dibangun di atas RHEL/CentOS, kami akan menggunakan CentOS 7 untuk demonstrasi dalam seri tutorial ini.

Di suatu Organisasi, instalasi OS dapat dilakukan menggunakan kickstart. Jika clusternya terdiri dari 3 hingga 4 node, instalasi manual dapat dilakukan, tetapi jika kita membangun cluster besar dengan lebih dari 10 node, maka akan membosankan untuk menginstal OS satu per satu. Dalam skenario ini, metode Kickstart muncul, kita dapat melanjutkan dengan instalasi massal menggunakan kickstart.

Mencapai kinerja yang baik dari Lingkungan Hadoop bergantung pada penyediaan Perangkat Keras & Perangkat Lunak yang benar. Jadi, membangun kluster Hadoop produksi melibatkan banyak pertimbangan terkait Perangkat Keras dan Perangkat Lunak.

Dalam artikel ini, kita akan membahas berbagai Tolok Ukur tentang instalasi OS dan beberapa praktik terbaik untuk menerapkan Cloudera Hadoop Cluster Server di CentOS/RHEL 7.

Pertimbangan Penting dan Praktik Terbaik untuk Menerapkan Server Hadoop

Berikut ini adalah praktik terbaik untuk menyiapkan penerapan Cloudera Hadoop Cluster Server di CentOS/RHEL 7.

  • Server Hadoop tidak memerlukan server standar perusahaan untuk membangun cluster, melainkan memerlukan perangkat keras komoditas.
  • Di kluster produksi, disarankan memiliki 8 hingga 12 disk data. Berdasarkan sifat beban kerja, kita perlu memutuskan hal ini. Jika cluster ditujukan untuk aplikasi komputasi intensif, memiliki 4 hingga 6 drive adalah praktik terbaik untuk menghindari masalah I/O.
  • Drive data harus dipartisi satu per satu, misalnya – mulai dari /data01 hingga /data10.
  • Konfigurasi RAID tidak disarankan untuk node pekerja, karena Hadoop sendiri memberikan toleransi kesalahan pada data dengan mereplikasi blok menjadi 3 secara default. Jadi JBOD adalah yang terbaik untuk node pekerja.
  • Untuk Server Master, RAID 1 adalah praktik terbaik.
  • Sistem file default pada CentOS/RHEL 7.x adalah XFS. Hadoop mendukung XFS, ext3, dan ext4. Sistem file yang disarankan adalah ext3 karena telah diuji kinerjanya baik.
  • Semua server harus memiliki versi OS yang sama, setidaknya rilis minor yang sama.
  • Praktik terbaiknya adalah memiliki perangkat keras yang homogen (semua node pekerja harus memiliki karakteristik perangkat keras yang sama (RAM, ruang disk & Inti, dll).
  • Menurut beban kerja cluster (Beban Kerja Seimbang, Intensif Komputasi, Intensif I/O) dan ukuran, perencanaan sumber daya (RAM, CPU) per server akan berbeda.

Temukan Contoh Partisi Disk di bawah ini pada server penyimpanan 24TB.

Menginstal CentOS 7 untuk Penerapan Server Hadoop

Hal-hal yang perlu Anda ketahui sebelum menginstal server CentOS 7 untuk Server Hadoop.

  • Instalasi minimal sudah cukup untuk Server Hadoop (node pekerja), dalam beberapa kasus, GUI hanya dapat diinstal untuk server Master atau server Manajemen di mana kita dapat menggunakan browser untuk UI Web Alat manajemen.
  • Konfigurasi jaringan, nama host, dan pengaturan terkait OS lainnya dapat dilakukan setelah instalasi OS.
  • Secara real-time, vendor server akan memiliki konsol mereka sendiri untuk berinteraksi dan mengelola server, misalnya – server Dell memiliki iDRAC yang merupakan perangkat yang tertanam dengan server. Dengan menggunakan antarmuka iDRAC tersebut kita dapat menginstal OS dengan image OS di sistem lokal kita.

Pada artikel ini, kami telah menginstal OS (CentOS 7) di mesin virtual VMware. Di sini, kita tidak akan memiliki banyak disk untuk melakukan partisi. CentOS mirip dengan RHEL (fungsinya sama), jadi kita akan melihat langkah-langkah untuk menginstal CentOS.

1. Mulailah dengan mengunduh image ISO CentOS 7.x di sistem windows lokal Anda dan pilih image tersebut saat mem-boot mesin virtual. Pilih 'Instal CentOS 7' seperti yang ditunjukkan.

2. Pilih Bahasa, defaultnya adalah Bahasa Inggris, dan klik lanjutkan.

3. Pemilihan Perangkat Lunak – Pilih 'Instalasi Minimal' dan klik 'Selesai'.

4. Tetapkan kata sandi root karena akan meminta kita untuk mengaturnya.

5. Tujuan Pemasangan – Ini adalah langkah penting yang harus diwaspadai. Kita perlu memilih disk tempat OS harus diinstal, disk khusus harus dipilih untuk OS. Klik 'Tujuan Instalasi' dan pilih Disk, secara real-time beberapa disk akan ada di sana, kita perlu memilih, lebih disukai 'sda'.

6. Opsi Penyimpanan Lainnya – Pilih opsi kedua (Saya akan mengonfigurasi partisi) untuk mengonfigurasi partisi terkait OS seperti /var, / var/log, /home, /tmp, /opt, /swap.

7. Setelah selesai, mulailah instalasi.

8. Setelah Instalasi selesai, reboot server.

9. Masuk ke server dan atur nama host.

hostnamectl status
hostnamectl set-hostname tecmint
hostnamectl status

Ringkasan

Pada artikel ini, kita telah membahas langkah-langkah instalasi OS dan praktik terbaik untuk partisi sistem file. Ini semua adalah pedoman umum, sesuai dengan sifat beban kerja, kita mungkin perlu berkonsentrasi pada lebih banyak nuansa untuk mencapai kinerja cluster terbaik. Perencanaan cluster adalah seni bagi administrator Hadoop. Kami akan mendalami prasyarat tingkat OS dan Pengerasan keamanan di artikel berikutnya.