Hadoop

Apa itu Hadoop?

Hadoop adalah framework pemrosesan terdistribusi open source yang dirancang untuk mengelola penyimpanan dan pengolahan data dalam skala besar (big data) pada cluster server yang dapat diskalakan. Hadoop menjadi pusat dari ekosistem teknologi big data yang banyak digunakan dalam data science dan analitik lanjutan seperti predictive analytics, data mining, machine learning, dan deep learning.
Sistem Hadoop mampu menangani berbagai jenis data—baik yang terstruktur, semi-terstruktur, maupun tidak terstruktur. Kemampuan ini membuat Hadoop lebih fleksibel dibandingkan basis data relasional atau data warehouse. Hadoop cocok digunakan dalam lingkungan big data, yang biasanya mencakup volume data besar dan beragam, mulai dari data transaksi, jejak klik di web, log aplikasi, postingan media sosial, email pelanggan, hingga data sensor dari perangkat IoT.

Hadoop secara resmi dikenal sebagai Apache Hadoop, dan dikembangkan sebagai proyek open source di bawah Apache Software Foundation. Meskipun dulu banyak vendor menyediakan distribusi komersial Hadoop, kini jumlahnya berkurang karena persaingan ketat dan meningkatnya adopsi cloud untuk sistem big data.

Perpindahan ke cloud juga memungkinkan penyimpanan data di layanan object storage yang lebih murah dibandingkan file system bawaan Hadoop. Akibatnya, peran Hadoop dalam arsitektur big data mulai tergeser oleh teknologi lain seperti Apache Spark dan Apache Kafka.

Bagaimana Hadoop bekerja untuk manajemen dan analitik big data?

Hadoop dijalankan pada server komoditas dan dapat diskalakan hingga ribuan node. File system-nya dirancang agar akses data antar node tetap cepat dan toleran terhadap kegagalan (fault-tolerant), sehingga aplikasi tetap bisa berjalan meskipun ada node yang error. Karena fitur inilah Hadoop sempat jadi fondasi data management untuk big data analytics sejak pertengahan 2000-an.
Dengan kemampuannya mengolah data dalam berbagai format, Hadoop mendukung pembentukan data lake, tempat penyimpanan data mentah yang dapat diakses langsung oleh tim data science untuk keperluan analisis. Data kemudian disaring atau diproses oleh tim manajemen data sesuai kebutuhan aplikasi.

Walaupun data lake berbeda fungsi dari data warehouse, keduanya kini bisa digabungkan menjadi data lakehouse, platform hibrida yang memanfaatkan fitur dari keduanya—dan ini seringkali diimplementasikan di atas object storage cloud.

Empat Komponen Utama Hadoop

Berikut adalah empat modul utama dalam Hadoop:

1. Hadoop Distributed File System (HDFS)

HDFS merupakan sistem penyimpanan utama Hadoop dan mengatur akses data dalam cluster. Arsitekturnya terdiri dari NameNode (sebagai master) dan DataNode (penyimpan data di server). NameNode bertanggung jawab atas namespace dan kontrol akses file, sementara DataNode menangani penyimpanan aktual.

2. Hadoop YARN

YARN adalah sistem manajemen resource dan penjadwalan pekerjaan di Hadoop. YARN mengatur alokasi resource secara dinamis melalui container dan agen pemantau node, serta mendukung berbagai metode penjadwalan pekerjaan.

3. Hadoop MapReduce

Framework pemrograman bawaan Hadoop yang menjalankan pemrosesan batch menggunakan fungsi *map* dan *reduce*. MapReduce membagi pekerjaan ke task kecil yang dijalankan paralel di node cluster, lalu menggabungkan hasilnya. Pendekatan ini memungkinkan pengolahan skala besar secara efisien dan toleran terhadap kegagalan.

4. Hadoop Common

Modul ini menyediakan utilitas dan library umum yang mendukung modul lainnya, seperti fitur autentikasi, otorisasi, dan manajemen konfigurasi cluster.

Keunggulan Hadoop bagi Pengguna

Meskipun banyak alternatif baru bermunculan, Hadoop tetap relevan untuk pengguna big data karena beberapa alasan berikut:

• Bisa menyimpan dan memproses berbagai jenis data dalam jumlah sangat besar.
• Tangguh terhadap kegagalan perangkat keras—kalau satu node gagal, pekerjaan dialihkan secara otomatis.
• Tidak perlu proses ETL sebelum penyimpanan—data mentah bisa langsung disimpan di HDFS.
• Mudah diskalakan—tinggal tambah node untuk menyesuaikan kebutuhan workload.
• Dapat digunakan untuk batch maupun real-time analytics.

Aplikasi dan Use Case Hadoop

Dengan dukungan YARN, Hadoop bisa menjalankan aplikasi di luar MapReduce seperti Spark, Flink, Kafka, dan Storm. Beberapa use case umum:

• Customer analytics: prediksi churn, analisis clickstream, dan sentimen pelanggan.
• Risk management: model risiko keuangan, trading algorithm, dll.
• Operational intelligence: untuk telco dan pemantauan performa jaringan.
• Supply chain: tracking logistik dan optimasi rute pengiriman.

Tool Big Data yang Terkait dengan Hadoop

Ekosistem Hadoop mencakup banyak tool open source tambahan, seperti:

• Ambari: monitoring dan provisioning cluster Hadoop.
• Atlas: layanan metadata dan data governance.
• Flume: mengumpulkan data event streaming ke HDFS.
• HBase: basis data kolom lebar terdistribusi.
• Hive: engine query SQL di atas Hadoop.
• Mahout: framework machine learning.
• Oozie: workflow scheduler untuk job Hadoop.
• Ozone: object storage untuk lingkungan on-premises.
• Phoenix: engine SQL di atas HBase.
• Pig: bahasa pemrograman tingkat tinggi untuk analisis data.
• Ranger: sistem manajemen keamanan Hadoop.
• Submarine: platform machine learning native-cloud.
• Tez: framework eksekusi berbasis DAG, alternatif lebih cepat dari MapReduce.
• ZooKeeper: layanan konfigurasi dan sinkronisasi distribusi.

Tantangan dalam Penggunaan Hadoop

Meskipun revolusioner, Hadoop memiliki beberapa kekurangan, antara lain:

• Isu performa: pemrosesan berbasis disk sering lebih lambat dibanding Spark yang memanfaatkan in-memory processing.
• Biaya tinggi: arsitektur yang menggabungkan compute dan storage bisa bikin boros.
• Kapasitas idle: bisa ada resource tidak terpakai kalau scaling tidak efisien.
• Kompleksitas manajemen: konfigurasi dan pengelolaan cluster bisa cukup rumit.
• Orientasi on-premises: meski bisa dijalankan di cloud, Hadoop masih lebih identik dengan sistem lokal.

Sejarah Hadoop

Hadoop dikembangkan oleh Doug Cutting dan Mike Cafarella, awalnya untuk mendukung proyek pencarian Nutch. Setelah Google merilis paper tentang GFS dan MapReduce (2003–2004), mereka mengadaptasi konsep tersebut dan membuat versi Java-nya.
Pada 2006, Hadoop dipisahkan dari Nutch dan jadi proyek Apache tersendiri. Yahoo menjadi pengguna produksi pertama. Beberapa milestone penting:

• Hadoop 1.0.0 (2011): Versi stabil pertama dengan MapReduce, HDFS, dan Common.
• Hadoop 2.x (2013): Memperkenalkan YARN dan memungkinkan berbagai engine non-MapReduce.
• Hadoop 3.x (2017–2020): Tambahan fitur GPU, Docker, Ozone, Submarine, dukungan ARM, dsb.

Perkembangan Pasar Hadoop

Selain Cloudera, Hortonworks, dan MapR, beberapa vendor besar seperti IBM, Intel, dan Pivotal sempat masuk pasar distribusi Hadoop namun akhirnya keluar. Intel berinvestasi di Cloudera, sementara IBM dan Pivotal memilih menjual produk Hortonworks.
Pada akhirnya, banyak vendor mengalihkan fokus dari Hadoop ke Spark dan teknologi lain. Tahun 2019, Cloudera dan Hortonworks resmi bergabung, sementara MapR diakuisisi oleh HPE.

Perkembangan Pasar Hadoop

Selain AWS, Cloudera, Hortonworks, dan MapR, beberapa vendor IT besar lainnya — seperti IBM, Intel, dan Pivotal Software (yang sekarang sudah tidak beroperasi) — juga sempat ikut meramaikan pasar distribusi Hadoop. Namun, ketiganya akhirnya memutuskan untuk mundur karena kurang mendapatkan pangsa pasar. Intel menghentikan distribusinya dan memilih untuk berinvestasi di Cloudera pada tahun 2014, sedangkan Pivotal dan IBM keluar dari pasar Hadoop dan kemudian menjual ulang versi distribusi dari Hortonworks masing-masing pada tahun 2016 dan 2017.

Bahkan, vendor-vendor yang masih bertahan pun mulai mengalihkan fokus dari Hadoop dengan memperluas platform big data mereka agar mencakup teknologi lain seperti Spark dan tool open source lainnya. Pada tahun 2017, baik Cloudera maupun Hortonworks secara resmi menghapus kata Hadoop dari nama konferensi tahunan mereka untuk komunitas pengguna big data — ini menandai perubahan fokus yang cukup signifikan di industri.

Konsolidasi pasar berlanjut pada 2019, ketika Cloudera mengakuisisi Hortonworks dalam sebuah merger antara dua kompetitor besar tersebut. Di tahun yang sama, Hewlett Packard Enterprise (HPE) membeli aset-aset milik MapR setelah perusahaan tersebut memperingatkan bahwa mereka mungkin akan tutup jika tidak menemukan pembeli atau pendanaan baru.

Jadi, meskipun Hadoop sempat menjadi tulang punggung dalam era awal big data, saat ini perannya mulai tergeser oleh teknologi yang lebih fleksibel dan lebih cocok untuk cloud-native environment. Tapi, pemahaman terhadap Hadoop tetap penting karena fondasi konsepnya masih digunakan di banyak sistem data besar saat ini — baik dalam bentuk data lakehouse, sistem streaming, maupun berbagai kombinasi platform lainnya.

Kalau kamu lagi ngulik tentang data engineering, sistem terdistribusi, atau pengelolaan data skala besar, Hadoop tetap layak dipelajari — apalagi jika kamu penasaran dengan evolusi teknologi di balik sistem big data modern.