Nurasto.com Website

My digital scrapbook

Apa sih Hadoop?

on under Software and Web Development12 Comments

Saya baru kali pertama mendengar mengenai Hadoop dan saya mencari apa itu Hadoop. Ketika membuka website Apache Hadoop, saya terbengong – bengong dengan situs yang tidak neko – neko seolah pengunjungnya tahu mau apa mereka di situ. Saya mencoba menjabarkan dengan bahasa non teknis mengenai Apache Hadoop sesuai dengan ilmu yang saya dapat dari situs hadoop atau tempat lain.

Apache Hadoop merupakan framework, yang dibangun di atas bahasa Java, untuk komputasi dan pemprosesan dataset yang besar (bahkan sangat besar) secara terdistribusi. Hadoop diberi nama setelah inovator Hadoop, Doug Cutting, mendengar panggilan anaknya ke mainan gajah yang berwarna kuning.

Framework Hadoop terdiri dari tiga yaitu Hadoop Common, Hadoop Distributed File System (HDFS), dan Hadoop Map Reduce. HDFS dan MapReduce inspirasinya datang dariΒ  paper yang diterbitkan Google mengenai File System dan Map Reduce..

HDFS adalah media penyimpanan dari file yang telah dibagi – bagi berdasarkan blocks dan block – block ini bisa terdapat pada lokasi yang berbeda dan dilakukan replikasi dengan urutan block yang mungkin tidak sama per node. HDFS bisa bersifat single node atau multiple node. HDFS bukan native File System seperti layaknya EXT3, EXT4, FAT atau NTFS. HDFS ada pada layer di atasnya.

Map Reduce adalah framework untuk software dan programming yang dapat digunakan untuk mengakses data yang terdapat pada node dan memanipulasinya sesuai kebutuhan. Map Reduce ini dapat didayagunakan dengan menggunakan bahasa pemograman Java.

Framework Map Reduce termasuk kompleks dan harus menggunakan bahasa Java sehingga proyek – proyek yang berkaitan dengan Hadoop bermunculan seperti Hive dan Pig. Dengan Hive atau Pig kita bisa menggunakan bahasa tingkat tinggi yang telah disediakan masing – masing tools. Pig menggunakan Pig Latin yang berupa data flow programming sedangkan Hive menggunakan Query yang mirip SQL.

Kemudian ada utiliti lain yaitu Scoop yang dikembangkan oleh Cloudera, perusahaan yang berisi personel yang pernah bekerja di google, yahoo, facebook, dan lainnya. Scoop memudahkan kita untuk transformasi data – data dari RDBMS ke dalam HDFS.

Kemudian ada database yang menggunakan framework Hadoop yaitu HBASE yang diinspirasi dari Big Tablenya Google.

Banyak sekali proyek – proyek yang menggunakan Apache Hadoop untuk melakukan komputasi data besar. Hadoop sangat cocok untuk data yang sifatnya satu kali tulis, banyak dibaca seperti melakukan data mining pada web log dan tidak menutup pada kemungkinan lain untuk melakukan OLAP.

Oh ya, apabila bertanya – tanya mengenai tandingan Hadoop, ada diluar sana namanya HPCC dan ditulis dengan bahasa C++ dimana prosesnya akan jauh lebih cepat dengan Hadoop yang ditulis dengan bahasa Java yang harus berjalan di atas virtual machine.

Saya masih awal mempelajari hadoop, saya buka diskusi mengenai Hadoop dan teknologi yang berhubungan dengannya karena sepertinya sangat dibutuhkan proses pembuatan pelaporan yang sangat banyak, selain itu juga Hadoop ini open source sehingga nyaris gratis digunakan.

Update

Untuk lebih memahami Hadoop bisa melihat video berikut, saya ambil dari youtube, yang kebetulan ada iklannya ketika saya melihat suatu video

 

  • F_V_TA

    terimakasih, penjelasan Anda mudah dimengerti πŸ™‚

    • Terima kasih juga sudah berkunjung ke blog saya πŸ™‚

  • thirx

    terima kasih uda ngasi pnjelasan , pnjelasannya gmpang dicerna pak πŸ™‚

  • toriq

    permisi pak .. ini pak maw tanya .. kira-kira klo cara pnggunaanya yang sederhana bgmn y?

    #thx be4

    • Sayangnya, sejauh ini saya belum menemukan cara yang sederhana dalam penggunaan Hadoop.

      • kasihantoriq

        terima kasih uda ngasi pnjelasan , pnjelasannya gmpang dicerna pak πŸ™‚

  • kadek arik

    salam kenal pak nurasto. kebetulan saya tertarik mempelajari hadoop. sebagai pemula yang ingin saya tanyakan bagaimana caranya instalasi hadoop di windows 7 dengan 32 bit> saya sudah mencoba dan selalu gagal. jika berkenan mohon bantuannya utk memeberikan cara yg jitu utk instalasinya terimakasih atas bantuan dan perhatiannya

    • Hallo, Pak. Untuk installasi di Windows setahu saya harus menggunakan Cygwin serta menginstall openssh di cygwin. Jangan lupa install Oracle Java Run Timenya. Kalau boleh tahu gagalnya bagaimana?

  • kadek arik

    maaf pak nurasto nama saya mbk kadek arik bukan bapak2 πŸ™‚

    oya
    melanjuti pertanyaan saya sebelumnya.. apakh saya bisa diberikan tahapan
    instalasi hadoop di windows 7 32 bit yang benar dan lengkap shingga
    saya tidak kebingungan lagi mencari bahan2 yang kebanyakan tidak jelas
    memebrikan tahapannya. kebetulan ini untuk tugas akhir pak. mohon
    bantuannya.

    kemudian pertanyaan kedua teman saya juga mencoba
    dilinux dan sampai ketahapan sqoop tapi mengalami kegagalan pada saat
    proses import melalui mysql. adapun kegagalannya seperti di gambar pak.

    oya
    bapak apakah punya contoh program sederhana seperti insert atau select
    data dng java untuk database hadoop. mohon bantuannya di share pak. saya
    sdh putus asa tanya kemana2 tidak ada penjelasan yang memadai termasuk
    dosen saya. terimakasih atas bantuannya

  • baru mulai belajar, thanks atas penjelasannya πŸ™‚

  • Bagus Djuanda

    Hii Semua,

    Saya IT Recruiter dari PT. Atreus Global.

    Kami mencari orang Hadoop Developer yang memiliki keahlian di Algoritma. untuk permanent di tempat kita.

    Bagi yang tertarik bisa melampirkan CV ke jbagus@atreusg.com.

    Best Regards,

    Bagus Juanda