Tentang big data

Disarikan dari sini https://www.youtube.com/watch?v=c4BwefH5Ve8

Biasanya: data dibuat dan dikumpulkan oleh pekerja –> diketik/diinput/dimasukkan ke dalam sistem komputer oleh pekerja dalam suatu perusahaan
Sekarang (era internet): user membuat (meng-generate) data mereka (e.g., Facebook).
Selain itu: mesin mengakumulasi ata (e.g., pengukuran humidity, temperatur,  pemakaian energi, satelit -mengambil gambar bumi- dsb)
Perbedaan mendasar: jumlah (amount) data yang dimasukkan jauh lebih besar

Perkembangan yang terjadi dalam meng-generate data:
Employee – User –  Machine

Cara memproses data
Dulu: database, lalu diolah ke CPU
Sekarang: dengan beberapa CPU dalam sekumpulan server, dibawa ke data. Setiap server punya sebagian kecil dari keseluruhan dataset. Setiap server ini punya prosesor yang nantinya akan bekerja sebagai parallel processing. Data akan diproses di beberapa tempat yang berbeda pada waktu yang sama.

Teknologi terkait big data:
Hadoop: open source platform yang mengorganisir parallel processing
Map reduce: semacam table of content, putting a summary on each server of what data that server contain. Semua table of content ini berada pada satu server, yang essentially adalah search function — bisa tahu hasil pencarian ada di server yg mana.

Yang menarik: bagaimana mengakumulasi data dan menghasilkan uang dari data tersebut (find ways how to monetize data) — hidden wants and need. Ini akan mengakibatkan service bisnis dalam beberapa tahun ke datang akan lebih intuitif.

Intinya: banyak perusahaan yang menggunakan proses ini untuk menemukan (discovery) hidden insight dalam data.