Big Data: Pemahaman, Teknologi Dan Implementasinya

Apa itu Big Data? Jika diterjemahkan secara mentah-mentah maka Big Data berarti sebuah data yang berkapasitas besar. Big Data dapat didefinisikan sebuah teknologi yang mampu melaksanakan pengolahan, penyimpanan dan analisis data yang sungguh kompleks dalam bermacam-macam bentuk/format (Variety), berukuran besar (Volume) dan pertambahan data yang sungguh cepat (Velocity) yang kemudian akan dianalisis atau dimasak lagi untuk keperluan tertentu seperti membuat keputusan (decision making), prediksi, dan yang lain. Pada perusahaan, Big Data memiliki manfaat untuk mengolah data yang mereka miliki maupun data eksternal untuk membantu dalam mengambil keputusan-keputusan strategis, mirip untuk keperluan Kecerdasan Bisnis. Contoh dari Big Data dapat berupa data yang berukuran hingga petabytes atau lebih, seperti milyaran hingga triliunan catatan personal seseorang yang seluruhnya berasal dari sumber berlainan seperti web, customer service, social media, dan sebagainya, bahkan data-data tersebut dapat berbentukvideo, gambar, logs, binary, dan yang lain. Karakteristik Big Data 1. Volume (Jumlah Data) Volume / jumlah data ialah abjad dari proses Big Data. Data yang besar memerlukan pemrosesan yang rumit. Jumlah data yang besar dan beragam seperti data Twitter, klik stream pada halaman web dan aplikasi mobile, kemudian lintas jaringan, perlengkapan yang dilengkapi sensor untuk menangkap data di kecepatan cahaya, dan banyak lagi. Ini yakni peran Big Data untuk mengubah data yang berukuran besar dengan berbagai jenis menjadi gosip berharga. 2. Velocity (Perubahan Data) Velocity menunjukkan kecepatan pergeseran data mirip data stream yang bersipat real time maupun non real-time. Beberapa tata cara yang menunjukkan perubahan data dengan segera dan memerlukan respon cepat mirip perangkat / aplikasi Internet of Things (IoT) memerlukan evaluasi dan tindakan secara real-time. Juga aplikasi eCommerce misalnya, pelanggan berusaha menggabungkan lokasi perangkat seluler dan preferensi langsung untuk menawarkan penawaran pemasaran yang sensitif terhadap waktu. Secara operasional, pengalaman aplikasi mobile memiliki populasi pengguna yang besar, peningkatan kemudian lintas jaringan yang luas dan menginginkan respon dari tata cara dengan segera. 3. Variety (Jenis Data) Variety / Variasi, tipe data yang bermacam-macam bentuk seperti data yang tidak terstruktur dan semi terorganisir, seperti teks, audio, dan video memerlukan pemrosesan aksesori untuk menemukan makna dan metadata pendukung. Setelah diketahui, data tidak terencana memiliki banyak kriteria yang sama mirip data terencana, mirip ringkasan, garis keturunan, auditability, dan privasi. Kompleksitas lebih lanjut muncul dikala data dari sumber yang dikenali berganti tanpa pemberitahuan. Perubahan jenis data yang cepat atau real-time yaitu beban yang sungguh besar untuk lingkungan transaksi dan analisis. 4. Value (Nilai) Data memiliki nilai intrinsik-tetapi mesti ditemukan. Ada banyak sekali teknik kuantitatif dan investigasi untuk menemukan nilai dari data – mulai dari menemukan preferensi atau sentimen konsumen, untuk menciptakan penawaran yang berkaitan menurut lokasi. Terobosan teknologi yaitu bahwa biaya penyimpanan data dan perhitungan telah menurun secara eksponensial, sehingga memperlihatkan banyak data dimana analisis statistik pada keseluruhan kumpulan data dibandingkan sampel sebelumnya. Terobosan teknologi menciptakan keputusan yang jauh lebih akurat dan tepat. Namun, nilai inovasi juga membutuhkan proses inovasi gres yang melibatkan analis, pengguna bisnis, dan eksekutif pintar dan berwawasan luas. Tantangan data yang sungguh besar yaitu tantangan manusia, yaitu mencar ilmu untuk mengajukan pertanyaan yang sempurna, mengenali pola, menciptakan asumsi yang diinformasikan, dan memprediksi perilaku. Big Data dan Data Warehouse Dalam mengolah data pada Data Warehouse dan Big Data, diharapkan infrastruktur yang mumpuni mirip dengan memakai supercomputer atau yang sering disebut selaku high-level computing. Supercomputer bukan seperti komputer-komputer pada umumnya. Supercomputer ialah mesin komputasi yang mempunyai kinerja tingkat tinggi dan memiliki kecepatan pemprosesan data yang sungguh cepat. Supercomputer mempunyai banyak sekali macam aplikasi, seperti, scientific calculations, modeling simulations, and rendering large 3D graphics. Supercomputer umumnya memiliki ukuran yang lebih besar dari komputer biasa dan membutuhkan daya/power yang lebih besar dari komputer biasa. Bahkan, suatu Supercomputer dapat berisikan serangkaian komputer yang memerlukan space ruangan yang besar. Untuk menggunakan infrastruktur yang telah disediakan, maka diperlukan sebuah perankat lunak yang mampu menangani pemrosesan Data Warehouse dan Big Data. Salah satu perangkat tersebut adalah Apache Hadoop yang merupakan suatu framework perangkat lunak open-source. Big Data dengan Apache Hadoop Salah Satu Tools yang dipakai oleh dalam proses Big Data ialah The Apache Hadoop Software Library. Hadoop merupakan Framework yang memungkinkan untuk melakukan pemrosesan yang terdistribusi dari Data yang besar diantara kluster komputer menggunakan pemograman yang simple. Framework ini di design supaya mengembangkan kesanggupan menyimpan dari server tunggal ke ribuan mesin komputer yang masing-masing menyediakan komputasi dan penyimpanan lokal. Implementasi Big Data Dalam implementasinya, Big Data berkaitan dengan Apache Hadoop dan No SQL sebagai tools pendukung nya serta Vendor selaku penyuplailayanan Big Data baik berupa hardware maupun software. Apache Hadoop Hadoop merupakan project opensource dibawah Apache. Hadoop ialah implementasi opensource project yang mampu memecahkan 3 karakteristik masalah pada Bigdata: Volume, Velocity, dan Variety.  Dalam proses Hadoop, beliau mengolah data yang sungguh besar secara terdistribusi dan berlangsung di atas cluster yang terdiri dari beberapa komputer yang saling terhubungan. Hadoop berjalan pada karnel Linux dan menggunakan Oprasi Sistem Linux. Hadoop memiliki kaitan dengan Big Data yang terdiri dari database-database. Hadoop juga mempunyai kaitan dengan Data Mining dan Data Warehouse yang berada pada proses Analytic, serta Cloud dengan ketiga layanannya ialah IAAS, PAAS, dan SAAS. NoSQL NoSQL menyediakan prosedur untuk penyimpanan dan pengambilan data yang dimodelkan dengan cara selain hubungan tabel yang dipakai dalam database relasional. NoSQL kian banyak dipakai dalam data besar dan aplikasi web real-time. Sistem NoSQL juga kadang kala disebut “Not only SQL” untuk menekankan bahwa mereka mampu mendukung bahasa query SQL-like. Motivasi untuk pendekatan ini meliputi: kesederhanaan rancangan, penskalaan “horizontal” sederhana pada golongan mesin (yang merupakan duduk perkara untuk basis data relasional), dan kendali yang lebih halus atas ketersediaan. Struktur data yang dipakai oleh database NoSQL (misal: key-value, wide column, graph, atau document) berlainan dari yang dipakai secara default di database relasional, membuat beberapa operasi lebih singkat di NoSQL. Kecocokan tertentu dari database NoSQL yang diberikan bergantung pada dilema yang mesti dipecahkannya. Kadang-kadang struktur data yang dipakai oleh database NoSQL juga dipandang lebih fleksibel ketimbang tabel database relasional. Kesimpulan Big Data ialah perumpamaan yang dipraktekkan pada kumpulan data yang ukuran atau jenisnya berada di luar kemampuan basis data relasional tradisional untuk menangkap, mengurus, dan memproses data dengan latensi rendah. Big Data mempunyai satu atau lebih karakteristik seperti volume tinggi, kecepatan tinggi, atau variasi tinggi. Data untuk Big Data bisa berasal dari sensor, perangkat, video / audio, jaringan, file log, aplikasi transaksional, web, dan media sosial – sebagian besar dihasilkan secara real time dan dalam skala yang sangat besar. Hasil dari Big Data memungkinkan analis, peneliti, dan pengguna bisnis menciptakan keputusan yang lebih baik dan lebih singkat menggunakan data yang sebelumnya tidak dapat diakses atau tidak dapat dipakai. Dengan memakai teknik analisis lanjutan mirip analisis teks, pembelajaran mesin, analisis prediktif, data mining, statistik, dan pemrosesan bahasa alami, bisnis mampu menganalisis sumber data yang sebelumnya belum dimanfaatkan secara independen atau bareng data perusahaan mereka yang ada untuk mendapatkan wawasan baru sehingga menciptakan keputusan yang lebih baik dan lebih cepat.
Sumber https://aryhm76.blogspot.com