Library Carpentry: Merapikan data untuk Pustakawan - Catatan tentang Format Data dan File yang Populer

Terjemahan bebas oleh Chrisna Adhi Pranoto untuk materi Library Carpentry: Tidy data for librarians Lisensi asli: CC-BY 4.0 oleh The Carpentries

Episode 7: Catatan tentang Format Data dan File yang Populer

Pertanyaan

• Apa yang perlu Anda perhatikan saat mengekspor data?

Tujuan Pembelajaran

• Mengidentifikasi masalah dengan menggunakan format file .csv

• Menerapkan praktik terbaik pembersihan data untuk menghindari masalah dengan format file .csv

Menangani Koma sebagai Bagian dari Nilai Data dalam File *.csv

Di episode sebelumnya, kita membahas cara mengekspor format file Excel ke *.csv. File Comma Separated Value memang sangat berguna untuk bertukar dan berbagi data dengan mudah.

Namun, ada beberapa masalah signifikan dengan format khusus ini. Sering kali, nilai data itu sendiri mungkin mengandung koma (,). Dalam kasus tersebut, software yang Anda gunakan (termasuk Excel) kemungkinan besar akan menampilkan data di kolom secara salah. Ini karena koma yang merupakan bagian dari nilai data akan diinterpretasikan sebagai delimiter (pemisah).

Misalnya, data bisa terlihat seperti ini:

date,type,len_hours,num_registered,num_attended,trainer,cancelled
29 Apr,OA,1.5,1.5,15,JM,N
3 Mar,OA,60,19,25,PG,N
3 Jul,OA,1,25,20,PG, JM,N
4 Jan,OA,1,26,17,JM,N
29 Mar,RDM,1,27,24,JM,N

Dalam record 3 Jul,OA,1,25,20,PG, JM,N, nilai untuk trainer mengandung koma untuk beberapa pelatih (PG, JM). Jika kita mencoba membaca data di atas ke dalam Excel, nilai untuk 'trainer' akan terbagi menjadi dua kolom (bukan satu kolom F). Ini bisa menyebabkan sejumlah kesalahan lebih lanjut karena "kolom ekstra" itu akan diinterpretasikan sebagai kolom dengan banyak nilai yang hilang (dan tanpa header yang tepat!).

Solusinya: Jika Anda ingin menyimpan data dalam format csv dan mengharapkan nilai data mungkin mengandung koma, Anda bisa menghindari masalah di atas dengan menaruh nilai yang akan dimasukkan dalam kolom yang sama di dalam tanda kutip ganda (""). Menerapkan aturan ini, data mungkin terlihat seperti ini:

date,type,len_hours,num_registered,num_attended,trainer,cancelled
29 Apr,OA,1.5,1.5,15,JM,N
3 Mar,OA,60,19,25,PG,N
3 Jul,OA,1,25,20,"PG, JM",N
4 Jan,OA,1,26,17,JM,N
29 Mar,RDM,1,27,24,JM,N

Sekarang membuka file ini sebagai csv di Excel tidak akan menghasilkan kolom ekstra, karena Excel hanya akan menggunakan koma yang berada di luar tanda kutip sebagai karakter delimiter.

Namun, jika Anda bekerja dengan dataset yang sudah ada di mana nilai data tidak diapit "" tapi memiliki koma baik sebagai delimiter maupun sebagai bagian dari nilai data, Anda berpotensi menghadapi masalah besar dalam pembersihan data.

Jika dataset yang Anda tangani mengandung ratusan atau ribuan record, membersihkannya secara manual (baik dengan menghapus koma dari nilai data atau menaruh nilai dalam tanda kutip) tidak hanya akan memakan waktu berjam-jam tapi juga berpotensi berakhir dengan Anda secara tidak sengaja memasukkan banyak kesalahan.

Membersihkan dataset adalah salah satu masalah utama dalam banyak disiplin ilmu. Pendekatannya hampir selalu bergantung pada konteks tertentu. Namun, merupakan praktik yang baik untuk membersihkan data secara otomatis, misalnya dengan menulis dan menjalankan skrip. Pelajaran Python dan R akan memberi Anda dasar untuk mengembangkan keterampilan membangun skrip yang relevan.

Poin Utama

• Berhati-hatilah saat menggunakan koma dalam nilai data

Materi ini merupakan terjemahan bebas oleh Chrisna Adhi Pranoto untuk materi Library Carpentry: Tidy data for librarians yang dilisensikan di bawah CC-BY 4.0 oleh The Carpentries.