Library Carpentry: Merapikan data untuk Pustakawan - Penjaminan dan Pengendalian Kualitas Data Dasar

Terjemahan bebas oleh Chrisna Adhi Pranoto untuk materi Library Carpentry: Tidy data for librarians Lisensi asli: CC-BY 4.0 oleh The Carpentries

Episode 5: Penjaminan dan Pengendalian Kualitas Data Dasar

Pertanyaan

Bagaimana cara menjaga entri data tetap bersih?

Tujuan Pembelajaran

Menerapkan teknik penjaminan kualitas (quality assurance) untuk membatasi entri data yang salah
Menerapkan teknik pengendalian kualitas (quality control) untuk mengidentifikasi kesalahan di spreadsheet

Ketika Anda memiliki tabel data yang terstruktur dengan baik, Anda bisa menggunakan beberapa teknik sederhana di dalam spreadsheet untuk memastikan data yang Anda masukkan bebas dari kesalahan. Pendekatan-pendekatan ini mencakup teknik yang diterapkan sebelum memasukkan data (penjaminan kualitas / quality assurance) dan teknik yang digunakan setelah memasukkan data untuk memeriksa kesalahan (pengendalian kualitas / quality control).

Penjaminan Kualitas (Quality Assurance)

Penjaminan kualitas mencegah data yang buruk agar tidak pernah masuk dengan memeriksa apakah nilai-nilai valid selama entri data. Misalnya, jika penelitian dilakukan di lokasi A, B, dan C, maka nilai V (yang ada di sebelah B di keyboard) seharusnya tidak pernah dimasukkan. Begitu pula jika salah satu jenis data yang dikumpulkan adalah hitungan, hanya bilangan bulat yang lebih besar atau sama dengan nol yang diperbolehkan.

Untuk mengontrol jenis data yang dimasukkan ke dalam spreadsheet, kita menggunakan Data Validation (di Excel) atau Validity (di LibreOffice Calc), untuk menetapkan nilai-nilai yang bisa dimasukkan ke setiap kolom data.

Cara mengatur Data Validation di Excel:

Pilih sel atau kolom yang ingin Anda validasi
Di tab Data, pilih Data Validation
Di kotak Allow, pilih jenis data yang seharusnya ada di kolom tersebut. Pilihannya mencakup: bilangan bulat, desimal, daftar item, tanggal, dan nilai lainnya
Setelah memilih item, masukkan detail tambahan. Misalnya, jika Anda memilih daftar nilai, masukkan daftar nilai yang diperbolehkan yang dipisahkan koma di kotak Source

Contoh penerapan:

Tidak mungkin ada setengah orang yang hadir di workshop, jadi mari kita coba mengatur kolom num_registered di spreadsheet agar hanya memperbolehkan bilangan bulat antara 1 dan 100:

Pilih kolom num_registered
Di tab Data, pilih Data Validation
Di kotak Allow, pilih Whole number (Bilangan Bulat)
Atur nilai minimum dan maksimum menjadi 1 dan 100

Sekarang jika Anda mencoba memasukkan nilai baru di kolom num_registered yang bukan ukuran kelas yang valid, spreadsheet akan mencegah Anda memasukkan nilai yang salah dan menampilkan pesan untuk mencoba lagi.

Anda bisa menyesuaikan pesan yang muncul agar lebih informatif dengan memasukkan pesan Anda sendiri di tab Error Alert, dan Anda bisa mengubah Style untuk menentukan respons saat nilai tidak valid dimasukkan, misalnya dengan melarang nilai lain sama sekali atau sekadar memberi peringatan tentang entri yang tidak valid.

Untuk menampilkan pesan (pop-up) tentang nilai yang benar untuk kolom dengan Data Validation, gunakan tab Input Message.

Penjaminan kualitas bisa membuat entri data lebih mudah sekaligus lebih kuat. Misalnya, jika Anda menggunakan daftar pilihan untuk membatasi entri data, spreadsheet akan memberi Anda daftar drop-down dari item yang tersedia. Jadi, daripada mencoba mengingat singkatan judul workshop, Anda cukup memilih opsi yang tepat dari daftar.

Pengendalian Kualitas (Quality Control)

Tips Penting!
Sebelum melakukan operasi pengendalian kualitas apapun, simpan file asli Anda dengan rumus-rumusnya dan nama yang menandakan itu adalah data asli. Buat file terpisah dengan penamaan dan versi yang tepat, dan pastikan data Anda disimpan sebagai nilai bukan sebagai rumus. Karena rumus merujuk ke sel lain, dan Anda mungkin memindahkan sel-sel, Anda mungkin merusak integritas data jika tidak melakukan langkah ini!

File readme (README): Saat Anda mulai memanipulasi file data, buat dokumen readme / file teks untuk melacak file-file Anda dan mendokumentasikan manipulasi Anda agar bisa mudah dipahami dan direplikasi, baik oleh diri Anda di masa depan atau oleh peneliti independen. File readme Anda harus mendokumentasikan semua file dalam dataset Anda (termasuk dokumentasi), mendeskripsikan konten dan formatnya, dan menjabarkan prinsip pengorganisasian folder dan subfolder. Untuk setiap file yang terdaftar, ada baiknya mendokumentasikan manipulasi atau analisis yang dilakukan pada data tersebut.

Penyortiran

Nilai yang buruk sering terurut ke bagian bawah atau atas kolom. Misalnya, jika data Anda seharusnya berupa angka, maka data alfabetis dan null akan berkumpul di ujung data yang diurutkan. Urutkan data Anda berdasarkan setiap field, satu per satu. Perhatikan setiap kolom, tapi paling perhatikan bagian atas dan bawah kolom. Jika dataset Anda terstruktur dengan baik dan tidak mengandung rumus, penyortiran seharusnya tidak pernah mempengaruhi integritas dataset Anda.

Latihan
Mari coba ini dengan tab Dates di spreadsheet berantakan kita:
Pergi ke tab tersebut
Pilih Data lalu pilih Sort
Urutkan berdasarkan len_hours dari Largest to Smallest
Pertanyaan: Apakah Anda memperhatikan sesuatu yang aneh? Coba juga mengurutkan berdasarkan kolom lain. Apakah ada yang aneh?
Solusi: Perhatikan bagaimana nilai-nilai ganjil terurut ke atas. Sel yang mengandung "min" atau "hour" muncul di bagian atas. Nilai yang lebih besar seperti 90, 60, dan 15 juga terurut sehingga bisa Anda evaluasi. Ini adalah cara yang ampuh untuk memeriksa data Anda dari nilai-nilai outlier dan nilai ganjil.

Pemformatan Bersyarat (Conditional Formatting)

Gunakan dengan hati-hati! Tapi ini adalah cara yang bagus untuk menandai nilai-nilai yang tidak konsisten saat memasukkan data.

Pemformatan bersyarat pada dasarnya bisa melakukan hal-hal seperti memberi kode warna pada nilai-nilai Anda berdasarkan beberapa kriteria atau dari nilai terendah ke tertinggi. Ini memudahkan Anda untuk memindai data dari outlier. Ini menyenangkan untuk dilakukan di spreadsheet, tapi kita juga bisa melakukan pemeriksaan ini dalam bahasa pemrograman seperti Python atau R, atau di OpenRefine atau SQL.

Latihan
Pastikan kolom num_attended dipilih/disorot
Pergi ke Format lalu Conditional Formatting
Terapkan aturan pemformatan 2-Color Scale manapun
Sekarang Anda bisa memindai data dan warna-warna berbeda akan mencolok. Apakah Anda memperhatikan nilai-nilai yang aneh?
Solusi: Kita sekarang bisa dengan cepat melihat dua sel outlier dengan nilai 0 dan juga bisa melihat bahwa dua kelas ini dibatalkan.

Poin Utama
Gunakan alat validasi data untuk meminimalkan kemungkinan kesalahan input
Gunakan penyortiran dan pemformatan bersyarat untuk mengidentifikasi kemungkinan kesalahan

Materi ini merupakan terjemahan bebas oleh Chrisna Adhi Pranoto untuk materi Library Carpentry: Tidy data for librarians yang dilisensikan di bawah CC-BY 4.0 oleh The Carpentries.