Data Science

SQLiteViz

Selama ini saya memang mencari-cari freeware yang mendukung visualisasi hasil query SQLite. SQLite Studio adalah versi terbaik dalam pengelolaan database sqlite. Memenuhi aspek kelengkapan dan kesederhanaan. Semua model pengolahan data mungkin bisa terpenuhi, tetapi masih dalam bentuk angka.

Sebenarnya akan menjadi sempurna apabila ditambahkan modul visualisasi. Tapi mungkin memang tidak semudah itu.

Tadi menemukan SQliteViz yang menawarkan visualisasi yang cukup lumayan, walaupun tidak menyertakan manajemen database yang baik. Jadinya SQLiteFiz melengkapi SQLiteStudio.

Aplikasi ini berbasis PWA, Progressive Web Application. Situs yang berbasis Javascript, bekerja di level lokal, dan bisa diinstall di Chrome, dan bisa bekerja secara Offline.

Kelebihan aplikasi ini adalah.

  1. Instalasinya mudah (seperti tidak melakukan instalasi)
  2. Mendukung SQLite
  3. Mendukung CSV dan bahkan data CSV bisa diquery
  4. Bisa mengeksport CSV ke Sqlite secara langsung dan otomatis.
  5. Bisa melakukan visualisasi hasil Query melalui library Plotly

Kelemahannya

  1. Hanya bisa menampilkan satu database dalam satu workspace.
  2. Apabila aplikasi di tutup, tidak bisa “keep” database sebelumnya dan model penyimpanan hasil olah data dalam menu inquiry masih terlalu sederhana dan kurang asik.

Demikian 🙂

 

Studi Kasus SQL ke DF

Ini hanya sebuah studi kasus latihan agar terbiasa menggunakan Data Frame. Kalau saya pribadi lebih menyukai SQL dibanding Data Frame karena kemudahannya. Pada Data Frame terlalu banyak model yang membuat pemula mudah lupa atau bingung.

1
2
3
4
5

SELECT Produk_Kategori, Jenis_Kelamin,   COUNT(ID) AS Jumlah
    FROM retail
    WHERE Usia >= 17 AND Kepuasan > 2
    GROUP BY Produk_Kategori, Jenis_Kelamin
    ORDER BY Produk_Kategori DESC, Jenis_Kelamin ASC

dan berikut data framenya

1
2
3
4
5
6
7
8
9
10

import pandas as pd
# Membaca data dari file CSV
df = pd.read_csv(data_csv)
# Melakukan filter berdasarkan kondisi Usia >= 17 dan Kepuasan > 2
df = df[(df['Usia'] >= 17) & (df['Kepuasan'] > 2)]
# Melakukan group by dan menghitung jumlah ID untuk setiap Produk_Kategori dan Jenis_Kelamin
result_df = df.groupby(['Produk_Kategori', 'Jenis_Kelamin']).agg(Jumlah=('ID', 'count')).reset_index()
# Mengurutkan berdasarkan Produk_Kategori secara descending dan Jenis_Kelamin secara ascending
result_df = result_df.sort_values(by=['Produk_Kategori', 'Jenis_Kelamin'], ascending=[False, True])
print(result_df)

Memanfaatkan Fungsi ReGeX pada SQLite Studio

Saya mempunyai data DPT di SQLite dengan format TPS tidak asik yaitu TPS 1, TPS 2 dst sehingga kalau di GROUP BY pasti tidak urut 1, 2, 3 dst, sehingga perlu dilakukan

  1. Membuang kata ‘TPS ‘ di depan angka menggunakan Regex
  2. Menjadikan angka sebagai Integer

Karena tidak ada fasilitas Regex pada SQLite maka kita memanfaatkan library SQLean pada SQLite Studio.

1
2
3
4
5
6
7
8
9

SELECT DESA,
       TPS,
       CAST (regexp_replace(TPS, 'TPS (.+?)$', '$1') AS INT) AS TPS2,
       COUNT(ID) AS jumlah
  FROM dpt2024
 WHERE DESA = 'MALASAN' AND 
       KECAMATAN = 'DURENAN'
 GROUP BY TPS
 ORDER BY TPS2;

Dan hasilnya …

Kalau ingin sederhana kamu bisa membuat satu tabel dan mengisinya dengan hasil ReGex

Padahal yg diatas gak usah pakai REGEX sebenarnya bisa, itu buat latihan aja hehe

1
2
3
4
5
6
7
8
9

SELECT DESA,
       TPS,
       CAST (REPLACE(TPS, 'TPS ', '') AS INT) AS TPS2,
       COUNT(ID) AS jumlah
  FROM dpt2024
 WHERE DESA = 'MALASAN' AND 
       KECAMATAN = 'DURENAN'
 GROUP BY TPS
 ORDER BY TPS2;

Data Science Pakai AI

Masih belum lama mainan data science di python, eh  sudah muncul cara AI. Kalau pakai AI ya berarti operasi dalam pandas cukup menggunakan perintah prompt=”apa yang kamu inginkan”.

Walaupun tidak semua orang akan bisa menggunakan pandas, bukan tidak mungkin segera ada aplikasi yang tinggal memasukkan data dan tanya-tanya. Tidak perlu SQL, Pandas dan lain-lain.

Ngeri-ngeri sedap …

Belajar Data Science Lengkap

Disini kita akan belajar data science dasar, namun lengkap. mencakup

  1. import data
  2. penanganan data
  3. analisis
  4. visualisasi data

Ada keinginan apa yang ada di video ini akan saya buat ebook berbaghasa Indonesia.

Cekidot …