Exstract Table di Pdf dengan Python Camelot

/ Leave a Comment

Berikut untuk ekstraksi data dari table pdf ke csv

1
2
3
4
5
6

import camelot
file_path = "durenan-malasan-8.pdf"
pdf_archive = camelot.read_pdf(file_path, pages="1", flavor="stream")
for page, pdf_table in enumerate(pdf_archive):           
    # print(pdf_archive[page].df)
    pdf_archive[page].to_csv('test.csv')

Untuk informasi lebih lanjut silahkan mengunuungi situsnya di dini.

Studi Kasus SQL ke DF

/ Leave a Comment

Ini hanya sebuah studi kasus latihan agar terbiasa menggunakan Data Frame. Kalau saya pribadi lebih menyukai SQL dibanding Data Frame karena kemudahannya. Pada Data Frame terlalu banyak model yang membuat pemula mudah lupa atau bingung.

1
2
3
4
5

SELECT Produk_Kategori, Jenis_Kelamin,   COUNT(ID) AS Jumlah
    FROM retail
    WHERE Usia >= 17 AND Kepuasan > 2
    GROUP BY Produk_Kategori, Jenis_Kelamin
    ORDER BY Produk_Kategori DESC, Jenis_Kelamin ASC

dan berikut data framenya

1
2
3
4
5
6
7
8
9
10

import pandas as pd
# Membaca data dari file CSV
df = pd.read_csv(data_csv)
# Melakukan filter berdasarkan kondisi Usia >= 17 dan Kepuasan > 2
df = df[(df['Usia'] >= 17) & (df['Kepuasan'] > 2)]
# Melakukan group by dan menghitung jumlah ID untuk setiap Produk_Kategori dan Jenis_Kelamin
result_df = df.groupby(['Produk_Kategori', 'Jenis_Kelamin']).agg(Jumlah=('ID', 'count')).reset_index()
# Mengurutkan berdasarkan Produk_Kategori secara descending dan Jenis_Kelamin secara ascending
result_df = result_df.sort_values(by=['Produk_Kategori', 'Jenis_Kelamin'], ascending=[False, True])
print(result_df)

Memanfaatkan Fungsi ReGeX pada SQLite Studio

/ Leave a Comment

Saya mempunyai data DPT di SQLite dengan format TPS tidak asik yaitu TPS 1, TPS 2 dst sehingga kalau di GROUP BY pasti tidak urut 1, 2, 3 dst, sehingga perlu dilakukan

  1. Membuang kata ‘TPS ‘ di depan angka menggunakan Regex
  2. Menjadikan angka sebagai Integer

Karena tidak ada fasilitas Regex pada SQLite maka kita memanfaatkan library SQLean pada SQLite Studio.

1
2
3
4
5
6
7
8
9

SELECT DESA,
       TPS,
       CAST (regexp_replace(TPS, 'TPS (.+?)$', '$1') AS INT) AS TPS2,
       COUNT(ID) AS jumlah
  FROM dpt2024
 WHERE DESA = 'MALASAN' AND 
       KECAMATAN = 'DURENAN'
 GROUP BY TPS
 ORDER BY TPS2;

Dan hasilnya …

Kalau ingin sederhana kamu bisa membuat satu tabel dan mengisinya dengan hasil ReGex

Padahal yg diatas gak usah pakai REGEX sebenarnya bisa, itu buat latihan aja hehe

1
2
3
4
5
6
7
8
9

SELECT DESA,
       TPS,
       CAST (REPLACE(TPS, 'TPS ', '') AS INT) AS TPS2,
       COUNT(ID) AS jumlah
  FROM dpt2024
 WHERE DESA = 'MALASAN' AND 
       KECAMATAN = 'DURENAN'
 GROUP BY TPS
 ORDER BY TPS2;

Data Science Pakai AI

/ Leave a Comment

Masih belum lama mainan data science di python, eh  sudah muncul cara AI. Kalau pakai AI ya berarti operasi dalam pandas cukup menggunakan perintah prompt=”apa yang kamu inginkan”.

Walaupun tidak semua orang akan bisa menggunakan pandas, bukan tidak mungkin segera ada aplikasi yang tinggal memasukkan data dan tanya-tanya. Tidak perlu SQL, Pandas dan lain-lain.

Ngeri-ngeri sedap …

Bayar Pajak Kendaraan Bermotor (PKB)

/ Leave a Comment

Anekdot orang-orang yang mempunyai kendaraan jaman itu, “Masak kita mau setor uang saja sulit?”

Nah kemarin saya bayar PKB dan saya memilih cara online. Nampaknya dipenda propinsi sudah sedikit berbenah walaupun belum sempurna.

Kita bisa membayar PKB lewat Bank, Toped, Alfamaret dll. nah ternyata setelah membayar, kita hanya dapat bukti bayar, tanda bukti pembayarannya (E-TBPKB) belum.

  1. Saya menunggu SMS yang ngasih link ke E-TBPKB tidak ada
  2. Saya kirim SMS ke 7070 mnggak ada balasan.

Terakhir sy browsing-browsing, dan mendapatkan situs https://bapenda.jatimprov.go.id/ disitu ada blok dimana kita bisa downlaod E-TBPKB nya …

dan berhasil 🙂