Uncategorized

Menggunakan REGEX di SQLite

Saya ingin menjelaskan implementasi REGEX pada SQLite. Tapi sintak yang saya gunakan bukan library native tapi menggunakan library regex pada sqlean.

OK, langsung saja.

Saya mempunyai data sebagai berikut:

Saya ingin mencari

  1. Distribusi penjualan berdasarkan kota
  2. Distribusi penjualan berdasarkan bulan, tanggal, dan jam.

Tentu saja kita harus melakukan ekstraksi data pada kolom Purchase_Address, dan kolom Order_Date menggunakan fungsi Regex sbb:

1
2
3
4
5
6
7

SELECT  *, 
        REGEXP_CAPTURE(Purchase_Address, '^Jalan .+, (\w+?), .+', 1) || ' ' || 
        REGEXP_CAPTURE(Purchase_Address, ' (\w+) \d+$', 1) AS City, 
        REGEXP_CAPTURE(Order_Date, '^(\d{2})/', 1) AS MONTH,
        REGEXP_CAPTURE(Order_Date, '^\d{2}/(\d{2})', 1) AS DATE,
        REGEXP_CAPTURE(Order_Date, '(\d{2}):\d{2}$', 1) AS HOUR   
FROM sales

Lalu simpan dalam view agar mudah kita query kembali.

Dan cuplikan datanya bisa menjadi seperti ini

SQL Exercises

Menemukan SQL Exercises di GitHub. Kita bookmark dulu kapan-kapan kita kulik. BTW, walaupun SQL ini sering diartikan sebagai cara mengambil data secara mudah, namun pada level tertentu ya gak mudah juga.

Tapi jangan khawatir. Menguasai SQL sederhana saja kamu sudah mendapatkan insight banyak dari data.

 

 

Scrapping Halaman Web

Berikut ini cara melakukan web scrapping dengan Python

import requests
from bs4 import BeautifulSoup
import pandas as pd

url = "https://satudata.nganu.id/dataset/63/2021/data-masjid"

# Mengambil konten halaman menggunakan requests
response = requests.get(url)

if response.status_code == 200:
    # Membuat objek BeautifulSoup untuk melakukan parsing HTML
    soup = BeautifulSoup(response.text, 'html.parser')

    # Mengidentifikasi elemen HTML yang berisi data yang diinginkan
    # Misalnya, jika data terletak dalam elemen tabel <table>
    table = soup.find('table')

    # Membaca tabel HTML ke dalam DataFrame menggunakan pandas
    data = pd.read_html(str(table))[0]

    # Menampilkan DataFrame
    print(data)

else:
    print(f"Failed to retrieve the page. Status code: {response.status_code}")

Jika terdiri dari banyak halaman bisa menggunakan cara seperti ini, walaupun anda perlu melakukan penyesuaian

import requests
from bs4 import BeautifulSoup
import pandas as pd

def scrape_data(url):
    # List untuk menyimpan DataFrames dari setiap halaman
    all_dataframes = []

    while True:
        # Mengambil konten halaman menggunakan requests
        response = requests.get(url)

        if response.status_code == 200:
            # Membuat objek BeautifulSoup untuk melakukan parsing HTML
            soup = BeautifulSoup(response.text, 'html.parser')

            # Mengidentifikasi elemen HTML yang berisi data yang diinginkan
            # Misalnya, jika data terletak dalam elemen tabel <table>
            table = soup.find('table')

            # Membaca tabel HTML ke dalam DataFrame menggunakan pandas
            data = pd.read_html(str(table))[0]

            # Menambahkan DataFrame ke list
            all_dataframes.append(data)

            # Mencari URL halaman berikutnya (jika ada)
            next_page = soup.find('li', class_='page-item next')
            if next_page:
                # Mendapatkan URL dari atribut 'href'
                url = next_page.find('a')['href']
            else:
                # Keluar dari loop jika tidak ada halaman berikutnya
                break

        else:
            print(f"Failed to retrieve the page. Status code: {response.status_code}")
            break

    # Menggabungkan semua DataFrames menjadi satu
    result_df = pd.concat(all_dataframes, ignore_index=True)

    return result_df

# Gantilah 'https://satudata.nganu.id/dataset/63/2021/data-masjid' dengan URL yang sesuai
url_to_scrape = 'https://satudata.nganu.id/dataset/63/2021/data-masjid'
result_dataframe = scrape_data(url_to_scrape)

# Menampilkan DataFrame hasil
print(result_dataframe)
result_dataframe.to_csv('data-masjid.csv')

Jika kamu tidak bisa emnembusnya gunakan firewall ini https://www.blackbox.ai/

Bayar Pajak Kendaraan Bermotor (PKB)

Anekdot orang-orang yang mempunyai kendaraan jaman itu, “Masak kita mau setor uang saja sulit?”

Nah kemarin saya bayar PKB dan saya memilih cara online. Nampaknya dipenda propinsi sudah sedikit berbenah walaupun belum sempurna.

Kita bisa membayar PKB lewat Bank, Toped, Alfamaret dll. nah ternyata setelah membayar, kita hanya dapat bukti bayar, tanda bukti pembayarannya (E-TBPKB) belum.

  1. Saya menunggu SMS yang ngasih link ke E-TBPKB tidak ada
  2. Saya kirim SMS ke 7070 mnggak ada balasan.

Terakhir sy browsing-browsing, dan mendapatkan situs https://bapenda.jatimprov.go.id/ disitu ada blok dimana kita bisa downlaod E-TBPKB nya …

dan berhasil 🙂

Cerita tentang Sepatu

Selama ini sebenarnya saya lebih suka menggunakan sandal daripada sepatu.

Alasannya jelas, kaki saya sering berkeringat. Dan keringat itu menghasilkan bau.

Sandal memungkinkan kaki mendapat sirkulasi udara yang cukup sehingga tidak lembab dan menghasilkan bau. Kaki berasa nyaman.

Tapi sudah kadung menjadi tradisi bahwa kalau ke instansi atau kantor kita harus bersepatu. Bersepatu juga menjadikan kita lebih dihormati.

Berapapun harga sepatunya, biasanya desainnya tetap seperti itu. Tertutup dan membuat kaki menjadi lembab.

Kemarin iseng mencari sepatu yang berlubang-lubang. Dan ketemu sepatu karet murah dengan lubang ventilasi. Beli di pasar Bandung dengan harga tak lebih dari 50.000. Sepatu murahan dan terbuat dari karet.

Namun teknologi sepatu karet sekarang tidak sama dengan karet jaman dulu. Karet yang digunakan untuk sepatu sekarang ini lentur dan tidak sakit di kaki.

Jadi bagi saya tidak penting lagi sepatu mahal dan murah, yang penting nyaman dipakai.

Orang melihatnya kita bersepatu, kalau sampai melihat sepatu apa dan harganya berapa, kok kayaknya jarang ya, sampai 5%? 😀