Uncategorized

Berikut ini cara melakukan web scrapping dengan Python

import requests
from bs4 import BeautifulSoup
import pandas as pd

url = "https://satudata.nganu.id/dataset/63/2021/data-masjid"

# Mengambil konten halaman menggunakan requests
response = requests.get(url)

if response.status_code == 200:
    # Membuat objek BeautifulSoup untuk melakukan parsing HTML
    soup = BeautifulSoup(response.text, 'html.parser')

    # Mengidentifikasi elemen HTML yang berisi data yang diinginkan
    # Misalnya, jika data terletak dalam elemen tabel <table>
    table = soup.find('table')

    # Membaca tabel HTML ke dalam DataFrame menggunakan pandas
    data = pd.read_html(str(table))[0]

    # Menampilkan DataFrame
    print(data)

else:
    print(f"Failed to retrieve the page. Status code: {response.status_code}")

Jika terdiri dari banyak halaman bisa menggunakan cara seperti ini, walaupun anda perlu melakukan penyesuaian

import requests
from bs4 import BeautifulSoup
import pandas as pd

def scrape_data(url):
    # List untuk menyimpan DataFrames dari setiap halaman
    all_dataframes = []

    while True:
        # Mengambil konten halaman menggunakan requests
        response = requests.get(url)

        if response.status_code == 200:
            # Membuat objek BeautifulSoup untuk melakukan parsing HTML
            soup = BeautifulSoup(response.text, 'html.parser')

            # Mengidentifikasi elemen HTML yang berisi data yang diinginkan
            # Misalnya, jika data terletak dalam elemen tabel <table>
            table = soup.find('table')

            # Membaca tabel HTML ke dalam DataFrame menggunakan pandas
            data = pd.read_html(str(table))[0]

            # Menambahkan DataFrame ke list
            all_dataframes.append(data)

            # Mencari URL halaman berikutnya (jika ada)
            next_page = soup.find('li', class_='page-item next')
            if next_page:
                # Mendapatkan URL dari atribut 'href'
                url = next_page.find('a')['href']
            else:
                # Keluar dari loop jika tidak ada halaman berikutnya
                break

        else:
            print(f"Failed to retrieve the page. Status code: {response.status_code}")
            break

    # Menggabungkan semua DataFrames menjadi satu
    result_df = pd.concat(all_dataframes, ignore_index=True)

    return result_df

# Gantilah 'https://satudata.nganu.id/dataset/63/2021/data-masjid' dengan URL yang sesuai
url_to_scrape = 'https://satudata.nganu.id/dataset/63/2021/data-masjid'
result_dataframe = scrape_data(url_to_scrape)

# Menampilkan DataFrame hasil
print(result_dataframe)
result_dataframe.to_csv('data-masjid.csv')

Jika kamu tidak bisa emnembusnya gunakan firewall ini https://www.blackbox.ai/

Anekdot orang-orang yang mempunyai kendaraan jaman itu, “Masak kita mau setor uang saja sulit?”

Nah kemarin saya bayar PKB dan saya memilih cara online. Nampaknya dipenda propinsi sudah sedikit berbenah walaupun belum sempurna.

Kita bisa membayar PKB lewat Bank, Toped, Alfamaret dll. nah ternyata setelah membayar, kita hanya dapat bukti bayar, tanda bukti pembayarannya (E-TBPKB) belum.

1. Saya menunggu SMS yang ngasih link ke E-TBPKB tidak ada
2. Saya kirim SMS ke 7070 mnggak ada balasan.

Terakhir sy browsing-browsing, dan mendapatkan situs https://bapenda.jatimprov.go.id/ disitu ada blok dimana kita bisa downlaod E-TBPKB nya …

dan berhasil 🙂

Selama ini sebenarnya saya lebih suka menggunakan sandal daripada sepatu.

Alasannya jelas, kaki saya sering berkeringat. Dan keringat itu menghasilkan bau.

Sandal memungkinkan kaki mendapat sirkulasi udara yang cukup sehingga tidak lembab dan menghasilkan bau. Kaki berasa nyaman.

Tapi sudah kadung menjadi tradisi bahwa kalau ke instansi atau kantor kita harus bersepatu. Bersepatu juga menjadikan kita lebih dihormati.

Berapapun harga sepatunya, biasanya desainnya tetap seperti itu. Tertutup dan membuat kaki menjadi lembab.

Kemarin iseng mencari sepatu yang berlubang-lubang. Dan ketemu sepatu karet murah dengan lubang ventilasi. Beli di pasar Bandung dengan harga tak lebih dari 50.000. Sepatu murahan dan terbuat dari karet.

Namun teknologi sepatu karet sekarang tidak sama dengan karet jaman dulu. Karet yang digunakan untuk sepatu sekarang ini lentur dan tidak sakit di kaki.

Jadi bagi saya tidak penting lagi sepatu mahal dan murah, yang penting nyaman dipakai.

Orang melihatnya kita bersepatu, kalau sampai melihat sepatu apa dan harganya berapa, kok kayaknya jarang ya, sampai 5%? 😀

Sebenarnya RS Unair mempunyai SIM Online untuk mendaftar antean. Tapi katanya sejak beberapa waktu lalu aplikasinya hilang dari playstore dan dari situsnya RSUA.

Saya sendiri mendapatkan aplikasinya melalui link yang saya dapatkan dari Google. Agak takut juga sih, tapi daripada tidak bisa daftar online.

Setelah saya mendownloadnya baru saya ketahui bahwa aplikasi ini sebenarnya hanyalah webview. Ada alamat webnya yang yidak dipublikasikan, yaitu di:

https://sim-rs.unair.ac.id/rsua/sim/portal/home/index

Atau melalui sort url yang saya buat, https://bit.ly/simrsua

Tapi berdasarkan wawancara dengan pasien lain diketahui bahwa belum tentu orang yang mengambil antrian online akan mendapatkan nomor lebih dulu. Saya antre kemarin jam 14an mendapat nomor 255. Mbak dekat saya datang langsung jam 6.30 dapat antrean nomor 70.