Python

Data Palsu (Fake Data) Buat Simulasi

Tadi saya minta tolong kepada ChatGPT untuk membuatkan data dummy yang isinya nama, nomor telp dan alamat. Namun saya malah dikasih contoh skrip Pythn untuk masalah ini.

Data dummy seperti ini bagi saya penting karena ketika kita ingin membuat simulasi, atau training, atau aplikasi kita membutuhkan data contoh.

import random
import faker
import pandas as pd

# Inisialisasi Faker
fake = faker.Faker('id_ID')

# Membuat 100 data acak
data_list = []
for _ in range(100):
    nama = fake.name()
    nomor_hp = fake.phone_number()        
    alamat = fake.address().replace("\n", " ")
    
    data_list.append({
        'Nama': nama,
        'Nomor HP': nomor_hp,
        'Alamat': alamat
    })

df = pd.DataFrame(data_list)
df.to_csv('alamat.csv')
print('Generate data selesai')

Hasilnya cukup bagus, sayangnya data antar kolom tidak berelasi, sehingga city() Surabaya namun state() Jawa Barat, Lah …

Tapi ya lumayanlah buat sekedar mainan.

Baca dokumentasinya disini. Atau tulisan tentang Faker disini .

Cara Gampang Memulai Belajar Pemrograman Python

Ini adalah ilmu paling penting dalam menguasai bahasa pemrograman Python. Setup Python. Kalau sudah bisa setup Python, maka kamu sudah menguasai separuh dari bahasa ini.  Separuh lagi, tinggal suruh ChatGPT. Sungguh!

Kawan saya Trigus Dodik Susilo  hanya saya ajari menginstall Python, sekarang sudah bisa menggunakan bahasa ini untuk berbagai keperluan. Ajaib.

Baik kita mulai …

Instalasi Python

Jika kamu pengguna Windows 10, mungkin 11 juga yang disana sudah ada toko aplikasi (Microsoft Store), install menggunakan toko aplikasi itu.  Lebih mudah dan aplikasi langsung bisa dipanggil melalui Terminal.

Pertama Buka Micrrosoft Store dan cari: Python. Pilih versi yang kamu kehendaki. Adapun saya akan memilih yang versi yang baru 3.12 saja.

Begitu doang. Gempil hihihi….

Sekarang kta buka Terminal. Kalau kamu belum punya, kamu bisa install Windows Terminal melalui Microsoft Store, dengan cara yang sama seperti diatas.

Lalu kita cek apakah Python sudah terinstall:

Membuat Program Python

Cara membuat program Python bisa menggunakan berbagai cara. Yg lebih enak sih menggunakan VSCode. Tapi kalau nggak ada text editor apa saja bisa, seperti Notepad++ yang ringan, atau bahkan Notepad betulan.

Coba buka notepad dan ketikkan

print("Halo Dunia!")

dan simpan dengan nama hello.py

Sekarang, buka terminal dan ketikkan: python hello.py

Sampai disini kamu sudah menguasai Python !!!

Studi Kasus

Saya mempunyai sebuah fille Excel yang didalamnya ada kolom
Nomor, Nama, Alamat, Telp, Kota.

Saya ingin memecahnya menjadi satu file excel setiap kota, bagaimana caranya?

Solusi: caranya tanya ChatGPT!
“Saya mempunyai sebuah file Excel dalam folder D:/Python yang didalamnya ada kolom Nomor, Nama, Alamat, Telp, Kota. Pecah file tersebut menjadi beberapa file excel berdasarkan kot. Buatkan dalam bahasa Python”

Dan jawabannya adalah:

Untuk membagi file Excel menjadi beberapa file berdasarkan kolom “Kota” menggunakan Python, kamu bisa menggunakan pustaka pandas. Berikut adalah langkah-langkah dan contoh kode untuk melakukannya:

  1. Install pustaka yang diperlukan: Pastikan kamu telah menginstal pandas dan openpyxl. Jika belum, kamu bisa menginstalnya dengan pip: 
    pip install pandas openpyxl
  2. Tulis kode Python: Berikut adalah contoh kode untuk membaca file Excel dari folder D:/Python, memecahnya berdasarkan kolom “Kota”, dan menyimpannya sebagai file Excel terpisah:
import pandas as pd
import os

# Path ke file Excel yang ingin dibaca
input_file = 'D:/Python/your_file.xlsx'

# Path folder untuk menyimpan file Excel yang dipecah
output_folder = 'D:/Python/Output'

# Membaca file Excel
df = pd.read_excel(input_file)

# Memeriksa apakah folder output ada, jika tidak, buat folder tersebut
if not os.path.exists(output_folder):
    os.makedirs(output_folder)

# Mengelompokkan data berdasarkan kolom 'Kota'
grouped = df.groupby('Kota')

# Menyimpan setiap grup sebagai file Excel terpisah
for kota, group in grouped:
    # Membuat nama file berdasarkan nama kota
    output_file = os.path.join(output_folder, f'{kota}.xlsx')
    # Menyimpan grup ke file Excel
    group.to_excel(output_file, index=False)

print("File Excel telah dipisahkan berdasarkan kota dan disimpan di folder Output.")

Penjelasan:

  • import pandas as pd: Mengimpor pustaka pandas untuk manipulasi data.
  • input_file: Path ke file Excel yang akan dipecah.
  • output_folder: Folder tempat menyimpan file hasil pecahan.
  • pd.read_excel(input_file): Membaca file Excel ke dalam DataFrame df.
  • os.makedirs(output_folder): Membuat folder output jika belum ada.
  • df.groupby('Kota'): Mengelompokkan data berdasarkan kolom “Kota”.
  • group.to_excel(output_file, index=False): Menyimpan setiap grup ke file Excel terpisah.

Sesuaikan nama file your_file.xlsx dengan nama file Excel yang kamu miliki. Kode ini akan menghasilkan file-file Excel baru di dalam folder Output yang dinamai sesuai dengan nilai yang ada di kolom “Kota”.

Nah kalau kamu ingin mendalani kosepnya silahkan belajar di banyak sumber yang ada di internet ini, yang salah satunya ada di https://www.w3schools.com/python/default.asp

Ok gampang kan?

Python: Menyatukan Isi File Excel dengan Pola Nama Tertentu

Saya mempunyai file excel dengan nama-nama yang mempunyai pola. Ya, sebenarnya itu adalah hasil generasi dari data yang ada dalam database.

batch_1_01_PELAYANAN_Perusahaan_A.xlsx
batch_1_01_PENYULUHAN_Perusahaan_A.xlsx
batch_1_01_PELAYANAN_Perusahaan_B.xlsx
batch_1_01_PENYULUHAN_Perusahaan_B.xlsx
batch_1_01_PELAYANAN_Perusahaan_C.xlsx
dst.

Saya ingin menyatukan isi file-file dalam PELAYANAN batch 1 ke dalam satu file Excel. Tentu syaratnya susunan kolom harus sama.

Karena saya ingin menyatukan file Excel, maka saya membutuhkan library openpyxl pada Python:
pip install openpyxl

Selanjutnya buat skrip seperti ini:

import os
import re
import pandas as pd

# Folder tempat file disimpan
folder_path = 'kelompok_data4'  # Ganti dengan path ke folder Anda

# Regex untuk mencocokkan nama file
pattern = r'batch_1.*PENYULUHAN.*\.xlsx$'

# List untuk menyimpan DataFrame dari setiap file yang cocok
dataframes = []

# Loop melalui file dalam folder
for file_name in os.listdir(folder_path):
    if re.match(pattern, file_name):
        file_path = os.path.join(folder_path, file_name)
        df = pd.read_excel(file_path, engine='openpyxl')
        dataframes.append(df)

# Menggabungkan semua DataFrame menjadi satu
if dataframes:
    combined_df = pd.concat(dataframes, ignore_index=True)
    
    # Menyimpan hasil gabungan ke file baru
    output_file = os.path.join(folder_path, 'combined_penyuluhan_batch_1.xlsx')
    combined_df.to_excel(output_file, index=False, engine='openpyxl')
    print(f"File gabungan telah disimpan sebagai {output_file}")
else:
    print("Tidak ada file yang cocok ditemukan.")

Penjelasan:

  • folder_path: Ganti dengan path ke folder tempat file Anda berada.
  • pattern: Regex r'batch_1.*PELAYANAN.*\.xlsx$' mencocokkan file yang mengandung “batch_1”, “PELAYANAN”, dan berakhir dengan .xlsx.
  • os.listdir(folder_path): Mengambil daftar file dalam folder.
  • re.match(pattern, file_name): Mencocokkan setiap nama file dengan pola regex.
  • matched_files: Menyimpan file yang cocok dengan pola regex.
  • print(file): Menampilkan nama file yang cocok.

Mengambil Data Participants dengan python Citric

Saya belum ada waktu menerangkan panjang lebar.
Saya menggunakan bantuan dokumentasi dan jsoneditoronline buat membantu ekstraksi json.
Sementara skrip ini dulu aja buat catatan:

from citric import Client
import pandas as pd

survey_id = 452848
client = Client(
    'http://limesurvey6.test/index.php/admin/remotecontrol',
    'admin',
    'password'
)

participants = client.list_participants(survey_id, start=0, limit=5, unused=True, attributes= False, conditions=None)

print(participants)

Hasilnya sbb:

Namun apabila kita ingin mengambil attributes lain, caranya sbb:

participants = client.list_participants(survey_id, start=0, limit=5, unused=True, attributes= ["completed", "usesleft", "attribute_1"], conditions=None)

Dan hasilnya sbb:

Sekarang tinggal ekstrak pilih attribute yang mana.

Berikut jika kita ingin memasukkannya ke DataFrame:

from citric import Client
import pandas as pd

# Connect to your LimeSurvey instance
survey_id = 452848
client = Client(
    "http://limesurvey6.test/admin/remotecontrol",
     'admin', 
     'password'
)
participants = client.list_participants(survey_id, start=0, limit=5, unused=True, attributes= ["completed", "usesleft", "attribute_1"], conditions=None)

# karena participant mengandung sub array, maka kita harus emmbuatnya ke dalam array 2 2 dimensi agar bisa dimasukkan ke DataFrame
res = []
for field in participants:
        res.append({'tid':field['tid'],
           'attribute_1':field['attribute_1'],
           'firstname':field['participant_info']['firstname']
           })

df = pd.DataFrame(res)

# setelah itu bisa di print di export ke excel maupun ke sqlite
print(df)

Menurut saya method ini kurang asik. Mestinya ada cara ambil all fields in participants. Atau apa saya yang kurang ngerti caranya?

Konversi Excel ke SQLite

Mengapa kita perlu melakukan konversi dari Excel ke SQLite, ya karena SQLite bisa diQuery. Untuk mengolah data kalau sy lebih enak menggunakan SQLite, terutama kalau data sudah besar atau diatas 100.000 record.

Untuk melakukan konversi yang paling penting adalah pemahaman tentang raw data (data sumber). Bagi pengguna excel yang tidak memahami database sama sekali, biasanya judul kolom ditulis dengan banyak keterangan. Kalau perlu ada kolom dan subkolom. Judul kolom pada data hanya perlu satu kolom dengan isi yang ringkas. Raw data hanya perlu baris kolom saja.

Semula saya akan menggunakan cara excel saya save as ke csv, lalu ke sqlite. Nyatanya ketika saya menyimpan dari excel ke csv ada banyak auto correct yang membuat data menjadi tidak seperti yang saya inginkan. Misalnya 088 secara otomatis dikonversi ke 88. Akhirnya ya mending dari excel langsung konversi ke sqlite.

Saya tahu, ini program yang sederhana, namun menurut saya ini akan sangat penting. karena progarm sederhana saya minta bantuan chatGPT aja.

Untuk mengonversi data dari file Excel (xlsx) ke SQLite dalam Python, Anda bisa menggunakan pustaka pandas untuk membaca file Excel dan kemudian menyimpan data ke database SQLite. Berikut adalah langkah-langkah yang dapat Anda ikuti:

  1. Mengimpor Pustaka yang Diperlukan
  2. Membaca File Excel dengan Pandas
  3. Membuat Koneksi ke Database SQLite
  4. Menyimpan Data ke Database SQLite

Berikut adalah contoh kode lengkap yang melakukan konversi dari file Excel ke SQLite:

import pandas as pd
import sqlite3

# Langkah 1: Membaca file Excel
file_path = 'path_to_your_file.xlsx'
df = pd.read_excel(file_path, sheet_name='Sheet1')  # Ganti 'Sheet1' dengan nama sheet yang ingin Anda baca

# Langkah 2: Membuat koneksi ke database SQLite
db_file = 'output_database.sqlite3'
conn = sqlite3.connect(db_file)

# Langkah 3: Menyimpan data ke tabel SQLite
table_name = 'your_table_name'  # Ganti dengan nama tabel yang Anda inginkan
df.to_sql(table_name, conn, if_exists='replace', index=False)

# Langkah 4: Menutup koneksi
conn.close()

print(f"Data dari {file_path} telah berhasil disimpan ke {db_file} di tabel {table_name}.")

Penjelasan:

  1. Mengimpor Pustaka yang Diperlukan:
    • pandas: Digunakan untuk membaca file Excel dan menangani data dalam bentuk DataFrame.
    • sqlite3: Digunakan untuk berinteraksi dengan database SQLite.
  2. Membaca File Excel:
    • pd.read_excel(file_path, sheet_name='Sheet1'): Membaca data dari file Excel dan menyimpannya dalam DataFrame df. Anda dapat mengganti 'Sheet1' dengan nama sheet yang ingin Anda baca.
  3. Membuat Koneksi ke Database SQLite:
    • sqlite3.connect(db_file): Membuat koneksi ke file database SQLite. Jika file tidak ada, maka file akan dibuat.
  4. Menyimpan Data ke Database SQLite:
    • df.to_sql(table_name, conn, if_exists='replace', index=False): Menyimpan DataFrame df ke tabel SQLite dengan nama table_name. Jika tabel sudah ada, maka akan diganti (replace).
  5. Menutup Koneksi:
    • conn.close(): Menutup koneksi ke database SQLite.

Dengan langkah-langkah ini, Anda dapat dengan mudah mengonversi data dari file Excel ke database SQLite menggunakan Python.