Konversi Excel ke SQLite

Mengapa kita perlu melakukan konversi dari Excel ke SQLite, ya karena SQLite bisa diQuery. Untuk mengolah data kalau sy lebih enak menggunakan SQLite, terutama kalau data sudah besar atau diatas 100.000 record.

Untuk melakukan konversi yang paling penting adalah pemahaman tentang raw data (data sumber). Bagi pengguna excel yang tidak memahami database sama sekali, biasanya judul kolom ditulis dengan banyak keterangan. Kalau perlu ada kolom dan subkolom. Judul kolom pada data hanya perlu satu kolom dengan isi yang ringkas. Raw data hanya perlu baris kolom saja.

Semula saya akan menggunakan cara excel saya save as ke csv, lalu ke sqlite. Nyatanya ketika saya menyimpan dari excel ke csv ada banyak auto correct yang membuat data menjadi tidak seperti yang saya inginkan. Misalnya 088 secara otomatis dikonversi ke 88. Akhirnya ya mending dari excel langsung konversi ke sqlite.

Saya tahu, ini program yang sederhana, namun menurut saya ini akan sangat penting. karena progarm sederhana saya minta bantuan chatGPT aja.

Untuk mengonversi data dari file Excel (xlsx) ke SQLite dalam Python, Anda bisa menggunakan pustaka pandas untuk membaca file Excel dan kemudian menyimpan data ke database SQLite. Berikut adalah langkah-langkah yang dapat Anda ikuti:

  1. Mengimpor Pustaka yang Diperlukan
  2. Membaca File Excel dengan Pandas
  3. Membuat Koneksi ke Database SQLite
  4. Menyimpan Data ke Database SQLite

Berikut adalah contoh kode lengkap yang melakukan konversi dari file Excel ke SQLite:

import pandas as pd
import sqlite3

# Langkah 1: Membaca file Excel
file_path = 'path_to_your_file.xlsx'
df = pd.read_excel(file_path, sheet_name='Sheet1')  # Ganti 'Sheet1' dengan nama sheet yang ingin Anda baca

# Langkah 2: Membuat koneksi ke database SQLite
db_file = 'output_database.sqlite3'
conn = sqlite3.connect(db_file)

# Langkah 3: Menyimpan data ke tabel SQLite
table_name = 'your_table_name'  # Ganti dengan nama tabel yang Anda inginkan
df.to_sql(table_name, conn, if_exists='replace', index=False)

# Langkah 4: Menutup koneksi
conn.close()

print(f"Data dari {file_path} telah berhasil disimpan ke {db_file} di tabel {table_name}.")

Penjelasan:

  1. Mengimpor Pustaka yang Diperlukan:
    • pandas: Digunakan untuk membaca file Excel dan menangani data dalam bentuk DataFrame.
    • sqlite3: Digunakan untuk berinteraksi dengan database SQLite.
  2. Membaca File Excel:
    • pd.read_excel(file_path, sheet_name='Sheet1'): Membaca data dari file Excel dan menyimpannya dalam DataFrame df. Anda dapat mengganti 'Sheet1' dengan nama sheet yang ingin Anda baca.
  3. Membuat Koneksi ke Database SQLite:
    • sqlite3.connect(db_file): Membuat koneksi ke file database SQLite. Jika file tidak ada, maka file akan dibuat.
  4. Menyimpan Data ke Database SQLite:
    • df.to_sql(table_name, conn, if_exists='replace', index=False): Menyimpan DataFrame df ke tabel SQLite dengan nama table_name. Jika tabel sudah ada, maka akan diganti (replace).
  5. Menutup Koneksi:
    • conn.close(): Menutup koneksi ke database SQLite.

Dengan langkah-langkah ini, Anda dapat dengan mudah mengonversi data dari file Excel ke database SQLite menggunakan Python.