Cách dán dữ liệu từ Excel vào pgAdmin 4

Sử dụng dữ liệu Excel trong pgAdmin 4

Sao chép dữ liệu từ Excel và dán trực tiếp vào pgAdmin 4 để thêm hàng mới có thể là một thách thức. Nhiều người dùng gặp sự cố với chức năng dán, chức năng này dường như chỉ hoạt động trong bảng tạm pgAdmin.

Bài viết này khám phá những hạn chế trong chức năng dán của pgAdmin 4 và cung cấp các phương pháp thay thế để chuyển thành công dữ liệu Excel của bạn vào cơ sở dữ liệu PostgreSQL bằng pgAdmin 4.

Chuyển dữ liệu Excel sang PostgreSQL

Các tập lệnh được cung cấp minh họa hai phương pháp khác nhau để chuyển dữ liệu Excel vào cơ sở dữ liệu PostgreSQL bằng cách sử dụng pgAdmin 4. Kịch bản đầu tiên sử dụng Python với pandas Và psycopg2 thư viện. Trong kịch bản này, pd.read_excel() lệnh đọc tệp Excel vào DataFrame của gấu trúc, giúp thao tác dữ liệu dễ dàng hơn. Kết nối tới cơ sở dữ liệu PostgreSQL được thiết lập bằng cách sử dụng psycopg2.connect()và một đối tượng con trỏ được tạo để thực thi các lệnh SQL. Kịch bản xây dựng một insert_query sử dụng sql.SQL(), đảm bảo rằng truy vấn được xây dựng an toàn. Khi nó lặp qua các hàng DataFrame bằng cách sử dụng số 8, nó chèn từng hàng vào cơ sở dữ liệu bằng cách thực thi lệnh SQL đã chuẩn bị với cur.execute(). Cuối cùng, những thay đổi được thực hiện và kết nối bị đóng.

Phương pháp thứ hai liên quan đến việc lưu dữ liệu Excel dưới dạng tệp CSV, sau đó sử dụng các lệnh SQL để nhập dữ liệu CSV này vào bảng PostgreSQL. Đầu tiên, tập lệnh trình bày cách tạo bảng trong PostgreSQL bằng cách sử dụng CREATE TABLE yêu cầu. Tiếp theo, nó sử dụng COPY lệnh sao chép dữ liệu từ tệp CSV vào bảng PostgreSQL. Phương pháp này quy định việc sử dụng DELIMITER Và CSV HEADER để đảm bảo rằng định dạng CSV được diễn giải chính xác và hàng tiêu đề được sử dụng cho tên cột. Cả hai phương pháp đều cung cấp những cách hiệu quả để chuyển dữ liệu Excel vào cơ sở dữ liệu PostgreSQL, cung cấp cho người dùng sự linh hoạt tùy thuộc vào quy trình làm việc và tùy chọn công cụ của họ.

import pandas as pd
import psycopg2
from psycopg2 import sql

# Read the Excel file
df = pd.read_excel('data.xlsx')

# Connect to PostgreSQL database
conn = psycopg2.connect(host="localhost", database="yourdb", user="youruser", password="yourpassword")
cur = conn.cursor()

# Create insert query
insert_query = sql.SQL("INSERT INTO your_table (col1, col2, col3) VALUES (%s, %s, %s)")

# Iterate over DataFrame and insert data
for i, row in df.iterrows():
    cur.execute(insert_query, (row['col1'], row['col2'], row['col3']))

# Commit changes and close connection
conn.commit()
cur.close()
conn.close()

-- Step 1: Save Excel as CSV
-- Step 2: Use the following SQL commands

-- Create a table in PostgreSQL
CREATE TABLE your_table (
    col1 VARCHAR(255),
    col2 INTEGER,
    col3 DATE
);

-- Copy data from CSV into the table
COPY your_table (col1, col2, col3)
FROM '/path/to/your/data.csv'
DELIMITER ','
CSV HEADER;

Kỹ thuật nhập dữ liệu hiệu quả cho PostgreSQL

Một khía cạnh khác cần xem xét khi nhập dữ liệu từ Excel vào PostgreSQL bằng cách sử dụng pgAdmin 4 là việc sử dụng pgAdmin Import/Export tool. Công cụ này cung cấp giao diện đồ họa để nhập dữ liệu từ nhiều định dạng khác nhau, bao gồm cả CSV, trực tiếp vào bảng PostgreSQL. Để sử dụng tính năng này, trước tiên bạn phải xuất dữ liệu Excel của mình dưới dạng tệp CSV. Khi bạn có tệp CSV, bạn có thể điều hướng đến Import/Export tùy chọn trong pgAdmin. Công cụ này cho phép bạn chỉ định tệp nguồn và bảng đích, cũng như định cấu hình các tùy chọn khác nhau như dấu phân cách, ký tự trích dẫn và mã hóa.

Ngoài ra, điều quan trọng là phải đảm bảo rằng các loại dữ liệu trong tệp CSV khớp với các loại dữ liệu trong bảng PostgreSQL của bạn. Các loại dữ liệu không khớp có thể dẫn đến lỗi nhập hoặc hỏng dữ liệu. Bạn cũng có thể sử dụng tập lệnh SQL để xác thực và làm sạch dữ liệu trước khi nhập vào cơ sở dữ liệu. Bước tiền xử lý này có thể được thực hiện bằng cách sử dụng các công cụ như pandas trong Python để xử lý các giá trị bị thiếu, định dạng ngày tháng chính xác và đảm bảo rằng các trường số được định dạng chính xác. Thực hiện các biện pháp phòng ngừa này sẽ giúp duy trì tính toàn vẹn của dữ liệu và đảm bảo quá trình nhập diễn ra suôn sẻ.

Kết thúc quá trình nhập dữ liệu

Bạn có thể thực hiện nhập dữ liệu từ Excel vào pgAdmin 4 một cách hiệu quả bằng cách chuyển đổi tệp Excel sang CSV và sử dụng công cụ Nhập/Xuất của pgAdmin hoặc bằng cách sử dụng tập lệnh Python với thư viện pandas và psycopg2. Đảm bảo khả năng tương thích kiểu dữ liệu và thực hiện xác thực dữ liệu là những bước quan trọng trong quy trình này. Các phương pháp này cung cấp các giải pháp đáng tin cậy và linh hoạt để truyền dữ liệu sang PostgreSQL, giải quyết các hạn chế của việc dán trực tiếp trong pgAdmin.