将pandas转储到SQL语句

2023-05-26 admin

我需要将pandas DataFrame对象转换为一系列重现该对象的SQL语句。

例如，假设我有一个DataFrame对象：

>>> df = pd.DataFrame({'manufacturer': ['Audi', 'Volkswagen', 'BMW'], 
                       'model': ['A3', 'Touareg', 'X5']})
>>> df
  manufacturer    model
0         Audi       A3
1   Volkswagen  Touareg
2          BMW       X5

我需要将其转换为以下SQL表示形式(不完全相同)：

CREATE TABLE "Auto" (
"index" INTEGER,
  "manufacturer" TEXT,
  "model" TEXT
);
INSERT INTO Auto (manufacturer, model) VALUES ('Audi', 'A3'), ('Volkswagen', 'Touareg'), ('BMW', 'X5');

幸运的是，pandas DataFrame对象具有to_sql()方法，该方法允许通过SQLAlchemy引擎将整个DataFrame转储到数据库。为此，我决定使用SQLite内存数据库：

>>> from sqlalchemy import create_engine
>>> engine = create_engine('sqlite://', echo=False)  # Turning echo to True just logs SQL statements, I'd avoid parsing this logs
>>> df.to_sql(name='Auto', con=engine)

我被困在这一刻了。我无法将SQLite内存中的数据库转储到SQL语句，我也找不到能够将SQL语句转储到文件中而不是执行它们的sqlalchemy驱动程序。

有没有办法将所有作为SQLAlchemy语句发送到SQL的查询都转储到一个文件中？

到目前为止，我的解决方案还不够优雅：

>>> from sqlalchemy import MetaData
>>> meta = MetaData()
>>> meta.reflect(bind=engine)
>>> print(pd.io.sql.get_schema(df, name='Auto') + ';')
CREATE TABLE "Auto" (
"manufacturer" TEXT,
  "model" TEXT
);
>>> print('INSERT INTO Auto ({}) VALUES\n{};'.format(', '.join([repr(c) for c in df.columns]), ',\n'.join([str(row[1:]) for row in engine.execute(meta.tables['Auto'].select())])))
INSERT INTO Auto ('manufacturer', 'model') VALUES
('Audi', 'A3'),
('Volkswagen', 'Touareg'),
('BMW', 'X5');

实际上，我更喜欢不需要手动构建SQL语句的解决方案。

转载请注明出处:http://www.xinruixiangtm.com/article/20230526/1379905.html