Python-data-science-python-relational-databases
Python-リレーショナルデータベース
*pandas* ライブラリとデータベース接続を実装するための別の追加ライブラリを使用して、データを分析するためにリレーショナルデータベースに接続できます。 このパッケージの名前は *sqlalchemy* で、Pythonで使用される完全なSQL言語機能を提供します。SQLAlchemyのインストール
Data Science Environmentの章で説明したAnacondaを使用すると、インストールは非常に簡単です。 この章の説明に従ってAnacondaをインストールしたと仮定して、Anacondaプロンプトウィンドウで次のコマンドを実行し、SQLAlchemyパッケージをインストールします。
conda install sqlalchemyリレーショナルテーブルの読み取り
Sqlite3は非常に軽量で使いやすいため、リレーショナルデータベースとして使用します。 SQLAlchemyライブラリは、MySql、Oracle、Postgresql、Mssqlなど、さまざまなリレーショナルソースに接続できます。 最初にデータベースエンジンを作成してから、SQLAlchemyライブラリの to_sql 関数を使用してデータベースエンジンに接続します。
以下の例では、csvファイルを読み込んで作成されたデータフレームから to_sql 関数を使用して、リレーショナルテーブルを作成します。 次に、pandasの read_sql_query 関数を使用して、さまざまなSQLクエリの結果を実行およびキャプチャします。
from sqlalchemy import create_engine
import pandas as pd
data = pd.read_csv('/path/input.csv')
# Create the db engine
engine = create_engine('sqlite:///:memory:')
# Store the dataframe as a table
data.to_sql('data_table', engine)
# Query 1 on the relational table
res1 = pd.read_sql_query('SELECT * FROM data_table', engine)
print('Result 1')
print(res1)
print('')
# Query 2 on the relational table
res2 = pd.read_sql_query('SELECT dept,sum(salary) FROM data_table group by dept', engine)
print('Result 2')
print(res2)上記のコードを実行すると、次の結果が生成されます。
Result 1
index id name salary start_date dept
0 0 1 Rick 623.30 2012-01-01 IT
1 1 2 Dan 515.20 2013-09-23 Operations
2 2 3 Tusar 611.00 2014-11-15 IT
3 3 4 Ryan 729.00 2014-05-11 HR
4 4 5 Gary 843.25 2015-03-27 Finance
5 5 6 Rasmi 578.00 2013-05-21 IT
6 6 7 Pranab 632.80 2013-07-30 Operations
7 7 8 Guru 722.50 2014-06-17 Finance
Result 2
dept sum(salary)
0 Finance 1565.75
1 HR 729.00
2 IT 1812.30
3 Operations 1148.00リレーショナルテーブルへのデータの挿入
パンダで使用可能なsql.execute関数を使用して、リレーショナルテーブルにデータを挿入することもできます。 以下のコードでは、csvファイルを入力データセットとして以前に作成し、リレーショナルテーブルに保存してから、sql.executeを使用して別のレコードを挿入します。
from sqlalchemy import create_engine
from pandas.io import sql
import pandas as pd
data = pd.read_csv('C:/Users/Rasmi/Documents/pydatasci/input.csv')
engine = create_engine('sqlite:///:memory:')
# Store the Data in a relational table
data.to_sql('data_table', engine)
# Insert another row
sql.execute('INSERT INTO data_table VALUES(?,?,?,?,?,?)', engine, params=[('id',9,'Ruby',711.20,'2015-03-27','IT')])
# Read from the relational table
res = pd.read_sql_query('SELECT ID,Dept,Name,Salary,start_date FROM data_table', engine)
print(res)上記のコードを実行すると、次の結果が生成されます。
id dept name salary start_date
0 1 IT Rick 623.30 2012-01-01
1 2 Operations Dan 515.20 2013-09-23
2 3 IT Tusar 611.00 2014-11-15
3 4 HR Ryan 729.00 2014-05-11
4 5 Finance Gary 843.25 2015-03-27
5 6 IT Rasmi 578.00 2013-05-21
6 7 Operations Pranab 632.80 2013-07-30
7 8 Finance Guru 722.50 2014-06-17
8 9 IT Ruby 711.20 2015-03-27リレーショナルテーブルからデータを削除する
また、pandasで使用可能なsql.execute関数を使用して、データをリレーショナルテーブルに削除することもできます。 以下のコードは、指定された入力条件に基づいて行を削除します。
from sqlalchemy import create_engine
from pandas.io import sql
import pandas as pd
data = pd.read_csv('C:/Users/Rasmi/Documents/pydatasci/input.csv')
engine = create_engine('sqlite:///:memory:')
data.to_sql('data_table', engine)
sql.execute('Delete from data_table where name = (?) ', engine, params=[('Gary')])
res = pd.read_sql_query('SELECT ID,Dept,Name,Salary,start_date FROM data_table', engine)
print(res)上記のコードを実行すると、次の結果が生成されます。
id dept name salary start_date
0 1 IT Rick 623.3 2012-01-01
1 2 Operations Dan 515.2 2013-09-23
2 3 IT Tusar 611.0 2014-11-15
3 4 HR Ryan 729.0 2014-05-11
4 6 IT Rasmi 578.0 2013-05-21
5 7 Operations Pranab 632.8 2013-07-30
6 8 Finance Guru 722.5 2014-06-17