Pythonパンダ-スパースデータ

スパースオブジェクトは、特定の値（NaN/欠損値、任意の値を選択できます）に一致するデータが省略されると「圧縮」されます。特別なSparseIndexオブジェクトは、データが「スパース化」された場所を追跡します。これは、例でより意味があります。標準のパンダのデータ構造はすべて、 to_sparse メソッドを適用します-

import pandas as pd
import numpy as np

ts = pd.Series(np.random.randn(10))
ts[2:-2] = np.nan
sts = ts.to_sparse()
print sts

その*出力*は次のとおりです-

0   -0.810497
1   -1.419954
2         NaN
3         NaN
4         NaN
5         NaN
6         NaN
7         NaN
8    0.439240
9   -1.095910
dtype: float64
BlockIndex
Block locations: array([0, 8], dtype=int32)
Block lengths: array([2, 2], dtype=int32)

スパースオブジェクトは、メモリ効率の理由で存在します。

あなたが大きなNA DataFrameを持っていると仮定して、次のコードを実行してみましょう-

import pandas as pd
import numpy as np

df = pd.DataFrame(np.random.randn(10000, 4))
df.ix[:9998] = np.nan
sdf = df.to_sparse()

print sdf.density

その*出力*は次のとおりです-

0.0001

任意のスパースオブジェクトは、 to_dense を呼び出すことにより、標準の高密度形式に戻すことができます-

import pandas as pd
import numpy as np
ts = pd.Series(np.random.randn(10))
ts[2:-2] = np.nan
sts = ts.to_sparse()
print sts.to_dense()

その*出力*は次のとおりです-

0   -0.810497
1   -1.419954
2         NaN
3         NaN
4         NaN
5         NaN
6         NaN
7         NaN
8    0.439240
9   -1.095910
dtype: float64

スパースDtype

疎データは、その密表現と同じdtypeを持つ必要があります。現在、 float64、int64 、および booldtypes がサポートされています。元の dtypeに応じて、fill_value default が変更されます-

float64 -np.nan
int64 -0
bool -False

同じことを理解するために次のコードを実行してみましょう-

import pandas as pd
import numpy as np

s = pd.Series([1, np.nan, np.nan])
print s

s.to_sparse()
print s

その*出力*は次のとおりです-

0   1.0
1   NaN
2   NaN
dtype: float64

0   1.0
1   NaN
2   NaN
dtype: float64

Python-pandas-sparse-data

Pythonパンダ-スパースデータ

スパースDtype