機械学習-バギングされた決定木

バギングアンサンブルメソッドは、分散が大きいアルゴリズムとうまく機能することがわかっているため、この点で、最適なのは決定木アルゴリズムです。次のPythonレシピでは、Pima Indians糖尿病データセットでsklearnのBaggingClassifier関数とDecisionTreeClasifier（分類および回帰木アルゴリズム）を使用して、バギングされた決定木アンサンブルモデルを構築します。

まず、次のように必要なパッケージをインポートします-

from pandas import read_csv
from sklearn.model_selection import KFold
from sklearn.model_selection import cross_val_score
from sklearn.ensemble import BaggingClassifier
from sklearn.tree import DecisionTreeClassifier

ここで、前の例で行ったように、Pima糖尿病データセットをロードする必要があります-

path = r"C:\pima-indians-diabetes.csv"
headernames = ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age', 'class']
data = read_csv(path, names=headernames)
array = data.values
X = array[:,0:8]
Y = array[:,8]

次に、次のように10倍クロス検証の入力を与えます-

seed = 7
kfold = KFold(n_splits = 10, random_state = seed)
cart = DecisionTreeClassifier()

構築するツリーの数を指定する必要があります。ここでは、150本の木を構築しています-

num_trees = 150

次に、次のスクリプトの助けを借りてモデルを構築します-

model = BaggingClassifier(base_estimator = cart, n_estimators = num_trees, random_state = seed)

次のように結果を計算して印刷します-

results = cross_val_score(model, X, Y, cv=kfold)
print(results.mean())

出力

0.7733766233766234

上記の出力は、バギングされた決定木分類子モデルの精度が約77％であることを示しています。

Machine-learning-with-python-bagged-decision-tree

機械学習-バギングされた決定木