Pytorch-sequence-processing-with-convents

PyTorch-修道院でのシーケンス処理

この章では、代わりに両方のシーケンスにわたる単一の2D畳み込みニューラルネットワークに依存する代替アプローチを提案します。 ネットワークの各レイヤーは、これまでに生成された出力シーケンスに基づいてソーストークンを再コーディングします。 したがって、注意のようなプロパティはネットワーク全体に広がっています。

ここでは、*データセットに含まれる値から特定のプーリングを持つシーケンシャルネットワークを作成する*ことに焦点を当てます。 このプロセスは、「画像認識モジュール」にも最適です。

シーケンシャルネットワーク

次の手順は、PyTorchを使用して修道院でシーケンス処理モデルを作成するために使用されます-

ステップ1

修道院を使用してシーケンス処理のパフォーマンスに必要なモジュールをインポートします。

import keras
from keras.datasets import mnist
from keras.models import Sequential
from keras.layers import Dense, Dropout, Flatten
from keras.layers import Conv2D, MaxPooling2D
import numpy as np

ステップ2

以下のコードを使用して、それぞれのシーケンスでパターンを作成するために必要な操作を実行します-

batch_size = 128
num_classes = 10
epochs = 12
# input image dimensions
img_rows, img_cols = 28, 28
# the data, split between train and test sets
(x_train, y_train), (x_test, y_test) = mnist.load_data()
x_train = x_train.reshape(60000,28,28,1)
x_test = x_test.reshape(10000,28,28,1)
print('x_train shape:', x_train.shape)
print(x_train.shape[0], 'train samples')
print(x_test.shape[0], 'test samples')
y_train = keras.utils.to_categorical(y_train, num_classes)
y_test = keras.utils.to_categorical(y_test, num_classes)

ステップ3

モデルをコンパイルし、以下に示すように、前述の従来のニューラルネットワークモデルのパターンに適合します-

model.compile(loss =
keras.losses.categorical_crossentropy,
optimizer = keras.optimizers.Adadelta(), metrics =
['accuracy'])
model.fit(x_train, y_train,
batch_size = batch_size, epochs = epochs,
verbose = 1, validation_data = (x_test, y_test))
score = model.evaluate(x_test, y_test, verbose = 0)
print('Test loss:', score[0])
print('Test accuracy:', score[1])

生成される出力は次のとおりです-

ニューラルネットワークモデル