スクレイピー-環境

この章では、Scrapyのインストール方法とセットアップ方法について説明します。 ScrapyはPythonとともにインストールする必要があります。

Scrapyは pip を使用してインストールできます。インストールするには、次のコマンドを実行します-

pip install Scrapy

Windows

注意-Python 3はWindows OSではサポートされていません。

ステップ1 *-https://www.python.org/downloads/[Python]からPython 2.7をインストールします

次のパスをPATHに追加して、環境変数を設定します-

C:\Python27\;C:\Python27\Scripts\;

次のコマンドを使用して、Pythonのバージョンを確認できます-

python --version

ステップ2 *-https://slproweb.com/products/Win32OpenSSLl[OpenSSL]をインストールします。

環境変数にC：\ OpenSSL-Win32 \ binを追加します。

注意-OpenSSLは、Windowsを除くすべてのオペレーティングシステムにプリインストールされています。

ステップ3 *-https://www.microsoft.com/downloads/details.aspx?familyid=9B2DA534-3E03-4391-8A4D-074B9F2BC1BF[Visual C ++ 2008]再頒布可能パッケージをインストールします。

ステップ4 *-https://sourceforge.net/projects/pywin32/[pywin32]をインストールします。

ステップ5 *-2.7.9より古いPythonバージョンのhttps://pip.pypa.io/en/latest/installing/[pip]をインストールします。

次のコマンドを使用して、pipバージョンを確認できます-

pip --version

ステップ6 *-スクレイピーをインストールするには、次のコマンドを実行します-

pip install Scrapy

アナコンダ

マシンにhttps://docs.continuum.io/anaconda/[anaconda]またはhttps://conda.pydata.org/docs/install/quickl[miniconda]がインストールされている場合は、次のコマンドを実行して、Scrapyをインストールします。コンダ-

conda install -c scrapinghub scrapy

Scrapinghub会社は、Linux、Windows、およびOS Xの公式condaパッケージをサポートしています。

注-pipを使用したインストールに問題がある場合は、上記のコマンドを使用してScrapyをインストールすることをお勧めします。

Ubuntu 9.10以降

Pythonの最新バージョンはUbuntu OSにプリインストールされています。 Scrapinghubが提供するUbuntuパッケージaptgettableを使用します。パッケージを使用するには-

ステップ1 *-Scrapyパッケージの署名に使用されるGPGキーをAPTキーリングにインポートする必要があります-

sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7

ステップ2 *-次に、次のコマンドを使用して/etc/apt/sources.list.d/scrapy.listファイルを作成します-

echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee
/etc/apt/sources.list.d/scrapy.list

ステップ3 *-パッケージリストを更新し、scrapyをインストールします-

sudo apt-get update && sudo apt-get install scrapy

Archlinux

次のコマンドを使用して、AUR ScrapyパッケージからScrapyをインストールできます-

yaourt -S scrapy

Mac OS X

Xcodeコマンドラインツールをインストールするには、次のコマンドを使用します-

xcode-select --install

システムPythonを使用する代わりに、システムの他の部分と競合しない新しい更新バージョンをインストールします。

ステップ1 *-https://brew.sh/[homebrew]をインストールします。

ステップ2 *-システムパッケージの前にhomebrewパッケージを使用するように環境PATH変数を設定します-

echo "export PATH =/usr/local/bin:/usr/local/sbin:$PATH" >> ~/.bashrc

ステップ3 *-変更が完了したことを確認するには、次のコマンドを使用して *.bashrc をリロードします-

source ~/.bashrc

ステップ4 *-次に、次のコマンドを使用してPythonをインストールします-

brew install python

ステップ5 *-次のコマンドを使用してScrapyをインストールします-

pip install Scrapy

Scrapy-environment

目次