Scrapy-telnet-console
スクレイピー-Telnetコンソール
説明
Telnetコンソールは、Scrapyプロセス内で実行されるPythonシェルであり、Scrapy実行プロセスの検査と制御に使用されます。
Telnetコンソールにアクセス
telnetコンソールは、次のコマンドを使用してアクセスできます-
基本的に、telnetコンソールはTCPポートにリストされます。これについては、 TELNETCONSOLE_PORT 設定で説明されています。
変数
次の表に示されているデフォルト変数のいくつかは、ショートカットとして使用されます-
Sr.No | Shortcut & Description |
---|---|
1 |
crawler これは、Scrapy Crawler(scrapy.crawler.Crawler)オブジェクトを指します。 |
2 |
engine これはCrawler.engine属性を指します。 |
3 |
spider これはアクティブなクモを指します。 |
4 |
slot これはエンジンスロットを指します。 |
5 |
extensions これは、Extension Manager(Crawler.extensions)属性を指します。 |
6 |
stats これは、統計コレクター(Crawler.stats)属性を指します。 |
7 |
setting これは、Scrapy設定オブジェクト(Crawler.settings)属性を指します。 |
8 |
est これは、エンジンステータスのレポートを印刷することを意味します。 |
9 |
prefs これは、デバッグ用のメモリを指します。 |
10 |
p これは、https://docs.python.org/3/library/pprintl#pprint.pprint [pprint.pprint]関数へのショートカットを指します。 |
11 |
hpy これはメモリのデバッグを指します。 |
例
以下は、Telnetコンソールを使用したいくつかの例です。
Scrapyエンジンの一時停止、再開、停止
スクレイピーエンジンを一時停止するには、次のコマンドを使用します-
スクレイピーエンジンを再開するには、次のコマンドを使用します-
スクレイピーエンジンを停止するには、次のコマンドを使用します-
エンジンステータスの表示
Telnetコンソールは、次のコードに示すように、* est()*メソッドを使用してScrapyエンジンのステータスを確認します-
Telnetコンソール信号
telnetコンソール信号を使用して、telnetローカル名前空間の変数を追加、更新、または削除できます。 このアクションを実行するには、ハンドラーにtelnet_vars dictを追加する必要があります。
パラメータ-
ここで、dictはtelnet変数を含む辞書です。
Telnet設定
次の表は、Telnetコンソールの動作を制御する設定を示しています-
Sr.No | Settings & Description | Default Value |
---|---|---|
1 |
TELNETCONSOLE_PORT これは、telnetコンソールのポート範囲を指します。 noneに設定されている場合、ポートは動的に割り当てられます。 |
[6023, 6073] |
2 |
TELNETCONSOLE_HOST これは、Telnetコンソールがリッスンするインターフェイスを指します。 |
'127.0.0.1' |