Scrapy-other-settings

スクレイピー-その他の設定

次の表は、スクレイピーの他の設定を示しています-

Sr.No	Setting & Description
1	AJAXCRAWL_ENABLED 大規模なクロールを有効にするために使用されます。 デフォルト値：False
2	AUTOTHROTTLE_DEBUG スロットルパラメーターがリアルタイムで調整される方法を確認できるようになり、受信したすべての応答の統計が表示されます。 デフォルト値：False
3	AUTOTHROTTLE_ENABLED AutoThrottle拡張機能を有効にするために使用されます。 デフォルト値：False
4	AUTOTHROTTLE_MAX_DELAY 遅延が大きい場合にダウンロードの最大遅延を設定するために使用されます。 デフォルト値：60.0
5	AUTOTHROTTLE_START_DELAY ダウンロードの初期遅延を設定するために使用されます。 デフォルト値：5.0
6	AUTOTHROTTLE_TARGET_CONCURRENCY Scrapyがリモートサイトに並列送信するためのリクエストの平均数を定義します。 デフォルト値：1.0
7	CLOSESPIDER_ERRORCOUNT スパイダーを閉じる前に受け取るエラーの総数を定義します。 デフォルト値：0
8	CLOSESPIDER_ITEMCOUNT スパイダーを閉じる前のアイテムの総数を定義します。 デフォルト値：0
9	CLOSESPIDER_PAGECOUNT クモが閉じる前にクロールする応答の最大数を定義します。 デフォルト値：0
10	CLOSESPIDER_TIMEOUT クモが閉じる時間（秒）を定義します。 デフォルト値：0
11	COMMANDS_MODULE プロジェクトにカスタムコマンドを追加する場合に使用します。 デフォルト値：
12	COMPRESSION_ENABLED 圧縮ミドルウェアが有効になっていることを示します。 デフォルト値：True
13	COOKIES_DEBUG trueに設定すると、リクエストで送信され、レスポンスで受信されたすべてのCookieがログに記録されます。 デフォルト値：False
14	COOKIES_ENABLED Cookieミドルウェアが有効になっており、Webサーバーに送信されていることを示しています。 デフォルト値：True
15	FILES_EXPIRES ファイルの有効期限の遅延を定義します。 デフォルト値：90日
16	FILES_RESULT_FIELD 処理されたファイルに他のフィールド名を使用する場合に設定されます。
17	FILES_STORE ダウンロードしたファイルを有効な値に設定して保存するために使用されます。
18	FILES_STORE_S3_ACL Amazon S3バケットに保存されているファイルのACLポリシーを変更するために使用されます。 デフォルト値：private
19	FILES_URLS_FIELD ファイルURLに他のフィールド名を使用する場合に設定されます。
20	HTTPCACHE_ALWAYS_STORE この設定を有効にすると、Spiderはページを完全にキャッシュします。 デフォルト値：False
21	HTTPCACHE_DBM_MODULE DBMストレージバックエンドで使用されるデータベースモジュールです。 デフォルト値： 'anydbm'
22	HTTPCACHE_DIR これは、HTTPキャッシュを有効にして保存するために使用されるディレクトリです。 デフォルト値： 'httpcache'
23	HTTPCACHE_ENABLED HTTPキャッシュが有効になっていることを示します。 デフォルト値：False
24	HTTPCACHE_EXPIRATION_SECS HTTPキャッシュの有効期限を設定するために使用されます。 デフォルト値：0
25	HTTPCACHE_GZIP この設定をtrueに設定すると、すべてのキャッシュデータがgzipで圧縮されます。 デフォルト値：False
26	HTTPCACHE_IGNORE_HTTP_CODES HTTP応答をHTTPコードでキャッシュしないように指定します。 デフォルト値：[]
27	HTTPCACHE_IGNORE_MISSING この設定を有効にすると、キャッシュで見つからない場合、リクエストは無視されます。 デフォルト値：False
28	HTTPCACHE_IGNORE_RESPONSE_CACHE_CONTROLS これは、無視されるキャッシュコントロールを含むリストです。 デフォルト値：[]
29	HTTPCACHE_IGNORE_SCHEME HTTP応答はURIスキームでキャッシュされるべきではないと述べています。 デフォルト値：['file']
30	HTTPCACHE_POLICY キャッシュポリシーを実装するクラスを定義します。 デフォルト値： 'scrapy.extensions.httpcache.DummyPolicy'
31	HTTPCACHE_STORAGE キャッシュストレージを実装するクラスです。 デフォルト値： 'scrapy.extensions.httpcache.FilesystemCacheStorage'
32	HTTPERROR_ALLOWED_CODES これは、すべての応答が200以外のステータスコードで渡されるリストです。 デフォルト値：[]
33	HTTPERROR_ALLOW_ALL この設定を有効にすると、ステータスコードに関係なくすべての応答が渡されます。 デフォルト値：False
34	HTTPPROXY_AUTH_ENCODING _HttpProxyMiddleware_でプロキシを認証するために使用されます。 デフォルト値： "latin-1"
35	IMAGES_EXPIRES 画像の有効期限の遅延を定義します。 デフォルト値：90日
36	IMAGES_MIN_HEIGHT 最小サイズを使用して小さすぎる画像をドロップするために使用されます。
37	IMAGES_MIN_WIDTH 最小サイズを使用して小さすぎる画像をドロップするために使用されます。
38	IMAGES_RESULT_FIELD 処理された画像に他のフィールド名を使用する場合に設定されます。
39	IMAGES_STORE ダウンロードされた画像を有効な値に設定して保存するために使用されます。
40	IMAGES_STORE_S3_ACL Amazon S3バケットに保存されているイメージのACLポリシーを変更するために使用されます。 デフォルト値：private
41	IMAGES_THUMBS ダウンロードした画像のサムネイルを作成するように設定されています。
42	IMAGES_URLS_FIELD 画像のURLに他のフィールド名を使用する場合に設定されます。
43	MAIL_FROM 送信者はこの設定を使用してメールを送信します。 デフォルト値： 'scrapy @ localhost'
44	MAIL_HOST これは、電子メールの送信に使用されるSMTPホストです。 デフォルト値： 'localhost'
45	MAIL_PASS これは、SMTPの認証に使用されるパスワードです。 デフォルト値：なし
46	MAIL_PORT これは、電子メールの送信に使用されるSMTPポートです。 デフォルト値：25
47	MAIL_SSL SSL暗号化接続を使用して接続を実装するために使用されます。 デフォルト値：False
48	MAIL_TLS 有効にすると、STARTTLSを使用した接続が強制されます。 デフォルト値：False
49	MAIL_USER SMTPを認証するユーザーを定義します。 デフォルト値：なし
50	METAREFRESH_ENABLED メタリフレッシュミドルウェアが有効になっていることを示します。 デフォルト値：True
51	METAREFRESH_MAXDELAY メタリフレッシュがリダイレクトするための最大遅延です。 デフォルト値：100
52	REDIRECT_ENABLED リダイレクトミドルウェアが有効になっていることを示します。 デフォルト値：True
53	REDIRECT_MAX_TIMES リクエストのリダイレクトの最大回数を定義します。 デフォルト値：20
54	REFERER_ENABLED リファラーミドルウェアが有効になっていることを示します。 デフォルト値：True
55	RETRY_ENABLED 再試行ミドルウェアが有効になっていることを示します。 デフォルト値：True
56	RETRY_HTTP_CODES どのHTTPコードを再試行するかを定義します。 デフォルト値：[500、502、503、504、408]
57	RETRY_TIMES 再試行の最大回数を定義します。 デフォルト値：2
58	TELNETCONSOLE_HOST telnetコンソールがリッスンする必要があるインターフェイスを定義します。 デフォルト値： '127.0.0.1'
59	TELNETCONSOLE_PORT telnetコンソールに使用されるポートを定義します。 デフォルト値：[6023、6073]