Scrapy-crawling
提供:Dev Guides
スクレイピー-クロール
説明
スパイダーを実行するには、_first_scrapy_ディレクトリ内で次のコマンドを実行します-
ここで、 first は、スパイダーの作成中に指定されたスパイダーの名前です。
クモがクロールすると、次の出力を見ることができます-
出力でわかるように、各URLには、_(referer:None)_というURLがあり、URLが開始URLであり、リファラーがないことを示すログ行があります。 次に、_Booksl_および_Resourcesl_という名前の2つの新しいファイルが_first_scrapy_ディレクトリに作成されます。