Scrapy-scraped-data

スクレイピー-スクレイピングされたデータ

説明

スクレイピングされたデータを保存する最良の方法は、フィードエクスポートを使用することです。これにより、複数のシリアル化形式を使用してデータが適切に保存されます。 JSON、JSON行、CSV、XMLは、シリアル化形式で容易にサポートされる形式です。 データは、次のコマンドで保存することができます-

scrapy crawl dmoz -o data.json

このコマンドは、JSONのスクレイピングデータを含む data.json ファイルを作成します。 この手法は、少量のデータに適しています。 大量のデータを処理する必要がある場合は、アイテムパイプラインを使用できます。 data.jsonファイルと同様に、プロジェクトが tutorial/pipelines.py で作成されると、予約ファイルがセットアップされます。