Scrapy-stats-collection

スクレイピー-統計コレクション

説明

Stats Collectorは、キー/値の形式で統計を収集するためにScrapyが提供する機能であり、Crawler APIを使用してアクセスされます（CrawlerはすべてのScrapyコアコンポーネントへのアクセスを提供します）。 統計情報コレクターは、スパイダーごとに1つの統計表を提供します。このテーブルでは、スパイダーが開いているときに統計情報コレクターが自動的に開き、スパイダーが閉じているときに統計情報コレクターを閉じます。

一般的な統計コレクターの使用

次のコードは、 stats 属性を使用して統計情報コレクターにアクセスします。

class ExtensionThatAccessStats(object):
   def __init__(self, stats):
      self.stats = stats

   @classmethod
   def from_crawler(cls, crawler):
      return cls(crawler.stats)

次の表は、統計コレクターで使用できるさまざまなオプションを示しています-

Sr.No	Parameters	Description
1	stats.set_value('hostname', socket.gethostname())	It is used to set the stats value.
2	stats.inc_value('customized_count')	It increments the stat value.
3	stats.max_value('max_items_scraped', value)	You can set the stat value, only if greater than previous value.
4	stats.min_value('min_free_memory_percent', value)	You can set the stat value, only if lower than previous value.
5	stats.get_value('customized_count')	It fetches the stat value.
6	stats.get_stats() {'custom_count': 1, 'start_time': datetime.datetime(2009, 7, 14, 21, 47, 28, 977139)}	It fetches all the stats

利用可能な統計情報コレクター

Scrapyは、 STATS_CLASS 設定を使用してアクセスできるさまざまなタイプの統計情報コレクターを提供します。

MemoryStatsCollector

これは、スクレイピングに使用されたすべてのスパイダーの統計情報を保持するデフォルトの統計情報コレクターであり、データはメモリに保存されます。

class scrapy.statscollectors.MemoryStatsCollector

DummyStatsCollector

この統計情報コレクターは非常に効率的で、何もしません。 これは、_STATS_CLASS_設定を使用して設定でき、パフォーマンスを改善するために統計コレクションを無効にするために使用できます。

class scrapy.statscollectors.DummyStatsCollector