11. 標準ライブラリの簡単なツアー—パートII —Pythonドキュメント

11.11。 標準ライブラリの簡単なツアー—パートII

この2番目のツアーでは、プロのプログラミングニーズをサポートするより高度なモジュールについて説明します。 これらのモジュールは、小さなスクリプトではめったに発生しません。

11.1。 出力フォーマット

reprlib モジュールは、 repr（）のバージョンを提供し、大きなコンテナーまたは深くネストされたコンテナーの省略表示用にカスタマイズされています。

>>> import reprlib
>>> reprlib.repr(set('supercalifragilisticexpialidocious'))
"{'a', 'c', 'd', 'e', 'f', 'g', ...}"

pprint モジュールは、インタープリターが読み取り可能な方法で、組み込みオブジェクトとユーザー定義オブジェクトの両方を印刷するためのより高度な制御を提供します。 結果が1行より長い場合、「きれいなプリンター」は改行とインデントを追加して、データ構造をより明確に示します。

>>> import pprint
>>> t = [[[['black', 'cyan'], 'white', ['green', 'red']], [['magenta',
...     'yellow'], 'blue']]]
...
>>> pprint.pprint(t, width=30)
[[[['black', 'cyan'],
   'white',
   ['green', 'red']],
  [['magenta', 'yellow'],
   'blue']]]

textwrap モジュールは、指定された画面幅に合うようにテキストの段落をフォーマットします。

>>> import textwrap
>>> doc = """The wrap() method is just like fill() except that it returns
... a list of strings instead of one big string with newlines to separate
... the wrapped lines."""
...
>>> print(textwrap.fill(doc, width=40))
The wrap() method is just like fill()
except that it returns a list of strings
instead of one big string with newlines
to separate the wrapped lines.

locale モジュールは、カルチャ固有のデータ形式のデータベースにアクセスします。 ロケールのフォーマット関数のグループ化属性は、グループ区切り文字を使用して数値をフォーマットする直接的な方法を提供します。

>>> import locale
>>> locale.setlocale(locale.LC_ALL, 'English_United States.1252')
'English_United States.1252'
>>> conv = locale.localeconv()          # get a mapping of conventions
>>> x = 1234567.8
>>> locale.format("%d", x, grouping=True)
'1,234,567'
>>> locale.format_string("%s%.*f", (conv['currency_symbol'],
...                      conv['frac_digits'], x), grouping=True)
'$1,234,567.80'

11.2。 テンプレート

string モジュールには、エンドユーザーによる編集に適した簡略化された構文を備えた多用途の Template クラスが含まれています。 これにより、ユーザーはアプリケーションを変更せずにアプリケーションをカスタマイズできます。

この形式では、$によって形成されたプレースホルダー名と有効なPython識別子（英数字とアンダースコア）が使用されます。 プレースホルダーを中かっこで囲むと、間にスペースを入れずに、より多くの英数字を続けることができます。 $$と書くと、エスケープされた$が1つ作成されます。

>>> from string import Template
>>> t = Template('${village}folk send $$10 to $cause.')
>>> t.substitute(village='Nottingham', cause='the ditch fund')
'Nottinghamfolk send $10 to the ditch fund.'

substitute（）メソッドは、プレースホルダーが辞書またはキーワード引数で指定されていない場合、 KeyError を発生させます。 メールマージスタイルのアプリケーションの場合、ユーザーが指定したデータが不完全であり、 safe_substitute（）メソッドの方が適切な場合があります。データが欠落している場合、プレースホルダーは変更されません。

>>> t = Template('Return the $item to $owner.')
>>> d = dict(item='unladen swallow')
>>> t.substitute(d)
Traceback (most recent call last):
  ...
KeyError: 'owner'
>>> t.safe_substitute(d)
'Return the unladen swallow to $owner.'

テンプレートサブクラスは、カスタム区切り文字を指定できます。 たとえば、写真ブラウザのバッチ名前変更ユーティリティは、現在の日付、画像シーケンス番号、ファイル形式などのプレースホルダーにパーセント記号を使用することを選択できます。

>>> import time, os.path
>>> photofiles = ['img_1074.jpg', 'img_1076.jpg', 'img_1077.jpg']
>>> class BatchRename(Template):
...     delimiter = '%'
>>> fmt = input('Enter rename style (%d-date %n-seqnum %f-format):  ')
Enter rename style (%d-date %n-seqnum %f-format):  Ashley_%n%f

>>> t = BatchRename(fmt)
>>> date = time.strftime('%d%b%y')
>>> for i, filename in enumerate(photofiles):
...     base, ext = os.path.splitext(filename)
...     newname = t.substitute(d=date, n=i, f=ext)
...     print('{0} --> {1}'.format(filename, newname))

img_1074.jpg --> Ashley_0.jpg
img_1076.jpg --> Ashley_1.jpg
img_1077.jpg --> Ashley_2.jpg

テンプレート作成のもう1つのアプリケーションは、プログラムロジックを複数の出力形式の詳細から分離することです。 これにより、XMLファイル、プレーンテキストレポート、およびHTMLWebレポートの代わりにカスタムテンプレートを使用できます。

11.3。 バイナリデータレコードレイアウトの操作

struct モジュールは、可変長バイナリレコード形式を操作するための pack（）および unpack（）関数を提供します。 次の例は、 zipfile モジュールを使用せずにZIPファイルのヘッダー情報をループする方法を示しています。 パックコード"H"および"I"は、それぞれ2バイトおよび4バイトの符号なし数値を表します。 "<"は、それらが標準サイズであり、リトルエンディアンのバイト順であることを示しています。

import struct

with open('myfile.zip', 'rb') as f:
    data = f.read()

start = 0
for i in range(3):                      # show the first 3 file headers
    start += 14
    fields = struct.unpack('<IIIHH', data[start:start+16])
    crc32, comp_size, uncomp_size, filenamesize, extra_size = fields

    start += 16
    filename = data[start:start+filenamesize]
    start += filenamesize
    extra = data[start:start+extra_size]
    print(filename, hex(crc32), comp_size, uncomp_size)

    start += extra_size + comp_size     # skip to the next header

11.4。 マルチスレッド

スレッド化は、順次依存しないタスクを分離するための手法です。 スレッドを使用すると、他のタスクがバックグラウンドで実行されているときにユーザー入力を受け入れるアプリケーションの応答性を向上させることができます。 関連するユースケースは、別のスレッドでの計算と並行してI / Oを実行することです。

次のコードは、メインプログラムの実行を継続しながら、高レベルの threading モジュールがバックグラウンドでタスクを実行する方法を示しています。

import threading, zipfile

class AsyncZip(threading.Thread):
    def __init__(self, infile, outfile):
        threading.Thread.__init__(self)
        self.infile = infile
        self.outfile = outfile

    def run(self):
        f = zipfile.ZipFile(self.outfile, 'w', zipfile.ZIP_DEFLATED)
        f.write(self.infile)
        f.close()
        print('Finished background zip of:', self.infile)

background = AsyncZip('mydata.txt', 'myarchive.zip')
background.start()
print('The main program continues to run in foreground.')

background.join()    # Wait for the background task to finish
print('Main program waited until background was done.')

マルチスレッドアプリケーションの主な課題は、データやその他のリソースを共有するスレッドを調整することです。 そのために、スレッドモジュールは、ロック、イベント、条件変数、セマフォなど、多数の同期プリミティブを提供します。

これらのツールは強力ですが、小さな設計エラーは再現が難しい問題を引き起こす可能性があります。 したがって、タスク調整の推奨されるアプローチは、リソースへのすべてのアクセスを単一のスレッドに集中させてから、 queue モジュールを使用してそのスレッドに他のスレッドからの要求をフィードすることです。 スレッド間の通信と調整に Queue オブジェクトを使用するアプリケーションは、設計が簡単で、読みやすく、信頼性が高くなります。

11.5。 ロギング

logging モジュールは、フル機能の柔軟なロギングシステムを提供します。 最も単純なログメッセージは、ファイルまたはsys.stderrに送信されます。

import logging
logging.debug('Debugging information')
logging.info('Informational message')
logging.warning('Warning:config file %s not found', 'server.conf')
logging.error('Error occurred')
logging.critical('Critical error -- shutting down')

これにより、次の出力が生成されます。

WARNING:root:Warning:config file server.conf not found
ERROR:root:Error occurred
CRITICAL:root:Critical error -- shutting down

デフォルトでは、情報メッセージとデバッグメッセージは抑制され、出力は標準エラーに送信されます。 その他の出力オプションには、電子メール、データグラム、ソケット、またはHTTPサーバーへのメッセージのルーティングが含まれます。 新しいフィルターは、メッセージの優先度に基づいて、DEBUG、INFO、WARNING、ERROR、およびCRITICALの異なるルーティングを選択できます。

ロギングシステムは、Pythonから直接構成することも、アプリケーションを変更せずにカスタマイズされたロギング用にユーザーが編集可能な構成ファイルからロードすることもできます。

11.6。 弱い参照

Pythonは自動メモリ管理を行います（ほとんどのオブジェクトの参照カウントとガベージコレクションによるサイクルの排除）。 メモリへの最後の参照が削除された直後に、メモリが解放されます。

このアプローチはほとんどのアプリケーションで正常に機能しますが、他の何かによって使用されている間だけオブジェクトを追跡する必要がある場合があります。 残念ながら、それらを追跡するだけで、それらを永続的にする参照が作成されます。 weakref モジュールは、参照を作成せずにオブジェクトを追跡するためのツールを提供します。 オブジェクトが不要になると、weakrefテーブルから自動的に削除され、weakrefオブジェクトに対してコールバックがトリガーされます。 典型的なアプリケーションには、作成に費用がかかるオブジェクトのキャッシュが含まれます。

>>> import weakref, gc
>>> class A:
...     def __init__(self, value):
...         self.value = value
...     def __repr__(self):
...         return str(self.value)
...
>>> a = A(10)                   # create a reference
>>> d = weakref.WeakValueDictionary()
>>> d['primary'] = a            # does not create a reference
>>> d['primary']                # fetch the object if it is still alive
10
>>> del a                       # remove the one reference
>>> gc.collect()                # run garbage collection right away
0
>>> d['primary']                # entry was automatically removed
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
    d['primary']                # entry was automatically removed
  File "C:/python38/lib/weakref.py", line 46, in __getitem__
    o = self.data[key]()
KeyError: 'primary'

11.7。 リストを操作するためのツール

多くのデータ構造のニーズは、組み込みのリストタイプで満たすことができます。 ただし、パフォーマンスのトレードオフが異なる代替実装が必要になる場合があります。

array モジュールは、同種のデータのみを格納し、よりコンパクトに格納するリストのような array（）オブジェクトを提供します。 次の例は、Python intオブジェクトの通常のリストのエントリあたり通常の16バイトではなく、2バイトの符号なし2進数（タイプコード"H"）として格納された数値の配列を示しています。

>>> from array import array
>>> a = array('H', [4000, 10, 700, 22222])
>>> sum(a)
26932
>>> a[1:3]
array('H', [10, 700])

collections モジュールは、 deque（）オブジェクトを提供します。これは、左側からの追加とポップが速く、中央でのルックアップが遅いリストのようなものです。 これらのオブジェクトは、キューと幅優先ツリー検索の実装に適しています。

>>> from collections import deque
>>> d = deque(["task1", "task2", "task3"])
>>> d.append("task4")
>>> print("Handling", d.popleft())
Handling task1

unsearched = deque([starting_node])
def breadth_first_search(unsearched):
    node = unsearched.popleft()
    for m in gen_moves(node):
        if is_goal(m):
            return m
        unsearched.append(m)

代替リストの実装に加えて、ライブラリは、ソートされたリストを操作するための関数を備えた bisect モジュールなどの他のツールも提供します。

>>> import bisect
>>> scores = [(100, 'perl'), (200, 'tcl'), (400, 'lua'), (500, 'python')]
>>> bisect.insort(scores, (300, 'ruby'))
>>> scores
[(100, 'perl'), (200, 'tcl'), (300, 'ruby'), (400, 'lua'), (500, 'python')]

heapq モジュールは、通常のリストに基づいてヒープを実装するための関数を提供します。 最も低い値のエントリは常にゼロの位置に保持されます。 これは、最小の要素に繰り返しアクセスするが、完全なリストソートを実行したくないアプリケーションに役立ちます。

>>> from heapq import heapify, heappop, heappush
>>> data = [1, 3, 5, 7, 9, 2, 4, 6, 8, 0]
>>> heapify(data)                      # rearrange the list into heap order
>>> heappush(data, -5)                 # add a new entry
>>> [heappop(data) for i in range(3)]  # fetch the three smallest entries
[-5, 0, 1]

11.8。 10進浮動小数点演算

decimal モジュールは、10進浮動小数点演算用の Decimal データ型を提供します。 バイナリ浮動小数点の組み込み float 実装と比較して、このクラスは特に

• 正確な小数表現を必要とする金融アプリケーションおよびその他の用途、
• 精度の制御、
• 法的要件または規制要件を満たすための丸めの制御、
• 重要な小数点以下の桁数の追跡、または
• ユーザーが結果が手作業で行われた計算と一致することを期待するアプリケーション。

たとえば、70セントの電話料金に対して5％の税金を計算すると、10進浮動小数点と2進浮動小数点で異なる結果が得られます。 結果を最も近いセントに丸めると、差は大きくなります。

>>> from decimal import *
>>> round(Decimal('0.70') * Decimal('1.05'), 2)
Decimal('0.74')
>>> round(.70 * 1.05, 2)
0.73

Decimal の結果は後続ゼロを維持し、2桁の重要度を持つ被乗数から4桁の重要度を自動的に推測します。 Decimalは、手動で行われるように数学を再現し、2進浮動小数点が10進量を正確に表すことができない場合に発生する可能性のある問題を回避します。

正確な表現により、 Decimal クラスは、バイナリ浮動小数点に適さないモジュロ計算と等式テストを実行できます。

>>> Decimal('1.00') % Decimal('.10')
Decimal('0.00')
>>> 1.00 % 0.10
0.09999999999999995

>>> sum([Decimal('0.1')]*10) == Decimal('1.0')
True
>>> sum([0.1]*10) == 1.0
False

10進数モジュールは、必要なだけの精度で算術演算を提供します。

>>> getcontext().prec = 36
>>> Decimal(1) / Decimal(7)
Decimal('0.142857142857142857142857142857142857')