Python-text-processing-python-corpora-access

Python-コーパスアクセス

コーパスは、テキストドキュメントの複数のコレクションを提示するグループです。 単一のコレクションはコーパスと呼ばれます。 そのような有名なコーパスの1つは、http：//www.gutenberg.org/でホストされている約25,000の無料の電子書籍を含むGutenberg Corpusです。 以下の例では、コーパスからファイル名が.txtで終わるプレーンテキストであるファイルのみの名前にアクセスします。

from nltk.corpus import gutenberg
fields = gutenberg.fileids()

print(fields)

上記のプログラムを実行すると、次の出力が得られます-

[austen-emma.txt', austen-persuasion.txt', austen-sense.txt', bible-kjv.txt',
blake-poems.txt', bryant-stories.txt', burgess-busterbrown.txt',
carroll-alice.txt', chesterton-ball.txt', chesterton-brown.txt',
chesterton-thursday.txt', edgeworth-parents.txt', melville-moby_dick.txt',
milton-paradise.txt', shakespeare-caesar.txt', shakespeare-hamlet.txt',
shakespeare-macbeth.txt', whitman-leaves.txt']

生テキストへのアクセス

nltkでも使用できるsent_tokenize関数を使用して、これらのファイルから生のテキストにアクセスできます。 以下の例では、ブレイクポエンテキストの最初の2つの段落を取得します。

from nltk.tokenize import sent_tokenize
from nltk.corpus import gutenberg

sample = gutenberg.raw("blake-poems.txt")

token = sent_tokenize(sample)

for para in range(2):
    print(token[para])

上記のプログラムを実行すると、次の出力が得られます-

[Poems by William Blake 1789]


SONGS OF INNOCENCE AND OF EXPERIENCE
and THE BOOK of THEL


 SONGS OF INNOCENCE


 INTRODUCTION

 Piping down the valleys wild,
   Piping songs of pleasant glee,
 On a cloud I saw a child,
   And he laughing said to me:

 "Pipe a song about a Lamb!"
So I piped with merry cheer.