Python-HTTPデータダウンロード

ftpまたはFile Transfer Protocolを処理するpythonモジュールを使用して、サーバーからデータをダウンロードできます。データを読み取り、後でローカルシステムに保存することもできます。

これを実現するには、モジュール ftplib をインストールする必要があります。

pip install ftplib

ファイルの取得

*getfile* メソッドを使用して、特定のファイルを取得できます。 このメソッドは、ファイルのコピーをリモートシステムからFTP接続が開始されたローカルシステムに移動します。

import ftplib
import sys

def getFile(ftp, filename):
    try:
        ftp.retrbinary("RETR " + filename ,open(filename, 'wb').write)
    except:
        print "Error"


ftp = ftplib.FTP("ftp.nluug.nl")
ftp.login("anonymous", "ftplib-example-1")

ftp.cwd('/pub/')          change directory to/pub/
getFile(ftp,'README.nluug')

ftp.quit()

上記のプログラムを実行すると、接続が開始されたローカルシステムにファイルREADME.nlugが存在することがわかります。

データを読む

以下の例では、モジュールurllib2を使用して、データの必要な部分を読み取り、それをコピーしてローカルシステムに保存します。

上記のプログラムを実行すると、次の出力が得られます-

import urllib2
response = urllib2.urlopen('http://www.finddevguides.com/python')
html = response.read(200)
print html

上記のプログラムを実行すると、次の出力が得られます-

<!DOCTYPE html>
<!--[if IE 8]><html class="ie ie8"> <![endif]-->
<!--[if IE 9]><html class="ie ie9"> <![endif]-->
<!--[if gt IE 9]><!-->  <html> <!--<![endif]-->
<head>
<!-- Basic -->
<meta charset="ut

Python-network-programming-python-http-data-download

Python-HTTPデータダウンロード

ファイルの取得

データを読む