Ubuntu16.04でDockerおよびDockerComposeを使用して継続的インテグレーションテスト環境を構成する方法

序章

継続的インテグレーション（CI）は、開発者が ' コードをできるだけ頻繁に統合し、自動ビルドによって共有リポジトリにマージされる前後にすべてのコミットがテストされるプラクティスを指します。

CIは開発プロセスをスピードアップし、本番環境での重大な問題のリスクを最小限に抑えますが、セットアップは簡単ではありません。 自動ビルドは、ランタイム依存関係のインストールと外部サービスの構成がローカルおよび開発環境とは異なる可能性がある別の環境で実行されます。

Docker は、環境標準化の問題を単純化して、アプリケーションのデプロイも標準化できるようにすることを目的としたコンテナー化プラットフォームです（ Docker の詳細をご覧ください）。 開発者の場合、Dockerを使用すると、ローカルコンテナーでアプリケーションコンポーネントを実行することにより、ローカルマシンで本番環境をシミュレートできます。 これらのコンテナは、アプリケーションや基盤となるOSに関係なく、 DockerComposeを使用して簡単に自動化できます。

このチュートリアルでは、Docker Composeを使用して、CIワークフローの自動化を示します。

Docker化された「Helloworld」タイプのPythonアプリケーションとBashテストスクリプトを作成します。 Pythonアプリケーションを実行するには、2つのコンテナーが必要です。1つはアプリ自体用で、もう1つはアプリの依存関係として必要なストレージ用のRedisコンテナーです。

次に、テストスクリプトが独自のコンテナーでDocker化され、テスト環境全体が docker-compose.test.yml ファイルに移動されるため、すべてのテスト実行が新鮮で統一された状態で実行されていることを確認できます。アプリケーション環境。

このアプローチは、アプリケーションをテストするたびに、依存関係を含め、アプリケーションに対して同一の新しいテスト環境を構築する方法を示しています。

したがって、テスト対象のアプリケーションや基盤となるインフラストラクチャとは関係なく、CIワークフローを自動化します。

前提条件

始める前に、次のものが必要になります。

• sudo権限を持つroot以外のユーザーを持つUbuntu16.04サーバー。 Ubuntu 16.04を使用したサーバーの初期設定では、これを設定する方法について説明しています。
• Docker 、 Ubuntu16.04にDockerをインストールして使用する方法のステップ1と2に従ってインストールされます。
• Docker Compose 、 Ubuntu16.04にDockerComposeをインストールする方法の手順1に従ってインストール

ステップ1—「HelloWorld」Pythonアプリケーションを作成する

このステップでは、このセットアップでテストできるアプリケーションの種類の例として、単純なPythonアプリケーションを作成します。

次のコマンドを実行して、アプリケーションの新しいディレクトリを作成します。

cd ~
mkdir hello_world
cd hello_world

nanoを使用して新しいファイルapp.pyを編集します。

nano app.py

次のコンテンツを追加します。

app.py

from flask import Flask
from redis import Redis




app = Flask(__name__)
redis = Redis(host="redis")




@app.route("/")
def hello():
    visits = redis.incr('counter')
    html = "<h3>Hello World!</h3>" \
           "<b>Visits:</b> {visits}" \
           "<br/>"
    return html.format(visits=visits)




if __name__ == "__main__":
    app.run(host="0.0.0.0", port=80)

完了したら、ファイルを保存して終了します。

app.pyは、Redisデータサービスに接続するFlaskに基づくWebアプリケーションです。 行visits = redis.incr('counter')は訪問数を増やし、この値をRedisに保持します。 最後に、訪問数を含むHello WorldメッセージがHTMLで返されます。

このアプリケーションには、FlaskとRedisの2つの依存関係があり、最初の2行で確認できます。 これらの依存関係は、アプリケーションを実行する前に定義する必要があります。

新しいファイルを開きます。

nano requirements.txt

内容を追加します。

Requirements.txt

Flask
Redis

完了したら、ファイルを保存して終了します。 要件を定義したので、後でdocker-compose.ymlに配置します。これで、次のステップの準備が整いました。

ステップ2—「HelloWorld」アプリケーションをDocker化する

Dockerは、Dockerfileというファイルを使用して、特定のアプリケーションのDockerイメージを構築するために必要な手順を示します。 新しいファイルを編集します。

nano Dockerfile

次の内容を追加します。

Dockerfile

FROM python:2.7


WORKDIR /app


ADD requirements.txt /app/requirements.txt
RUN pip install -r requirements.txt


ADD app.py /app/app.py


EXPOSE 80


CMD ["python", "app.py"]

各行の意味を分析してみましょう。

• FROM python:2.7：「HelloWorld」アプリケーションイメージが公式のpython:2.7Dockerイメージから構築されていることを示します
• WORKDIR /app：Dockerイメージ内の作業ディレクトリを/appに設定します
• ADD requirements.txt /app/requirements.txt：ファイルrequirements.txtをDockerイメージに追加します
• RUN pip install -r requirements.txt：アプリケーションのpip依存関係をインストールします
• ADD app.py /app/app.py：アプリケーションのソースコードをDockerイメージに追加します
• EXPOSE 80：アプリケーションがポート80（標準のパブリックWebポート）で到達できることを示します
• CMD ["python", "app.py"]：アプリケーションを起動するコマンド

ファイルを保存して終了します。 このDockerfileファイルには、「HelloWorld」アプリケーションのメインコンポーネントを構築するために必要なすべての情報が含まれています。

依存関係

次に、例のより洗練された部分に進みます。 このアプリケーションでは、外部サービスとしてRedisが必要です。 これは、従来のLinux環境では毎回同じ方法で設定するのが難しいタイプの依存関係ですが、Docker Composeを使用すると、毎回繰り返し可能な方法で設定できます。

docker-compose.ymlファイルを作成して、DockerComposeの使用を開始しましょう。

新しいファイルを編集します。

nano docker-compose.yml

次の内容を追加します。

docker-compose.yml

web:
  build: .
  dockerfile: Dockerfile
  links:
    - redis
  ports:
    - "80:80"
redis:
  image: redis

このDockerComposeファイルは、「HelloWorld」アプリケーションを2つのDockerコンテナーでローカルに起動する方法を示しています。

webとredisの2つのコンテナーを定義します。

• webは、buildコンテキストの現在のディレクトリを使用し、作成したDockerfileファイルからPythonアプリケーションを構築します。 これは、Pythonアプリケーション専用に作成したローカルDockerイメージです。 redisコンテナIPにアクセスするために、redisコンテナへのリンクを定義します。 また、UbuntuサーバーのパブリックIPを使用してインターネットからポート80にパブリックアクセスできるようにします
• redisは、redisという名前の標準のパブリックDockerイメージから実行されます。

完了したら、ファイルを保存して終了します。

ステップ3—「HelloWorld」アプリケーションをデプロイする

このステップでは、アプリケーションをデプロイし、最終的にインターネット経由でアクセスできるようにします。 アプリケーションを何度も同じ方法でデプロイできるため、デプロイメントワークフローの目的上、これは開発環境、ステージング環境、または実稼働環境のいずれかと見なすことができます。

docker-compose.ymlおよびDockerfileファイルを使用すると、以下を実行してローカル環境の展開を自動化できます。

docker-compose -f ~/hello_world/docker-compose.yml build
docker-compose -f ~/hello_world/docker-compose.yml up -d

最初の行は、Dockerfileファイルからローカルアプリケーションイメージを構築します。 2行目は、docker-compose.ymlファイルで指定されているように、webおよびredisコンテナーをデーモンモード（-d）で実行します。

以下を実行して、アプリケーションコンテナが作成されていることを確認します。

docker ps

これにより、helloworld_web_1およびhelloworld_redis_1という名前の2つの実行中のコンテナーが表示されます。

アプリケーションが起動していることを確認しましょう。 helloworld_web_1コンテナのIPは、次のコマンドを実行して取得できます。

WEB_APP_IP=$(docker inspect --format='{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' helloworld_web_1)
echo $WEB_APP_IP

Webアプリケーションが適切なメッセージを返していることを確認します。

curl http://${WEB_APP_IP}:80

これは次のようなものを返すはずです：

出力

<h3>Hello World!</h3><b>Visits:</b> 2<br/>

訪問数は、このエンドポイントに到達するたびに増加します。 UbuntuサーバーのパブリックIPアドレスにアクセスして、ブラウザーから「HelloWorld」アプリケーションにアクセスすることもできます。

独自のアプリケーションに合わせてカスタマイズする方法

独自のアプリケーションを設定するための鍵は、アプリを独自のDockerコンテナーに配置し、各依存関係を独自のコンテナーから実行することです。 次に、例に示すように、DockerComposeを使用してコンテナ間の関係を定義できます。 Docker Composeについては、このDockerComposeの記事で詳しく説明しています。

複数のコンテナでアプリケーションを実行する方法の別の例については、DockerComposeを使用したWordPressとphpMyAdminの実行に関するこの記事をお読みください。

ステップ4—テストスクリプトを作成する

次に、Pythonアプリケーションのテストスクリプトを作成します。 これは、アプリケーションのHTTP出力をチェックする単純なスクリプトになります。 スクリプトは、継続的インテグレーションデプロイメントプロセスの一部として実行する可能性のあるテストの種類の例です。

新しいファイルを編集します。

nano test.sh

次の内容を追加します。

test.sh

sleep 5
if curl web | grep -q '<b>Visits:</b> '; then
  echo "Tests passed!"
  exit 0
else
  echo "Tests failed!"
  exit 1
fi

test.shは、「HelloWorld」アプリケーションの基本的なWeb接続をテストします。 cURLを使用して、訪問数を取得し、テストに合格したかどうかを報告します。

ステップ5—テスト環境を作成する

アプリケーションをテストするには、テスト環境をデプロイする必要があります。 また、ステップ3で作成したライブアプリケーション環境と同じであることを確認したいと思います。

まず、新しいDockerfileファイルを作成して、テストスクリプトをDocker化する必要があります。 新しいファイルを編集します。

nano Dockerfile.test

次の内容を追加します。

Dockerfile.test

FROM ubuntu:xenial


RUN apt-get update && apt-get install -yq curl && apt-get clean


WORKDIR /app


ADD test.sh /app/test.sh


CMD ["bash", "test.sh"]

Dockerfile.testは、公式のubuntu:xenialイメージを拡張してcurl依存関係をインストールし、tests.shをイメージファイルシステムに追加し、CMDコマンドを示します。 Bashでテストスクリプトを実行します。

テストがDocker化されると、複製可能で不可知論的な方法で実行できます。

次のステップは、テストコンテナを「HelloWorld」アプリケーションにリンクすることです。 ここで、DockerComposeが再び助けになります。 新しいファイルを編集します。

nano docker-compose.test.yml

次の内容を追加します。

docker-compose.test.yml

sut:
  build: .
  dockerfile: Dockerfile.test
  links:
    - web
web:
  build: .
  dockerfile: Dockerfile
  links:
    - redis
redis:
  image: redis

Docker Composeファイルの後半では、前のdocker-compose.ymlファイルと同じ方法で、メインのwebアプリケーションとそのredis依存関係をデプロイします。 これは、webおよびredisコンテナーを指定するファイルの一部です。 唯一の違いは、webコンテナがポート80を公開しなくなったため、テスト中にアプリケーションがパブリックインターネット経由で利用できなくなることです。 したがって、実際のデプロイメントとまったく同じ方法でアプリケーションとその依存関係を構築していることがわかります。

docker-compose.test.ymlファイルは、統合テストの実行を担当するsutコンテナー（テスト対象システムの名前）も定義します。 sutコンテナは、現在のディレクトリをbuildディレクトリとして指定し、Dockerfile.testファイルを指定します。 webコンテナにリンクしているため、アプリケーションコンテナのIPアドレスにtest.shスクリプトからアクセスできます。

独自のアプリケーションに合わせてカスタマイズする方法

docker-compose.test.ymlには、数十の外部サービスと複数のテストコンテナが含まれる場合があることに注意してください。 すべてのコンテナーが基盤となるOSを共有するため、Dockerはこれらすべての依存関係を単一のホストで実行できます。

アプリケーションで実行するテストがさらにある場合は、上記のDockerfile.testファイルのように、それらのテスト用に追加のDockerfileを作成できます。

次に、追加のDockerfileを参照して、docker-compose.test.ymlファイルのsutコンテナーの下に追加のコンテナーを追加できます。

ステップ6—「HelloWorld」アプリケーションをテストする

最後に、Dockerのアイデアをローカル環境からテスト環境に拡張すると、次のコマンドを実行して、Dockerを使用してアプリケーションをテストする自動化された方法が得られます。

docker-compose -f ~/hello_world/docker-compose.test.yml -p ci build

このコマンドは、docker-compose.test.ymlに必要なローカルイメージを構築します。 -fを使用してdocker-compose.test.ymlを指し、-pを使用して特定のプロジェクト名を示していることに注意してください。

次に、以下を実行して、新しいテスト環境を起動します。

docker-compose -f ~/hello_world/docker-compose.test.yml -p ci up -d

OutputCreating ci_redis_1
Creating ci_web_1
Creating ci_sut_1

次のコマンドを実行して、sutコンテナの出力を確認します。

docker logs -f ci_sut_1

出力

  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100    42  100    42    0     0   3902      0 --:--:-- --:--:-- --:--:--  4200
Tests passed!

最後に、sutコンテナの終了コードをチェックして、テストに合格したかどうかを確認します。

docker wait ci_sut_1

出力

0

このコマンドの実行後、テストに合格した場合、$?の値は0になります。 それ以外の場合、アプリケーションテストは失敗しました。

他のCIツールは、コードリポジトリのクローンを作成し、これらのいくつかのコマンドを実行して、実行時の依存関係や外部サービス構成を気にすることなく、アプリケーションの最新ビットでテストに合格しているかどうかを確認できます。

それでおしまい！ 実稼働環境と同じ新しく構築された環境でテストを正常に実行しました。

結論

DockerとDockerComposeのおかげで、アプリケーションの構築（Dockerfile）、ローカル環境のデプロイ（docker-compose.yml）、テストイメージの構築（Dockerfile.test）を自動化できました。 、および任意のアプリケーションの（統合）テスト（docker-compose.test.yml）の実行。

特に、テストにdocker-compose.test.ymlファイルを使用する利点は、テストプロセスが次のとおりであることです。

• Automatable ：ツールがdocker-compose.test.ymlを実行する方法は、テスト対象のアプリケーションに依存しません
• 軽量：数百の外部サービスを単一のホストにデプロイして、複雑な（統合）テスト環境をシミュレートできます
• 不可知論者：CIプロバイダーのロックインを回避し、テストは任意のインフラストラクチャおよびDockerをサポートする任意のOSで実行できます
• Immutable ：ローカルマシンで合格したテストはCIツールで合格します

このチュートリアルでは、単純な「HelloWorld」アプリケーションをテストする方法の例を示します。

次に、独自のアプリケーションファイルを使用し、独自のアプリケーションテストスクリプトをDocker化して、独自のdocker-compose.test.ymlを作成し、新しい不変の環境でアプリケーションをテストします。