lxc コンテナを使ってみる

Debian 勉強会に参加されている面々は、そろそろ Xen や KVM 以外に何かないのか、新たなネタを求めている向きが多いかと思います。そこで、最近、 Linux Kernel に新たにマージされた機能を使って実現している、 lxc という仮想化技術について紹介します。

8.1 はじめに

8.1.1 lxc の概要

lxc^*5 は、正式名称を Linux Containers と言い、コンテナ自体が稼働するためのカーネルの機能と、コンテナを管理するためのとユーザツールから構成されます。 lxc で使用している Kernel の機能 (Control Group, 以下 Cgroup と省略) は、 kernel 2.6.29 で完全にマージされ、カーネルにパッチを当ててビルドする必要がなくなってなっています。 kernel 2.6.29 より前のカーネルでは、 kernel 2.6.27 以降であればパッチを当てれば使うことができます。

lxc は GPL2 ライセンスで公開されていて、開発およびメンテナンスは、 Daniel Lezcano 氏が実質一人で行っています。

Debian では、 Squeeze/Sid からパッケージ化されており、一つ前の最新版^*6 がパッケージとなっています。

8.1.2 他のコンテナ型仮想化技術との比較

コンテナ型の仮想化技術というと有名なのは、 Solaris Containers や FreeBSD jail がありますが、 Linux では Linux-VServer, OpenVZ^*7 などがあります。いずれも既に使ったことがある方が多いのではないのでしょうか。

lxc で提供されるサービスは、大きく分類してシステムコンテナと、アプリケーションコンテナの 2 つがあります。前者は、いわゆる OS まるごとの仮想化です。 init から起動して、仮想 OS の空間を提供します。後者は、 chroot によるアプリケーションの分離に近いです。単一アプリケーションを分離するだけなので、とても軽くシンプルなのが特徴です。

lxc は現状、一人で開発・メンテナンスされており、今後プロジェクトがどうなるのか先行き見えないところではあります。現在、メーリングリストを見ている限りでは開発は続いているようです。

8.2 導入してみる

8.2.1 ソースコードを取得する

ユーザスペースのツールのソースコードは、 SourceForge にあります。ソースコードは git で管理されており、最新版は git リポジトリから取得できます。

Debian では前述のとおり、 Squeeze/Sid でパッケージになっている^*8 ため、最新版である必要がなければ、ソースコードは特に必要ありません。

8.2.2 カーネルオプションを有効にする

lxc の機能をフルに活用するには以下のカーネルオプションが有効になっている必要があります。

これらが有効になっているかを確認するには、 lxc のソースツリーに含まれている、 src/lxc/lxc-checkconfig.in というシェルスクリプトを実行すれば、現在起動中のカーネルでどのカーネルオプションが無効になっているかをチェックできます。

また、 Debian パッケージでは、 /usr/bin/lxc-checkconfig としてインストールされています。 Squeeze/Sid で Debian のカーネルパッケージ^*9 を使っている環境で確認すると以下の結果になります。 Cgroup memory controller のみが無効になっているようです。

$ lxc-checkconfig
Kernel config /proc/config.gz not found, looking in other places...
Found kernel config file /boot/config-2.6.30-2-amd64
--- Namespaces ---
Namespaces: enabled
Utsname namespace: enabled
Ipc namespace: enabled
Pid namespace: enabled
User namespace: enabled
Network namespace: enabled
Multiple /dev/pts instances: enabled

--- Control groups ---
Cgroup: enabled
Cgroup namespace: enabled
Cgroup device: enabled
Cgroup sched: enabled
Cgroup cpu account: enabled
Cgroup memory controller: disabled
Cgroup cpuset: enabled

--- Misc ---
Veth pair device: enabled
Macvlan: enabled
File capabilities: enabled

8.2.3 Debian でのインストール

ここから先は、 Squeeze/Sid でパッケージを使うことを前提として話を進めますが、このままでは、 cgroup でのメモリ管理は無効になっていますので、カーネルオプションCONFIG_CGROUP_MEM_RES_CTLRを有効にしてリビルドしてください。それ以外で実際に Debian で lxc を使うために必要なパッケージは何かというと lxc だけです。

これでアプリケーションコンテナを試すことはできます。 README にも載っている手順ですが、次のコマンドを実行すると、即席のコンテナを起動できます。

他のコンソールからコンテナが起動しているか確認してみます。

ちゃんと確認できましたね。今回は、これで以上です、と言いたいところですが、この環境はコンテナを起動させただけでしかなく、はっきり言って役に立ちません。 bash を sudo で起動しているだけで、ホスト OS のファイルシステムにもアクセスできてしまいます。

コンテナだけを起動させて満足、はい、終了とするのであれば良いかもしれませんが、実際に lxc を活用しようと考えているなら次に挙げる他のパッケージをインストールし、さらにコンテナ用のクローズ環境を作る必要があります。

今回は、クローズな Debian 環境を簡単に作るための方法を紹介します。 ^*10

8.2.4 ネットワークの設定

必要なパッケージをインストールしたら、まずはブリッジの設定を行う必要があります。 /etc/network/interfaces で直接ブリッジの設定をすれば良いと思いますが。シェルスクリプトを用意して、それを post-up で実行させれば良いでしょう。

以上のあと、ブリッジの設定がきちんとされているか確認してみると、以下のようになります。

ちなみに “veth0_” の後ろの数字は、コンテナで起動した init プロセスのプロセス ID です。

ホスト OS とコンテナ、コンテナとホスト OS の外部のネットワーク、コンテナ間での通信は、上記の設定だけでなく、 IP フォワードや NAT の設定をする必要があります。例えば、コンテナ起動後、ホスト OS から ssh でログインするのにも、 IP フォワードが必要となります。

IP フォワードを設定するととで、ホスト OS の外部のネットワークへの通信や、コンテナ同士の通信も行えるようにはなります。

^*11

一方、ホスト OS の外部ネットワークからはこのままではアクセスできません。アクセスを許可するには、ホスト OS でポートフォワーディングや、宛先 NAT などを行う必要があります。ポートフォワーディングを行うのであれば、以下のようなルールを設定します。

ここでの設定は、デフォルトポリシーが全て ACCEPT であることを前提にしていますが、実際には当然 DROP にすると思いますので、 FORWARD のルールなども定義する必要があります。 Netfilter のルールと IP フォワーディングの許可はスクリプトにして、 /etc/network/interface で pre-up として設定しておくと良いでしょう。

なお、 FORWARD チェインのデフォルトポリシーが ACCEPT である場合は問題ありませんが、 DROP や REJECT に設定してある場合は、コンテナ同士での通信はできません。 FORWARD チェインでの ACCEPT ルールが必要になります。

8.2.5 システムコンテナの作成

では、システムコンテナのイメージを作成してみます。 lxc のパッケージに含まれる、 /usr/share/doc/lxc/examples/lxc-debian.gz を使って、 Debian のシステムコンテナを作成します。

まず、このファイルをホームディレクトリなどで伸張します。

次に、 cgroup ファイルシステムをマウントします。 /etc/fstab に下記一行を追記します。マウントポイントは任意の場所で構いません。

追記したら、マウントポイントのディレクトリを作成し、マウントします。

それでは、先ほどの lxc-debian スクリプトを使ってコンテナイメージを作成します。このスクリプトでは debootstrap を使ってイメージが作成されますが、ディストリビューションは lenny になっています。前述した通り本環境は Squeeze/Sid ですので、コンテナも Squeeze/Sid の方が良ければ、コンテナイメージを作成する前に予めスクリプトを書き換えておく必要があります。また、パッケージも、デフォルトで apache2 がインストールされたり、一方、 sudo や vi, dig コマンドが無かったりするので、そのままインストールすると不便であったりするので、予めインストールするパッケージの指定を変更しておく必要があります。 lxc-debian スクリプト内の debootstrap コマンドの--includeオプションでパッケージの指定は変更できます。また、 sshd の設定や、ネットワークの設定も予め設定しておくと便利です。以下、変更済みファイルとの diff の結果を掲載しておきます。

$ diff -u  a/lxc-debian b/lxc-debian
--- a/lxc-debian 2009-11-30 21:22:59.000000000 +0900
+++ b/lxc-debian 2009-10-30 17:58:20.000000000 +0900
@@ -8,8 +8,8 @@
MNTFILE=
TMPMNTFILE=
UTSNAME=
-IPV4="172.20.0.21"
-GATEWAY="172.20.0.1"
+IPV4="192.168.0.101"
+GATEWAY="192.168.0.1"
MTU="1500"

# These paths are within the container so do not need to obey configure prefixes
@@ -99,14 +99,14 @@
SyslogFacility AUTH
LogLevel INFO
LoginGraceTime 120
-PermitRootLogin yes
+PermitRootLogin no
StrictModes yes
RSAAuthentication yes
PubkeyAuthentication yes
IgnoreRhosts yes
RhostsRSAAuthentication no
HostbasedAuthentication no
-PermitEmptyPasswords yes
+PermitEmptyPasswords no
ChallengeResponseAuthentication no
EOF
}
@@ -259,8 +259,8 @@
        # download a mini debian into a cache
echo "Downloading debian minimal ..."
debootstrap --verbose --variant=minbase --arch=$ARCH \
-     --include ifupdown,locales,libui-dialog-perl,dialog,apache2,netbase,net-tools,iproute,openssh-server \
-     lenny $CACHE/partial-$ARCH http://ftp.debian.org/debian
+     --include ifupdown,locales,libui-dialog-perl,dialog,sudo,vim-tiny,dnsutils,netbase,net-tools,iproute,openssh-server \
+     sid $CACHE/partial-$ARCH http://cdn.debian.or.jp/debian

RESULT=$?
if [ "$RESULT" != "0" ]; then

それでは、コンテナを作成します。コンテナを作成する場所は任意の場所にできます。通常、 lxc-debian スクリプトを実行を実行したディレクトリの下に debian ディレクトリを自動的に作成し、その下にコンテナイメージである rootfs が作成されます。配置したいディレクトリが無ければ作成し、そのディレクトリへ移動し、 sudo lxc-debian createを実行します。

$ sudo mkdir /var/cache/lxc
$ cd /var/cache/lxc
$ sudo bash /home/kohei/lxc-debian create
What is the name for the container ? [debian] hoge                 <- コンテナの名前
What hostname do you wish for this container ? [hoge]              <- コンテナのホスト名
What IP address do you wish for this container ? [192.168.0.101]   <- コンテナの IP アドレス
What is the gateway IP address ? [192.168.0.1]                     <- コンテナから見たデフォルトゲートウェイのアドレス
What is the MTU size ? [1500]
Specify the location of the rootfs [./rootfs.hoge]
Specify the location for an extra fstab file [(none)]
(snip)
Choose your architecture
1) amd64
2) i386
#? 1                                                               <- Core 2 Duo のマシンなのでアーキテクチャは amd64 を選択。
Architecture amd64 selected
Checking cache download ...Found.
Copying rootfs ...Done.
(snip)
update-rc.d: using dependency based boot sequencing
Done.

You can run your container with the ’lxc-start -n hoge’

これで、 /var/cache/lxc/debian/rootfs.hoge という名前でコンテナイメージのディレクトリが作成され、ここに、 debootstrap による Debian イメージのコピーが作成されます。初めて lxc-debian create を実行すると、 debootstrap でダウンロードされるキャッシュイメージが、 /var/cache/lxc/debian/rootfs-architecture として作成されます。 ^*12

コンテナ自体のメタ情報は、 /var/lib/lxc ディレクトリのコンテナ名のディレクトリ以下にあります。ツリー表示すると以下のようになっています。

8.2.6 システムコンテナの起動

システムコンテナの起動の前に、やることがあります。コンテナイメージに、ログイン可能なユーザアカウントを作成することと、 /etc/hosts を書き換えることです。前者は、コンテナ作成後にそのまま起動させたのでは、ログインすることができません。ホスト OS 側と同じユーザアカウントで問題なければ、 /var/cache/lxc/debian/rootfs.hoge/etc/ディレクトリの下の、 passwd, shadow, group をホストのそれで上書きしておくと良いでしょう^*13 。後者はコンテナ自身の名前解決の設定が目的です。現状では、コンテナの/etc/hosts は、一律、

となっており、上記の 2 行目が、 /etc/hostname と異なるため、ユーザアカウントを作っても、ログイン時に名前解決で時間が掛かってしまいます。ですので、予め、ホスト OS のホスト名になっている部分をコンテナのホスト名に書き換えておく必要があるわけです。

^*14

上記の設定を終えたら、システムコンテナを起動します。システムコンテナの起動は、 lxc-start コマンドを使います。一つの環境で複数のコンテナを起動できるので、コンテナ名の指定が必ず必要です。コンテナ名の指定には、オプション-n を使います。

このまま起動させると、現在のシェルでそのままコンテナのコンソールが表示されます。ログインするにはそのままコンソールログインすれば良いでしょう。バックグラウンドで起動させるには、 -d オプションをつけます。

KVM や Xen などのようにカーネルから起動させる訳ではなく、 init プロセスから起動させるので、起動完了までに要する時間はわずかです。

8.3 lxc の仕組みを見てみる

8.3.1 コンテナのライフサイクル

Linux コンテナのライフサイクルは他の仮想化技術と大きく異なるところはなく、次の図の様になります。

この図での状態を遷移させるためのコマンド、つまりコンテナを管理するためのコマンドは以下の通りです。


status	コマンド	実行後の状態	備考


コンテナの起動	lxc-start	STARTING, RUNNING	システムコンテナ
	lxc-execute		アプリケーションコンテナ

コンテナの一時停止	lxc-freeze	FROZEN

コンテナの再開	lxc-unfreeze	RUNNING

コンテナの停止	lxc-stop	STOPPING, STOPPED

コンテナの再起動	lxc-restart	STOPPING, STOPPED
		STARTING, RUNNING

コンテナの作成	lxc-create	STOPPED	lxc-debian は内部で lxc-create を実行。
			lxc-fedora, lxc-sshd なども同様。

コンテナの破棄	lxc-destroy

8.3.2 リソースを制御する

lxc では、コンテナのリソースを制御するために、 cgroup というカーネルの機能を使っています。 cgroup とは、 Control group の略です。 Linux Kernel は通常プロセス単位でのリソース制御を行っていました。 cgroup を使うと、同じ cgroup に所属しているプロセス間でのリソースの共有ができます。 lxc では、 lxc-cgroup コマンドを用い、コンテナのリソースの設定を表示したり、値をセットすることができます。

設定を変更する。
cgroup の変数を表示する場合は、 “lxc-cgroup -n コンテナ名変数名” で、変数の値を変更するには、 “sudo lxc-cgroup -n コンテナ名変数名設定する値” とします。

例えば、 CPU リソースの割り当てには、 cpu.shares というパラメータを用いますが、あるコンテナに割り当てられている比率を算出するには、任意のコンテナの cpu.shares / 各コンテナの cpu.share の総和を計算する必要があります。具体的には、現在の各コンテナの cpu リソースの割り当て設定を確認すると、

総和は 7168 で、各コンテナは、 couchdb は約 28.6%、他のコンテナは約 14.3% ごとの比率で CPU リソースをシェアするということ分かります。

コンテナ全体のリソースは？
上記の通り、 lxc-cgroup コマンドは、コンテナを明示的に指定する必要があるので、 cgroup 管理下全体での使用率などを把握するには不便です。 cgroup で制御されるリソースは 8.2.5節でマウントした、 cgroup ファイルシステムからアクセスすることもできます。今回はマウントポイントを/var/local/cgroup にしているのでこのディレクトリの下を見てみると以下の様になっています。

^*15

$ cd /var/local/cgroup
$ ls -F
couchdb/               cpuset.memory_pressure           git/
cpu.shares             cpuset.memory_pressure_enabled   hoge/
cpuacct.stat           cpuset.memory_spread_page        net_cls.classid
cpuacct.usage          cpuset.memory_spread_slab        notify_on_release
cpuacct.usage_percpu   cpuset.mems                      octave/
cpuset.cpu_exclusive   cpuset.sched_load_balance        release_agent
cpuset.cpus            cpuset.sched_relax_domain_level  tasks
cpuset.mem_exclusive   devices.allow                    w3m/
cpuset.mem_hardwall    devices.deny                     web/
cpuset.memory_migrate  devices.list

/var/local/cgroup ディレクトリ以下にある、 “xxx.yyyy” の形式をとっているのが、 cgroup で管理するリソース項目で、このディレクトリ直下はシステム全体のリソースです。一方、 hoge/などのディレクトリがありますが、これは各コンテナに割り当てられているリソース項目です。ですので、このディレクトリを使って、 lxc 全体と各コンテナのリソースの管理を行うことができます。

8.4 まとめ

Linux Kernel の標準機能だけを使ったコンテナである、 Linux Containers について説明しました。まだまだ機能的には不十分なところもあり、開発体制も不安なところはありますが、特別なカーネルパッチを適用せずに試せる点では非常に気軽に使えるのではないかと思います。

また、 lxc は libvirt のサポート対象にもなっています。本資料を作成前に libvirt で扱えるか検証してみたところ、定義ファイルを作るところまではできたものの、 virsh でコネクトするとうまくリソースにアクセスできないといった問題もありますが、やることが多いのでハックするには良いネタになるのではないでしょうか。

8.5 参考文献

Debian 勉強会資料

2009 年12 月12 日初版第1 刷発行
東京エリア Debian 勉強会（編集・印刷・発行）
__________________________

8 lxc コンテナを使ってみる