cdn.debian.or.jp, cdn.debian.netにおける取り組み

いつでも必要なソフトウェアやコンテンツを安価に入手する手段として CDN が広くつかわれている。 Debianはdebの安定入手手段の有無がシステムの信頼性を左右するシステムであり、その特殊性を考慮したCDNシステムが必要となる。今回は cdn.debian.or.jp, cdn.debian.netにおける取り組みを紹介する。

4.1 CDNとは

Content Delivery Network （CDN）はウェブコンテンツ配置および配送方法としてAkamai社によりサービスされ広く知られることになった。当初から一部の人気の高いサーバへのトラフィック集中によるサーバ停止の回避、海外のリッチコンテンツ取得の高速化、トラフィック分散によるネットワークおよびサーバの利用平準化などの理由で広く受け入れられた。

CDNという用語自体はWWWに限ることなく、一般にコンテンツを取得するための配送手段や方法全体を指す場合がある。たとえば、 WinnyやBittorrentなどのコンテンツを取得するために特別に設計されたプロトコルを用いて、 P2Pネットワークを構成するような手法も含まれる。

4.2 DebianにおけるCDNの現状

4.2.1 利用法とユーザから見た動作

cdn.debian.or.jpではDebianでインストール時から広くdebファイルの入手に使われるaptで使えるCDNとして設計し、運用している。そのため、 DebianにおけるCDNの利用法は至極簡単である。 /etc/apt/source.listに記述するAPTリポジトリとして、

deb http://cdn.debian.or.jp/debian/ stable main contrib non-free
deb-src http://cdn.debian.or.jp/debian/ stable main contrib non-free

以上のように指定するだけでユーザは今までとなんら変わることなくaptコマンドを使用できる。

現在、 cdn.debian.or.jp, ftp.jp.debian.org, cdn.debian.netの名で運用している。

4.2.2 構築の方法

cdn             IN      NS      ns.cdn
                IN      NS      plat.debian.or.jp.
                IN      NS      debian.topstudio.co.jp.
                IN      NS      osdn2.debian.or.jp.

DNS Balance はユーザのIPアドレスと、何らかの方法でサーバをランクづけした表を元にユーザが接続すべきサイトを指示します。この表は一定時間毎に読み込み直され、これにより動的な負荷分散が可能です。

3 を実現するための dns_balance の設定は次のようなサーバをランク付けした ruby 形式のファイルである。

$addr_db = {
  "default" => {
    "ns.cdn.araki.net" => [
      [[210,157,158,38], 0],
    ],
    "localhost" => [
      [[127,0,0,1], 0],
    ],
"deb.cdn.araki.net" => [
                [[61,115,118,67], 1000],
                [[133,50,218,117], 10],
                [[202,229,186,27], 20],
                [[133,5,166,3], 10],
                [[130,54,59,159], 10],
                [[210,157,158,38], 9900],
        ], },}

この設定ファイルに基づき、ホストIPアドレスの後ろの数字は優先度であり、 1 （優先度高）から9999 （優先度最低）までの整数で指定する。

4.2.3 cdn.debian.or.jpのシステムと動作

CDNシステムが完全に動作しユーザから使用されるためには、システムが完全なファイルを提供すること、システムが安定して動作すること、そしてCDNを使った場合に高速に動作していることが求められる。

前者については、 debはそのファイルのmd5値、 sha1値とともに配布され、ユーザが使用するaptで確認後に利用されるためCDNを使用した場合でも問題にならない。

後者についてはユーザがapt-get updateを行ったときに接続するSurrogateとapt-get dist-upgradeを行ったときに接続するSurrogateは同一であるとは限らないため、 DNSがSurrogateとして返すサーバが保持するファイルは同一である必要がある。 cdn.debian.or.jpではDebianプロジェクトで一般に行われている方法と同様に、 rsyncプロトコルを用い、 pushミラーを行っている（図4.2）。そのため、 cdn.debian.or.jpのサロゲート内で最上流にあるサーバとミラーが同一であることを2分毎にrsyncミラー終了時に作成されるスタンプファイルを確認して、同一でないサーバはサロゲート候補から一時的に除外している。

ただし、これはミラーの配送ツリーの管理を行う必要があるため、日本国内のミラーに限定している。

先に述べたように、ユーザは CDN を使用する際には DNS を最初に使用するため、 DNS の安定運用がカギとなる。そのため、 cdn.debian.or.jp を管理する DNS サーバはまったく独立に動作するサーバで行っている。

また、サーバの動作を確認は、 5秒以内にHTTPのレスポンスを返さないサーバはサロゲート候補から一時的に除外している。

後述するように、サロゲートの生死確認は2分ごとにdns_balanceの動作に反映される。ローカルDNSにキャッシュされる情報とあわせて最悪でも3分以内に動作していないサーバは排除される。

cdn.debian.or.jpではDNSで問い合わせされるとサロゲートリストとして複数のIPアドレスを返す。このIPアドレスはラウンドロビンで選択しているわけではなく、提供可能なサーバキャパシティやネットワーク速度を考慮し、設定している。

4.2.4 IPアドレスの位置情報を使用したサーバ選択

当初は cdn.debian.or.jp として運用していたものの、その後に global に分散する Debian ミラーに対応させた。

globalにCDNを展開する場合には地理的に近いサーバ群からある程度絞込むのが有効である。現在、 GeoIPなど無料でIP と地理情報のマッピング提供者が現れており、 debianパッケージになっていることもあり、本システムではMaxmindの GeoIPを使用している。

Dns_balanceにはASあるいはネットワークアドレスごとに振り分けるIPアドレスの指定が可能であるが、

以上の理由から、 dns_balanceに接続するIPアドレスの国名、大陸名を逆引きし、その結果をつかって返すAレコードを変更するようにdns_balanceを拡張している。

yaar@loon3:~/playground/cdn$ ls continent/
AF_deb_cdn_araki_net.rb EU_deb_cdn_araki_net.rb OC_deb_cdn_araki_net.rb
AS_deb_cdn_araki_net.rb NA_deb_cdn_araki_net.rb SA_deb_cdn_araki_net.rb

yaar@loon3:~/playground/cdn$ ls country/
FRA_deb_cdn_araki_net.rb JPN_jp_cdn_araki_net.rb
JPN_deb_cdn_araki_net.rb KOR_deb_cdn_araki_net.rb

これらの設定ファイルをつかって、 dns_balanceが実際に読み込む次のような設定ファイルを2分ごとに作成している。サーバの生死確認などはこのタイミングで反映される。

$addr_db = {"default"=>{"localhost"=>[[[127, 0, 0, 1], 0]], "deb.cdn.araki.net"=
>[[[61, 115, 118, 67], 1000], [[61, 206, 119, 174], 20], [[202, 229, 186, 27], 2
0], [[203, 178, 137, 175], 9000], [[210, 157, 158, 38], 9900]], "ns.cdn.araki.ne
t"=>[[[210, 157, 158, 38], 0]], "jp.cdn.araki.net"=>[[[61, 115, 118, 67], 1000],
[[61, 206, 119, 174], 20], [[202, 229, 186, 27], 20], [[203, 178, 137, 175], 90
00], [[210, 157, 158, 38], 9900]]}, "KOR"=>{"deb.cdn.araki.net"=>[[[143, 248, 23
4, 110], 20]]}, "SA"=>{"deb.cdn.araki.net"=>[]}, "EU"=>{"deb.cdn.araki.net"=>[[[
141, 76, 2, 4], 9000]]}, "AF"=>{"deb.cdn.araki.net"=>[]}, "AS"=>{"deb.cdn.araki.
net"=>[[[61, 115, 118, 67], 1000], [[61, 206, 119, 174], 20], [[202, 229, 186, 2
7], 20], [[203, 178, 137, 175], 9000], [[210, 157, 158, 38], 9900]]}, "JPN"=>{"d
eb.cdn.araki.net"=>[[[61, 115, 118, 67], 1000], [[61, 206, 119, 174], 20], [[202
, 229, 186, 27], 50], [[203, 178, 137, 175], 9000], [[210, 157, 158, 38], 9900]]
, "jp.cdn.araki.net"=>[[[61, 115, 118, 67], 1000], [[61, 206, 119, 174], 20], [[
202, 229, 186, 27], 50], [[203, 178, 137, 175], 9000], [[210, 157, 158, 38], 990
0]]}, "NA"=>{"deb.cdn.araki.net"=>[[[204, 152, 191, 39], 9000], [[128, 30, 2, 36
], 9000], [[35, 9, 37, 225], 9000]]}, "OC"=>{"deb.cdn.araki.net"=>[[[150, 203, 1
64, 37], 9000]]}, "FRA"=>{"deb.cdn.araki.net"=>[[[193, 54, 19, 19], 9000], [[194
, 2, 0, 36], 9000]]}}

4.3 使用実績

以下3ヶ月分のplat.debian.or.jpで動作しているDNSへのアクセス実績を示す。

図 4.3:

DNS アクセス種別

図 4.4:

ホスト別アクセス順位とアクセス数

ユニークホスト数は20554であるが、その分布は極端に偏っている。

図 4.5:

DNS クエリ数上位 20 カ国


JPN	808138

USA	87767

CAN	82566

KOR	38596

CHIN	26670

FIN	14558

TWIN	12527

IND	7941

IDN	6463

HKG	5616

RUS	3975

SGP	3656

DEU	2990

GBR	2792

AUS	2635

ESP	2632

THA	2623

MYS	2475

PHL	2359

ITA	2196

図 4.6:

DNS クエリ数上位国 (横軸)-クエリ数 (縦軸)

なお、国が判定できないのは1552件、率にして0.135%であった。

図 4.7:

CDN 振り分け先実績


地域	アクセス数

アジア	570137

アジア (日本と韓国除く)		55539

日本		509367

韓国		5231

ヨーロッパ	16804

ヨーロッパ (フランス除く)		15154

フランス		1650

北米	142207

オセアニア	10766

アフリカ	160

その他	404996

総有効アクセス数	1145070

図 4.8:

地域別振り分け実績

図 4.9:

アジア地域の振り分け実績

図 4.10:

日本での振り分け実績


ホスト名	IP	振り分け数

runner.oyu-net.jp.	61.206.119.174	690596

dwarf.topstudio.co.jp.	202.229.186.27	660091

hanzubin.st.wakwak.ne.jp	61.115.118.67	649512

studenno.kugi.kyoto-u.ac.jp.	130.54.59.159	599550

dennou-q.geo.kyushu-u.ac.jp	133.5.166.3	468730

frost.nemui.org.	218.219.152.77	445589

dennou-h.ep.sci.hokudai.ac.jp.	133.87.45.30	379888

ftp.nara.wide.ad.jp	203.178.137.175	58825

plat.debian.or.jp	210.157.158.38	6095

アジア地域向けのサーバおよび韓国地域向けのサーバは日本向けのサーバ群設定と全く同一のものを設定している。

日本での振り分け実績は、設定した頻度情報をほぼ正確に反映しており、プログラムの動作および、期間中の各サロゲートに大きな障害がなかったことを示している。

4.4 関連研究とディスカッション

加えて、本システムの日本での運用においては、マスターサーバからサロゲートへのファイル同期時に配送ツリーの確認とファイルの一致を確認しており、障害時の排除機能を有するため、単なるファイルのミラーリング以上の安全性は確保されている。

OpenSuse における配送（mirrobrain, http://en.opensuse.org/Build_Service/Redirector ）はsourceforge をはじめ多くのCDNで採用している方法である。クライアントへのサロゲート決定の方法はGeoIPの使用しており、本システムと同等のものである。

ただし、 Debianのaptシステムの制限により、本システムではHTTPリダイレクトではなく、 DNSを使用している。

また、 mirrorbrainではサロゲートへの配送の確認は行っていないものと思われる。

apt の P2P 対応も有力な配布手段である。 apt-p2p （ http://www.camrdale.org/apt-p2p/）により、 apt の P2P 対応が進められている。有力な候補である。ただし、 Kashimir プロトコルをクライアントで直接使うものであり、ネットワーク利用ポリシーとの競合や install 時に利用できない点、取得希望ファイルが入手できない場合に HTTP にフォールバックするため速度に問題があり、今後検証すべき問題も多い。

サロゲートが正しく動作しているのか、その能力に応じたサロゲート使用ができているかどうかは、分散したファイルサーバからのファイル入手において重要な要素である。この組み合わせを考えると、表4.1のように分類される。本システムでは、サーバやサーバとクライアント間のネットワークの実測を行わないこと、ここのサロゲートの運用は独立して行うことでサロゲートへ特別なプログラムを必要としないことで、コストの劇的な削減を可能としている。

表 4.1:


	申告ベースの能力	動的測定・実績ベースの能力

申告ベースのヘルスチェック	Debian ミラーサーバリスト	Debian ミラーの口コミ・トライアンドエラー

動的測定・実績ベースのヘルスチェック	本システム	理想的なシステムだがコスト大商用 CDN など

4.5 課題と将来の展望

ここまで説明してきた、 cdn.debian.or.jpの動作には改善すべき点が多数存在する。改善の展望としていくつか挙げる。

4.5.1 アクセス実績あるいはローカルポリシーに基いたCDN配置

アクセス実績によると、日本、米国、カナダ、韓国、中国、フィンランド、台湾、インド、インドネシア、ホンコン、ロシアと続く。現状では、大陸毎に設定されたサロゲートは存在するものの、日本、韓国、アメリカを除けば各国毎に設定されたサロゲートは存在しない。

このアクセス実績にもとづき、これらの国内のミラーを生かした設定を近い将来行いたい。

そのため、前述したようにmirrorbrainなどのCDNは使用することができない。

HTTP REDIRECTは、いったんHTTP GETなどで接続してきたクライアントに対して、新たにそのリソースが存在するURLを通知するものである。この仕組みをうまくつかったCDNとして、 Coral Content Distribution Network (Coral CDN)がある。 Coral CDNはサロゲート間でP2Pによるファイル配置し、そのインターフェースとして、 HTTPを使用し、しかも使用にはインターネットから取得可能なファイルであれば制限をかけていない。さらに、 Apacheを使った一時配布サーバでは HTTP REDIRECTをつかってCoral CDNに誘導することも推奨されている。ただし、現状で、 Coral CDNを使うために、

deb http://cdn.debian.or.jp.nyud.net:8090/debian/ stable main contrib non-free

を指定することも可能だが、少なくとも日本においてはCoral CDNを担うサロゲートが存在しないこともあって非常に低速である。ただし韓国や中国では広くつかわれており、将来の拡張に使用したい。

本システムでは既存のrsyncによるミラーリング手法には手をつけていない。行ったのはrsyncをつかってタイムスタンプを確認し、サロゲートのヘルスチェックのひとつに使用したのみである。 debianにおけるrsyncの使い方現状のミラーリングに由来する問題は

Debianが潤沢なネットワーク環境と強力なCPUを要するホストでない場合でもミラーリングないしサロゲートからのファイル入手を可能とするFLUTEなどの配送手法が必要になろう。

4.6 おわりに

いつでも必要なソフトウェアやコンテンツを安価に入手する手段としてCDNはこれからも様々な発展を続けると考える。 Debianはdebの安定入手手段の有無がシステムの信頼性を左右するシステムであり、 CDNの広範な活用が今後ますます求められるようになると考える。

本システムの導入により、サロゲート個々の安定性がクライアントに直接影響することはかなり抑えることができるが、より確実なパッケージ入手のために、信頼性が高く安定動作しているサロゲートの増加をDebianプロジェクトでは引き続き求めている。

第 18回関西Debian勉強会 2008年10月
____________________________________________________________________________________________

4 4cdn.debian.or.jp, cdn.debian.netにおける取り組み