きりんさん日記

炊飯器比較：炊飯一回の消費電力量(2011冬)

2011-12-27T20:48:00.001+09:00

10年つかった炊飯器を買い換えようかなと思ったので、炊飯一回の消費電力量(Wh)を並べてみました。5.5合炊きで、3合を炊いた場合(※1)を、メーカサイトの情報を参考に比較。2011年12月に。

結局、IHで140Whくらいならいいかなあ。

メーカーによって、エコな炊飯モードとかで、消費電力量が複数ある場合もあるので、小と大の2列にしました。出荷時はエコモード設定だとか、サイトにはエコモードの消費電力量しか書いてないとか、いろいろあるけど、少ないほうで比較すればいいかなあ、と。

あ、うちは昔から保温はしないので、保温時性能は無視、年間消費電力(=きっと炊飯と保温や待機とかをまぜこぜにしてあるんだろうと思うけど)ってのも無視。

（他に選ぶポイントは、メンテナンスしやすい（掃除がしやすい＝パーツが少なく形状がシンプル）、丈夫なこととか。それらは、別途調べることにします。）

メーカー	型番	消費電力量(小)	消費電力量(大)	特徴、うんちく、キャッチコピー
日立	RZ-W1000K	139.7	-	圧力＆スチームIH(蒸気カット) 大火力打込み鉄釜厚さ3mm
日立	RZ-MV100K	145.3	-	圧力＆スチームIH(蒸気カット) 大火力打込み鉄釜厚さ3mm
日立	RZ-MX100J	140.1	-	圧力＆スチームIH(蒸気カット) 大火力黒厚鉄釜　厚さ2.3mm
日立	RZ-MG10J	140.5	-	圧力＆スチームIH(蒸気セーブタイプ) 大火力黒厚鉄釜　厚さ2.3mm
日立	RZ-MC10J	172.7	-	IH 大火力黒厚鉄釜（取っ手付き）厚さ2.3mm
日立	RZ-JP10J	159.1	-	IH 鉄入り釜（取っ手付き）厚さ1.5mm
象印	NP-SS10	140	243	圧力IH 南部鉄器極め羽釜
象印	NP-SB10	140	258	圧力IH 極め羽釜
象印	NP-NU10	134	219	圧力IH 羽釜リングつきプラチナ厚釜(2.2mm)
象印	NP-NC10	137	207	真空圧力IH プラチナ真空釜(1.7mm)
象印	NP-NH10	133	212	真空圧力IH 真空かまど釜(1.7mm)
象印	NP-HV10	187	-	真空圧力IH 真空かまど釜(1.7mm)
象印	NP-HP10	138	208	圧力IH 黒まる厚釜(1.7mm)
象印	NP-VB10	142	199	IH 黒まる厚釜(1.7mm)
象印	NP-VE10	183	-	IH 黒まる厚釜(1.7mm)
象印	NS-TC10	165	-	- 黒厚釜(1.4mm)
象印	NS-WB10	159	-	- 黒厚釜(1.4mm)
Panasonic	SR-SX101	176	-	スチーム6段IH 遠赤大火力竈釜2.5mm
Panasonic	SR-SA101	166	-	スチーム5段IH 遠赤大火力竈釜2.4mm
Panasonic	SR-SB101	168	-	スチーム5段IH 大火力竈釜2.4mm
Panasonic	SR-HX101	141	-	5段IH 大火力竈釜2.4mm
Panasonic	SR-HB101	141	-	4段IH 大火力竈釜2.4mm
Panasonic	SR-HAC10	163	-	4段IH 大火力銅釜2.3mm
Panasonic	SR-HC101	140	-	2段IH ダイアモンド銅釜1.7mm
Panasonic	SR-HD101	140	-	2段IH 蓄熱ダイアモンド釜1.7mm
Panasonic	SR-PX101	163	-	圧力IH 純銅仕込み5層厚釜3.5mm
Panasonic	SR-PA101	163	-	圧力IH 銅コート5層厚釜3.5mm
Panasonic	SR-PB101	157	-	圧力IH 銅コート厚釜2.5mm
三菱	XWB10J	152.3	175.5	蒸気レスIH 本炭釜
三菱	XSB10J	149.2	172.5	蒸気レスIH(超音波) 炭コート5層(3.5mm)(炭炊釜)
三菱	VW102	180.3	-	IH 本炭釜(7.5mm)
三菱	VX102	177.2	-	IH 炭コート5層(3.5mm)
三菱	VV102	170.1	-	IH 炭コート5層(2.5mm)
三菱	VE102	163.8	-	IH 炭コート2層(1.8mm)
三菱	VX101	157.4	179.2	IH
東芝	RC-10VGE	192	-	真空圧力IH(ダブル真空ひたし) 鍛造かまど銀釜(7mm)
東芝	RC-10VXE	186	-	真空圧力IH(真空ひたし) 鍛造かまど銀釜(5mm)
東芝	RC-10VSE	185	-	真空圧力IH(真空ひたし) 鍛造かまど銀釜(5mm)
東芝	RC-10VRE	180	-	真空IH(真空ひたし) 鍛造かまど銅コート釜(5mm)
東芝	RC-10ZE	172	-	IH ダイヤモンド銅コート釜(2mm)
東芝	RC-10FE	172	-	IH ダイヤモンド銅コート釜(2mm)
東芝	RC-10MSD	182	-	- ダイヤモンド銅コート釜(4mm)
東芝	RC-10MFD	179	-	- ダイヤモンド銅コート釜(2.2mm)
東芝	RC-10RMD	182	-	- ダイヤモンド銅コート釜(4mm)
タイガー	JKN-A100	156*	-	土鍋IH+3段ヒーター+ふた全面ヒーター+熱風循環システム
タイガー	JKN-B100	156	-	土鍋IH+3段ヒーター+ふたヒーター
タイガー	JKP-A100	178	-	135度剛火IH+側面ヒーター+ふたヒーター
タイガー	JKP-B100	178	-	135度剛火IH+側面ヒーター+ふたヒーター
タイガー	JKK-H100	167	-	130度剛火IH+側面ヒーター+ふたヒーター
タイガー	JKJ-H100	167	-	IH/VFインバーター（剛火IH）
タイガー	JKH-T100	174	-	IH/VFインバーター（剛火IH）
タイガー	JKH-U100	174	-	IH/VFインバーター（剛火IH）
タイガー	JKW-A100	181	-	IH/VFインバーター（剛火IH）
タイガー	JBG-B100	140	-	炊飯ヒーター+側面ヒーター+ふたヒーター

* タイガーのJKN-A100のはエコモード（出荷時設定）

※1 炊飯一回の消費電力量(Wh)の測定について
表記はメーカーによってまちまちですが、最大炊飯容量1L(5.5合)なら23℃で3合(450g)炊いた場合のようです。

表記のまちまちとは、
日立: 0.54L（3合）炊飯時。初期の室温・水温共に23℃の場合。室温、水温等によって異なります。
三菱: 1回あたりの炊飯（白米）における消費電力量。省エネ法特定機器「電気ジャー炊飯器」の測定方法による。NJ-XWB10J、XSB10J、VX101は3合炊飯時
東芝: 省エネ法・特定機器「ジャー炊飯器」測定方法による数値です。
象印: 3合炊飯時省エネ特定機器「電気ジャー炊飯器」の測定方法による。
Panasonic: 省エネ法・特定機器「電気ジャー炊飯器」の測定方法による。
タイガー: 表記が見当たらない...うーん、いまいち。

ここで、省エネ法の測定方法は「最大炊飯容量0.99L 以上1.44L 未満なら、炊飯精米質量450gで測定、23℃」らしい。(※2)
ただし、合とgの関係はあいまい(1合＝約150ｇらしい)。

※2 省エネ法の測定方法
1a. 省エネ法関係情報
http://www.eccj.or.jp/law06/index.html
29)     特定機器の性能の向上に関する製造事業者等の判断の基準等
(19)     改正平成18年03月29日ジャー炊飯器
ジャー炊飯器の性能の向上に関する製造事業者等の判断の基準等
   http://www.eccj.or.jp/law06/machine/ricecooker.html
2a. 総合資源エネルギー調査会省エネルギー基準部会電気炊飯器判断基準小委員会最終取りまとめ
http://www.eccj.or.jp/toprunner/cooker/cooker.pdf (http://www.eccj.or.jp/toprunner/)
この中に、合とLの関係は「0.54L（3 合）、0.63L（3.5 合）、0.99L（5.5 合）」

VMWare ESX5の自動インストール

2011-10-27T19:16:00.000+09:00

VMWare ESX5を、一度に、たくさんのサーバーに、入れることがちょいちょいあります。いや、ないかも。そのときに必要なインストール用のサーバーのメモ。(2011-9に試した方法なので、ちょっと古いかも）

このインストール用サーバーがあると、
空のサーバー機に、簡単に(CDメディアとか無しで)、VMWare ESX5をインストールすることが出来るようになります。(PXEブートして、ネットワーク上においたESX5インストールセットから、ESX5をインストルします。MACアドレスに対応づけた設定ファイルを置くことで、サーバー毎の設定を自動設定することもできます。)

この記事は、今のところちょっと手抜きで、こっちのCentOS6用の記事をベースにしてます。記事は、手抜き中。

インストール用サーバーは、1つのLinuxサーバーに、
・VMWare ESXのインストーラー一式を置く(tftp)
・PXEブート用のサーバー(dhcp, tftp)を置く
・必要ならば、インストール対象サーバー毎(MACアドレスで識別)の設定をファイル(kickstartファイル)で置く(http)
と、設定しておきます。

インストール対象のサーバーは、インストール用サーバーと同一ネットワークにつなげて、ブートして放っておくとESX5が動いていることになります。

1. VMWare ESX5のローカルリポジトリ

/tftpboot/esxi50/に、VMware-VMvisor-Installer-5.0.0-nnnnnn.x86_64.isoの中身をまるっとコピーしておきます。

手順はざっと、VMware-VMvisor-Installer-5.0.0-nnnnnn.x86_64.isoを、/tmp/においたとして、

> cd /tftpboot/
> mkdir esxi50
> mount -o loop /tmp/VMware-VMvisor-Installer-5.0.0-nnnnnn.x86_64.iso /mnt/
> rsync -a /mnt/ esxi50/

2. PXEブートサーバー

これと同じように、dhcpとtftpとhttpサーバーを作る

dhcpの設定は、どれそれ

httpサーバーの設定は、どれそれ

/tftpboot/に、PXEブート用の設定をつくる

> ls -F /tftpboot/
esxi50/
pxelinux.0
pxelinux.cfg/

ここで、pxelinux.0は、これといっしょ。

2-1. PXEブートの最初の設定ファイル

こんなファイルを用意

> cat pxelinux.cfg/default
default esxi50

label esxi50
kernel /esxi50/mboot.c32
append -c /esxi50/boot.cfg

2-2. 次のESXインストーラーブート用の設定ファイル

最初からあるesxi50/boot.cfgから、設定ファイル内のフルパス部分を変更
コピーしておいて、boot.cfgを、viなら「:%s#/##g」

結局こんなファイルを用意
> cat esxi50/boot.cfg
bootstate=0
title=Loading ESXi installer
prefix=/esxi50/
kernel=tboot.b00
#kernelopt=runweasel
modules=b.b00 --- useropts.gz --- k.b00 --- a.b00 --- ata-pata.v00 --- ata-pata.v01 --- ata-pata.v02 --- ata-pata.v03 --- ata-pata.v04 --- ata-pata.v05 --- ata-pata.v06 --- ata-pata.v07 --- block-cc.v00 --- ehci-ehc.v00 --- s.v00 --- weaselin.i00 --- ima-qla4.v00 --- ipmi-ipm.v00 --- ipmi-ipm.v01 --- ipmi-ipm.v02 --- misc-cni.v00 --- misc-dri.v00 --- net-be2n.v00 --- net-bnx2.v00 --- net-bnx2.v01 --- net-cnic.v00 --- net-e100.v00 --- net-e100.v01 --- net-enic.v00 --- net-forc.v00 --- net-igb.v00 --- net-ixgb.v00 --- net-nx-n.v00 --- net-r816.v00 --- net-r816.v01 --- net-s2io.v00 --- net-sky2.v00 --- net-tg3.v00 --- ohci-usb.v00 --- sata-ahc.v00 --- sata-ata.v00 --- sata-sat.v00 --- sata-sat.v01 --- sata-sat.v02 --- sata-sat.v03 --- scsi-aac.v00 --- scsi-adp.v00 --- scsi-aic.v00 --- scsi-bnx.v00 --- scsi-fni.v00 --- scsi-hps.v00 --- scsi-ips.v00 --- scsi-lpf.v00 --- scsi-meg.v00 --- scsi-meg.v01 --- scsi-meg.v02 --- scsi-mpt.v00 --- scsi-mpt.v01 --- scsi-mpt.v02 --- scsi-qla.v00 --- scsi-qla.v01 --- uhci-usb.v00 --- tools.t00 --- imgdb.tgz --- imgpayld.tgz
build=
updated=0

2-3. (必要ならば)インストール対象サーバ毎の設定ファイル

このファイルが無ければ、デフォルトでESXが入るだけです。あとで、手動で設定変更すればいいかと。

ここでは、インストール対象サーバーのMACアドレスに対応した設定ファイル(IPアドレスその他)を用意しておきます。

例えば、こんなファイルを用意し、httpで、見えるようにおいておきます。（ここでは、例えば、http://10.1.1.100/ksesx5-server001.cfgで見えるように置いておきます。）

> cat kickstart-server001.cfg
accepteula
install --firstdisk --overwritevmfs

rootpw password

reboot
network --bootproto=static --ip=10.1.1.1 --gateway=10.1.1.254 --nameserver=10.1.1.254 --netmask=25
5.255.255.0 --hostname=server001.saburi380.com --addvmportgroup=1

%firstboot --interpreter=busybox

# enable & start remote ESXi Shell (SSH)
vim-cmd hostsvc/enable_ssh
vim-cmd hostsvc/start_ssh

# enable & start ESXi Shell (TSM)
vim-cmd hostsvc/enable_esx_shell
vim-cmd hostsvc/start_esx_shell

# enable password login (SSH)
sed -i "s/PasswordAuthentication no/PasswordAuthentication yes/g" /etc/ssh/sshd_config

ただし、

・rootpw行のパスワードは、書き換えましょう。そのまんま書くのが嫌な人は、「rootpw --iscrypted ごにょごにょ」と書きます。ごにょごにょの求め方は、例えばパスワードが「naisyo」の人は、「openssl passwd -1 naisyo」とします。

・network行は、好きなように書き換えます。
・%firstboot行以降は、ESXサーバーへのssh接続を可能にしちゃってます。嫌な人は消します。

それから、2-1のファイルの代わりに、「pxelinux.cfg/MACアドレス」の名前のファイルを作って、そこにkickstartファイルを読み込む設定を追加します。

> cat pxelinux.cfg/MACアドレス
default esxi50

label esxi50
kernel /esxi50/mboot.c32
append -c /esxi50/boot.cfg ks=http://10.1.1.100/ksesx5-server001.cfg

参考サイト
http://www.vcritical.com/2011/07/vmware-esxi-5-interactive-pxe-installation-improvements/
http://music.roderickderks.nl/kb/technical/321-esxi5-pxe-boot-setup-and-kscfg

--
以上

Web Application Components and Interfaces

2011-08-16T20:43:00.008+09:00

ここのところ、xSGIもの(WSGI,Rack,JSGI,PSGI,...)を確認中で、ついでに、Webアプリを構成するものとインタフェースを絵(言語ねたを別にした絵)にしてみようと思ってみたけど、難しいなあ。とりあず思いついたやつの、とりあえず0.21版。ちまちま書き変えようかなあ、と。

--
以上

PHP版WSGIを簡単に試してみる(AppServer)

2011-08-15T23:14:00.006+09:00

最近、xSGIもの(WSGI,Rack,JSGI,PSGI,...)を確認中で、PHP版WSGIを簡単に試してみるメモです。

ubuntu11で、AppServerを使います。Kelpieというのもあるらしいけど。

・php, pearの環境を準備する。

apt-get install php-pear

・AppServerを準備する。

pear channel-discover pear.symfony-project.com

pear channel-discover pear.indeyets.pp.ru

pear install indeyets/AppServer

・自前のアプリケーションHelloWorldApp.class.phpを準備する。

<?php



class HelloWorldApp{

    public function __invoke($env) {

        return array(200, array('Content-type', 'text/plain'), 'Hello world');

    }

}

bodyの戻り値がただの文字列なのが、AppServerの、ちょっと変わってるところ。

・設定ファイルaip.yamlを準備する。

apps:

  -

    app: &HelloWorldApp

      class: HelloWorldApp

      file: ./HelloWorldApp.class.php

      middlewares: []



servers:

  -

    protocol: HTTP

    socket: 'tcp://0.0.0.0:8090'

    min-children: 5

    max-children: 10

    app: *HelloWorldApp

・実行する。

aip app aip.yaml

・ブラウザから、「http://ご自分のサーバー:8090/」としてみる(ポート番号は設定ファイルのもの)と、「Hello World」と表示される。

--
以上

Rack(ruby版WSGI)を簡単に試してみる(mod_passenger)

2011-08-15T22:54:00.007+09:00

最近、xSGIもの(WSGI,Rack,JSGI,PSGI,...)を確認中で、Rack(ruby版WSGI)を簡単に試してみるメモです。

(A) Apache + mod_passenger(mod_rack)で試す。

Apacheで、/に来たリクエストを、自前のrubyスクリプトに任せる設定。UbuntuでApacheとmod_passenger(mod_rack)を使います。

・ubunru 11で、apache2やmod_passenger一式を入れる。

apt-get install libapache2-mod-passenger

・自前のスクリプト一式の置き場所/usr/local/www/rack-scripts/を準備する。

mkdir /usr/local/www/rack-scripts/
mkdir /usr/local/www/rack-scripts/public
mkdir /usr/local/www/rack-scripts/tmp

・自前のスクリプトapplication.wsgiを準備する。
/usr/local/www/rack-scripts/application.rbとして、

class HelloWorldApp
  def call(env)
    [ 200, { 'Content-Type' => 'text/plain' }, ['Hello world'] ]
  end
end

・自前の設定ファイルconfig.ruを準備する。
/usr/local/www/rack-scripts/config.ruとして、

require 'application.rb'
run HelloWorldApp.new

・apacheの設定をする。/に来たリクエストを、mod_passengerに任せる設定。
/etc/apache2/conf.d/rack-rootとして、

<Virtualhost *:80>
    DocumentRoot /usr/local/www/rack-scripts/public
    RackBaseURI /
    <Directory /usr/local/www/rack-script>
      Allow from all
      Options -MultiViews
    </Directory>
</VirtualHost>

(DocumentRootはpublicディレクトリを指定するところが特徴かも)

・apacheをリスタートし

/etc/init.d/apache2 restart

・ブラウザから、「http://ご自分のサーバー/」としてみると、「Hello World」と表示される。

(B) Apacheを使わずに試す。

・ubuntu11で、librack-rubyとruby一式を入れる。

apt-get install librack-ruby1.9.1
※ ruby1.8ならlibrack-ruby1.8

以下、一つのディレクトリ内で、

・自前のスクリプトapplication.rbを準備する。

class HelloWorldApp
  def call(env)
    [ 200, { 'Content-Type' => 'text/plain' }, ['Hello world'] ]
  end
end

・設定ファイルconfig.ruを準備する。

require 'application.rb'
run HelloWorldApp.new

・実行する。

rackup1.9.1 -I .
※ ruby1.8ならrackup1.8

・ブラウザから、「http://ご自分のサーバー:9292/」(ポート番号はコンソール表示を確認)としてみると、「Hello World」と表示される。

・おまけ

ポート番号を変更したい場合は、

rackup1.9.1 -I . -p 8080

オプション-s mongrelとすると、Webアプリケーションサーバーをmongrelに変更できる(デフォルトはWEBrick)はずです。

というかヘルプは、

rackup1.9.1 --help

--
以上

PSGI(Perl版WSGI)を簡単に試してみる

2011-08-15T21:57:00.001+09:00

最近、xSGIもの(WSGI,Rack,JSGI,PSGI,...)を確認中で、PSGI(perl版WSGI)を簡単に試してみるメモです。

・ubuntu11で、libplack-perl一式を入れる。

apt-get install libplack-perl

以下、一つのディレクトリ内で、

・自前のスクリプトapplication.psgiを準備する。

sub {

  my $env = shift;

  return [ '200', [ 'Content-Type' => 'text/plain' ], [ "Hello world" ] ];

};

・実行する。

plackup application.psgi

・ブラウザから、「http://ご自分のサーバー:5000/」(ポート番号はコンソール表示を確認)としてみると、「Hello World」と表示される。

--
以上

JSGI(JavaScript版WSGI)を簡単に試してみる(jack)

2011-08-15T21:34:00.009+09:00

最近、xSGIもの(WSGI,Rack,JSGI,PSGI,...)を確認中で、JSGI(JavaScript版WSGI)を簡単に試してみるメモです。

ubuntu11上で、Narwhal(A general purpose JavaScript platform)とJackを使って、試してみます。

ここでは、簡単のために/root/js/ディレクトリ内で操作しています。

・Javaを入れておく

apt-get install openjdk-6-jdk

・narwhalを入れる。ダウンロードして展開するだけ。

https://github.com/280north/narwhalからダウンロードし、出来たディレクトリを、/root/js/narwhalと名前変更する。

パスを通しす。

export PATH=$PATH:/root/js/narwhal/bin

・Jackを入れる。

tusk install jack

・自前のスクリプトjackconfig.jsを準備する。

exports.app = function(env) {

  return { status : 200, headers : {"Content-Type":"text/plain", "Content-Length":"11"}, body : ["Hello worLd"] };

}

※手元の環境ではContent-Lengthが無いとエラーだったので、つけてみました。

・Webアプリケーションサーバーをスタート

jackup

・ブラウザから、「http://ご自分のサーバー:8080/」としてみる(ポート番号はコンソール表示を確認)と、「Hello World」と表示される。

--
以上

WSGIを簡単に試してみる(mod_wsgi)

2011-08-13T09:14:00.016+09:00

最近、WSGI系のWebアプリケーションのインタフェース(WSGI,Rack,JSGI,PSGI)を興味があるので、WSGIを簡単に試してみるメモです。Apacheとmod_wsgiを使う例です。

1. Apache + mod_wsgiで簡単に試す

Apacheで、/に来たリクエストを、自前のWSGI/pythonスクリプトに任せる設定。UbuntuでApacheとmod_wsgiを使う。

・ubunru 11で、apache2やmod_wsgi一式を入れる。

apt-get install libapache2-mod-wsgi

・自前のスクリプトapplication.wsgiを準備する。
/usr/local/www/wsgi-scripts/application.wsgiとして、

def application(env, start_response):
  start_response('200 OK', [('Content-type', 'text/plain')])
  return ['Hello world']

・apacheの設定をする。/に来たリクエストを、自前のプログラムapplication.wsgiに任せる設定。
/etc/apache2/conf.d/wsgi-rootとして、

<Virtualhost *:80>
    WSGIScriptAlias / /usr/local/www/wsgi-scripts/application.wsgi

    <Directory /usr/local/www/wsgi-scripts>
    Order allow,deny
    Allow from all
    </Directory>
</VirtualHost>

・apacheをリスタートし

/etc/init.d/apache2 restart

・ブラウザから、「http://ご自分のサーバー/」としてみると、「Hello World」と表示される。

2. もう少しWebアプリケーションっぽく

・Query Stringをエコー(危険)するapplication.wsgi例

def application(env, start_response):
  start_response('200 OK', [('Content-type', 'text/html')])
  return ['insecure query string echo', '<hr>', env['QUERY_STRING'], '<hr>']

ブラウザから、「http://ご自分のサーバー/?test1=hello&test2=world」とかしてみる。query string一式"test1=hello&test2=world"がまるっと表示される。

・いわゆるGET値の取得(ついでに返信時にescapeしてみる)するapplication.wsgi例

from cgi import parse_qs, escape

def application(env, start_response):
  q = parse_qs(env['QUERY_STRING'])
  start_response('200 OK', [('Content-type', 'text/html')])
  return ['hello', '<hr>',escape(q.get('test1', [''])[0]), '<hr>']

ブラウザから、「http://ご自分のサーバー/?test1=hello&test2=world」とかしてみる。test1の値"hello"が、表示される。

ちなみにPOSTは、wsgi.inputを介して受け取るので、少し面倒です。

まじめにアプリケーションを作るには、WSGIの高級なフレームワーク(Djangoなど)を使うのがいいんでしょう。

Webアプリケーションのインタフェース(WSGI, Rack, JSGI, PSGI)

2011-08-12T18:53:00.035+09:00

WebアプリケーションのインタフェースxSGI(WSGI, Rack, JSGI, PSGI)のメモ。

Webアプリケーションのインタフェースといっても、いろいろな切り口があるとは思いますが、アプリケーションとサーバー(実行環境)間のインタフェース。PythonのWSGIと、その仲間(Ruby版, Javascript版, Perl版)のこと。シンプルなCGI/Fast CGI/SCGIとも異なるし、古風なxSP系(PHP/ASP/JSP)とも違う感じ。（ここのインタフェースは、それにあわせることで、Webアプリケーションを作る人はいろんなところで動かせる、Webアプリケーション実行環境を作る人はいろいろな人に使ってもらえる、と言うことになります。例えば、WSGIのpythonアプリは、自前のApacheでもクラウドのGoogle App Engineでも、動かせる、みたいな。さらに、中間のフレームワークも、DjangoはWSGIだし、RailsもRackでも。）

1. 簡単なサンプル

text/plainの、Hello Worldを、正常(200)に返す、Webアプリケーションの例(コード断片)。

・WSGI(Python) spec

def application(env, start_response):
  start_response('200 OK', [('Content-type', 'text/plain')])
  return ['Hello world']

・Rack(ruby) spec

class HelloWorldApp
  def call(env)
    [ 200, { 'Content-Type' => 'text/plain' }, ['Hello world'] ]
  end
end

・JSGI(javascript) spec, spec

function(env) {
  return { status : 200, headers : {"Content-Type":"text/plain"}, body : ["Hello world"] };
}

・PSGI(perl) spec

sub {
  my $env = shift;
  return [ '200', [ 'Content-Type' => 'text/plain' ], [ "Hello World" ] ];
};

・PHP版 (ここでは、kelpieの例)

class HelloWorldApp{
    public function call($env){
        return array(200, array("Content-Type" => "text/plain"), array("Hello world"));
    }
}

2. 使い方(入出力)概要

Requestからの入力値(いわゆるGET値/POST値のもとを含む)は、上記の例ではいずれもenv辞書に入っています。
envの中身は、おおむね以下です。
- CGIでもらえそうなもの：REQUEST_METHOD, SCRIPT_NAME, PATH_INFO, QUERY_STRING, SERVER_NAME, SERVER_PORT, HTTP_Variables等
- その他：wsgi.version, wsgi.url_scheme, wsgi.input, wsgi.errors, wsgi.multithread, wsgi.multiprocess, wsgi.run_once等（左はWSGIの例で、Rack/JSGI/PSGIなら、wsgi.の代わりに、rack./jsgi./psgi.で始まる名前で）が、入っています。(wsgi.inputを使うと、Requestのbodyにアクセスできます。input streamとしてアクセスできるので大きなRequestに対応できます。)
(いわゆるGET値はQUERY_STRINGから、POST値はwsgi.inputから、求めることになります。)

Response(出力)は、
- Responseのheaderは、ざっと、文字列・文字列の辞書で、返します。
- Responseのbodyは、おおむね、文字列のリストみたいなもので、返します。(受け取った方が、繰り返し(each)、文字列として取り出せるもの。大きなResponseは、それを生成するようなオブジェクトを返す感じでしょうか。）

アプリケーション自体は、
- WSGIでは、a callable object that accepts two arguments.
- Rackでは、an Ruby object (not a class) that responds to call
- JSGIでは、a JavaScript function
- PSGIでは、a Perl code reference. It takes exactly one argument, the environment and returns an array reference of exactly three values.
として作ることになります。

3. 簡単に試す方法

- WSGIをApache + mod_wsgiで試す例は、こちら。
- RackをApache + mod_passenger(mod_rack)で試す例は、こちら。
- JSGIをJackで試す例は、こちら。
- PSGIを試す例は、こちら。
- PHP版のWSGIをAppServerで試す例は、こちら。

4. 実行環境例

- WebサーバーとCGI/FastCGI
- Webサーバーとmod_*: mod_wsgi, mod_rack(Phusion Passenger)
- uWSGI(uWSGI単体や、uWSGI+Webサーバー)
- それぞれの言語特有のもの WEBRrick, mongrel, ...
- Google App Engine

※ ここで、Webサーバーは、ApacheやNginx, lighttpd等などいろいろ

5. 利用者例など

エンドユーザが自前のアプリを作るのもありですが、各種フレームワークがxSGIにあわせて作られていたりします。
- WSGI(python): Django, web2py等
- Rack(ruby): Rails, Sinatra, Redmine等

Javascriptも、JSGI 0.3 Adapter for Nodeなんてのもあります。

--
以上

CentOS6のインストールサーバー

2011-08-08T18:48:00.002+09:00

OS／アプリケーションを、一度に、たくさんのサーバーに、入れることがちょいちょいあります。そのときに必要なインストール用のサーバーのメモ。

このインストール用のサーバーがあると、
空のサーバー機(VMでも)に、簡単に(CDメディアとか無しで)、CentOS6をインストールすることが出来るようになります。

1つのサーバーに、
1-1. CentOS6のローカルリポジトリ(http)と、
1-2. PXEブート用のサーバー(dhcpd, tftpd)を、
設定します。(1-1だけ、1-2だけでも、別途利用方法があります)

ここでは、サーバーのIPアドレスは10.0.0.1とします。

1. CentOS6のローカルリポジトリ
1-0. できあがり目標

こんな感じでアクセスできるCentOSのリポジトリができます。
http://10.0.0.1/centos/6/os/x86_64
(本記事は、64bitの場合。32bitなら以下、x86_64をi386に読み替えればいいはず。)

/var/www/html/centos
+-- 6
+-- os
| +-- x86_64 (←ここはDVDまるコピー）
| +-- CentOS
| +-- NOTES
| :
+-- updates
+-- x86_64

使い方
・PXEブートを仕込むと、メディアDVD無しでインストールできます。
・PXEブート+Kickstartファイルを仕込むと、メディアも対話も無しでインストールできます。
・PXEブートを仕込まなくても、netbootのCDメディアからインストールできます。

1-1. 準備
・SELinuxをOFFにしてしまう。
echo 0 > /selinux/enforce
/etc/selinux/configを変更：SELINUX=disabled

1-2. 静的なリポジトリ部分をDVDからのコピー
(ここでCentOS6.0のisoを、/centos/6/osディレクトリへ)

mkdir -p /var/www/html/centos/6/os

1-3. コピー元のDVD(iso)を準備
ここでは以下2ファイルを/var/tmpに配置
CentOS-6.0-x86_64-bin-DVD1.iso
CentOS-6.0-x86_64-bin-DVD2.iso

確認
sha256sum /var/tmp/CentOS-6.0-x86_64-bin-DVD1.iso
期待されるハッシュ値: 3399d1f7bdfb0690a7d5f09e5fe1ec30380646d732ab15e1e5bd9653698ead2c
sha256sum /var/tmp/CentOS-6.0-x86_64-bin-DVD2.iso
期待されるハッシュ値: 46631ac6719fa042c25fa607ac776a654a840606703015b554393ca19371cba9

1-4. CentOS 6.0をコピー

コピー先を作成
mkdir /var/www/html/centos/6/os/x86_64/

DVD1枚目をコピー
mount -o loop /var/tmp/CentOS-6.0-x86_64-bin-DVD1.iso /mnt
cp -vr /mnt/* /var/www/html/centos/6/os/x86_64/
umount /mnt

DVD2枚目をコピー
mount -o loop /var/tmp/CentOS-6.0-x86_64-bin-DVD2.iso /mnt
cp -vruf /mnt/* /var/www/html/centos/6/os/x86_64/
umount /mnt

1-5. updateリポジトリの同期と定期更新設定
updateリポジトリは定期更新することにします。

コピー先ディレクトリを作成
mkdir -p /var/www/html/centos/6/updates/x86_64
mkdir -p /var/www/html/centos/6/extras/x86_64
mkdir -p /var/www/html/centos/6/centosplus/x86_64
mkdir -p /var/www/html/centos/6/contrib/x86_64

コマンドを準備
yum -y install yum-utils createrepo

コピー用スクリプトを作成
cat << EOF > /etc/cron.daily/syncrepo
#!/bin/sh

reposync -r updates -n -p /var/www/html/centos/6/updates/x86_64
cd /var/www/html/centos/6/updates/x86_64
createrepo -d .

reposync -r extras -n -p /var/www/html/centos/6/extras/x86_64
cd /var/www/html/centos/6/extras/x86_64
createrepo -d .

reposync -r centosplus -n -p /var/www/html/centos/6/centosplus/x86_64
cd /var/www/html/centos/6/centosplus/x86_64
createrepo -d .

reposync -r contrib -n -p /var/www/html/centos/6/contrib/x86_64
cd /var/www/html/centos/6/contrib/x86_64
createrepo -d .
EOF

chmod +x /etc/cron.daily/syncrepo

とりあえず手動で一回同期
/etc/cron.daily/syncrepo

1-6. http server
yum -y install httpd

cat << EOF > /etc/httpd/conf.d/centos-repository-mirror.conf
<Directory /centos >
Options +Indexes
Order deny,allow
Deny from all
Allow from 127.0.0.1
Allow from 10.0.0.0/255.255.255.0
</Directory>
EOF

chkconfig httpd on
service httpd start

動作確認
適当なブラウザから、
http://10.0.0.1/centos/6/os/x86_64/RELEASE-NOTES-en-US.html
を閲覧してみる。

2. PXEブートサーバー

2-0. サーバーをPXEブートさせるためのサーバーの設定。

PXEブートは、HDDにOS入っていなくても、CD/DVD/USBのOSを持っていなくてもブートできます。
今時、大抵のサーバーはPXEブートできるはず。

dhcpサーバーとtftpサーバーからなる。

2-1. firewall
面倒だからとりあえず止める

2-2. tftp server
2-2-1. install
yum -y install tftp-server
chkconfig tftp on
chkconfig --list | grep tftp
tftp: on

2-2-2. pxeブート用ファイル

/var/lib/tftpbootディレクトリ
CentOS6.0 x86_64用
(CentOS5は/tftpbootだった)
(設定は、/etc/xinetd.d/tftpのserver_args = -s の後ろのディレクトリ)

mkdir -p /var/lib/tftpboot/cent60x64/pxelinux.cfg

pxelinux.0, vmlinuz, initrd.imgの3ファイルが必要

・pxelinux.0
(rpmから)
cd /var/tmp/
wget http://ftp.jaist.ac.jp/pub/Linux/CentOS/6.0/os/x86_64/Packages/syslinux-3.86-1.1.el6.x86_64.rpm
rpm2cpio syslinux-3.86-1.1.el6.x86_64.rpm | cpio -ivr "*/pxelinux.0"
rename ./usr/share/syslinux/pxelinux.0 ->
とでたら、/var/lib/tftpboot/cent60x64/pxelinux.0

(他には)
http://www.kernel.org/pub/linux/utils/boot/syslinux/

・vmlinuz, initrd.img
OSのDVDから取り出す
mount -o loop /var/tmp/CentOS-6.0-x86_64-bin-DVD1.iso /mnt
cp /mnt/images/pxeboot/vmlinuz /var/lib/tftpboot/cent60x64/
cp /mnt/images/pxeboot/initrd.img /var/lib/tftpboot/cent60x64/
umount /mnt

デフォルトのブート設定ファイル(別途、MACアドレス毎、MACアドレスの上位桁毎に、設定できます)
cat << EOF > /var/lib/tftpboot/cent60x64/pxelinux.cfg/default
default cent6

label cent6
kernel vmlinuz
append load initrd=initrd.img ksdevice=eth0 devfs=nomount
EOF

例)
MACアドレス01-00-0c-29-17-b3-d4のサーバーが読み込む設定ファイル
/tftpboot/cent60x64/pxelinux.cfg/01-00-0c-29-17-b3-d4

MACアドレス01-00-0c-29-??-??-??のサーバーが読み込む設定ファイル
/tftpboot/cent60x64/pxelinux.cfg/01-00-0c-29

2-2-3. tftpスタート(xinetd経由)
service xinetd start

2-3. dhcp server

2-3-1. インストール
yum -y install dhcp
chkconfig dhcpd on
chkconfig --list | grep dhcpd
dhcpd 0:off 1:off 2:on 3:on 4:on 5:on 6:off

2-3-2. 設定ファイル
cat << EOF > /etc/dhcp/dhcpd.conf
ddns-update-style interim;
ignore client-updates;

subnet 10.0.10.0 netmask 255.255.255.0 {
option routers 10.0.0.254;
option subnet-mask 255.255.255.0;
option domain-name "example.com";
option domain-name-servers 10.0.0.1;
range dynamic-bootp 10.0.0.100 10.0.0.200;
default-lease-time 21600;
max-lease-time 43200;
filename "/cent60x64/pxelinux.0";
next-server 10.0.0.1;
}
EOF
※ CentOS5は/etc/dhcpd.confだったと思う。

※ next-serverがリポジトリサーバー

2-3-3. スタート
service dhcpd start

3. Kickstart

Kickstartファイル(あらかじめOSインストール設定を書いたファイル)を準備すると、
対話無しでインストールできます。

OSの基本設定はもちろん、自由なscriptも、書けるので、
アプリケーションとその設定も、自動で入れてしまえます。

例えば、

基本的な設定
・ネットワークの設定、セキュリティの設定
・sshのログイン用のkey設定
・yumで使うリポジトリを、ローカルリポジトリサーバーを使うようにする設定
などなど。

アプリケーションなら、
・たくさんの、Hadoopのノードの設定
・たくさんの、Webサーバー／アプリケーションサーバーの設定
などなど

4. クライアント、というか、このインストールサーバーを使ったOSインストール

4-1. とりあえず、PXEブートだけ、リポジトリだけ、使うのもあり。
PXEブートする。
Installation Methodで、
いまいちど
http://10.0.0.1/centos/6/os/x86_64
とする。

4-2. PXEブート、リポジトリ、Kickstart設定を、あわせて楽にインストール

Kickstart例を、おいおいメモしておこう...

--

携帯端末月額1650円計画

2011-06-21T07:36:00.006+09:00

携帯端末を月額1650円で持つ試算です。

SIMロックフリー端末や、イオンの安い定額接続などを使うと、月額1650円(端末をのぞく)くらいになりそうです。
データは無制限(100kbps)、電話はほとんどかけない(日本の携帯電話へ10分/月、日本の固定電話へ60分/月）場合。端末も安いので、安い端末を毎年買い替えても、合計3000円/月程度ではないかと。

・通話は、旧式電話／携帯向けは有料スカイプでの計算。旧式電話を無視すれば、無料スカイプで十分なので、さらに安く月額980円のみ。
・スカイプのかわりに050plusが使えるようになれば、もう少し安いかも。

※ あくまで試算です。

(内訳)

1. SIMロックフリー端末
・日本通信が売ってるものが安心かもしれませんHuawei IDEOS(約2.4万)が、ちょっと高価かも。
・日本のAmazonでも、Xperia x10 mini(約1.6万円, 日本での使用可)等いろいろ
・小型ガジェット屋さん(?←私が勝手に思ってる)のExpansysでも、2万円を切るものがいろいろ。
HTC, Huawei, ZTE, Samsung, Sony Ericssonなどの大手メーカーの端末が、いろいろな所で買えそう。

2. データ通信: AEONのb-mobileのSIM Aプラン = 980円/月(100kbps)
ただし、初回手数料3150円(← ※ 今回の計算に入れてません。)
http://www.bmobile.ne.jp/aeon/

3a. スカイプ: 旧式電話との通話用に643円(今回の通信契約でスカイプが動くのかは要確認)
旧式の電話／携帯電話の人と通信するためです。スカイプ同士は無料。

3a-1. 旧式電話から電話を受けるために電話番号(050)をもつ: 443円/月 (一年契約の場合)
- 月額プラン130円/月を、まず買う ←固定電話向け通話の月額プラン(オンライン番号50%割引のために購入)
- オンライン番号(=旧skype-in)は、12ヶ月プラン3750円/年(= 313円/月相当)を買う(オンライン番号は、月額プラン加入で50％割引、月額プラン未加入だと7500円)

3a-2. 旧式電話へ電話をかける: 約200円/月(日本の携帯へ10分/月)とする。
- スカイプクレジット500円を、コンビニで、たまに買っておく。

(旧式電話向け通話料参考)
日本の携帯電話へ: 17円50銭/分
日本の固定電話へ: 3円22銭/分
フランスの携帯電話へ: 23円71.8銭/分
フランスの固定電話へ:2円66銭/分

※ 制限
- 試してみたら、通信状況が悪い場合の通話はちょっと厳しい。(ただし海外では問題なかったので、国内キャリアの問題かも。あと、050plusよりはまし。)
- ~~日本では、先方への番号通知がおかしいらしい~~日本国内で試したら問題なさそうでした。
- スカイプクレジットは、180日間使わないと消滅(ちらっと使えばよい)
- 緊急通話はできない

3b. 050plus: 国内版のiPhone/iPod用スカイプという感じ。

いまいち

・通信状況がよくない場合の動作が、スカイプより弱く、けっこう厳しい。

・まだAndroid版が無い（iPhone/iPod用アプリしか無い）

だけど、一応、メモ。月額料金315円、通話料は完全従量(クレジットカード払い)。

4. その他のメリット?

海外へ行っても、端末&スカイプの使える国なら、現地でSIM(無制限のデータ通信)さえ手に入れられれば、日本と同じように使える(はず)。

コンピュータ機器動作温度

2011-02-02T19:27:00.000+09:00

うちのMac mini(動作時温度35℃)は、台所においてあるので、夏の周辺温度は余裕で35℃をこえています。

コンピュータ機器は、どんどん安くなって、気軽に使えるようになってますが、動作時の周囲温度要件ってどうなんですかねえ。データセンターの部屋が、立派なクーラーで冷やされまくってるってへんな気がします。コンピュータ機器を、甘やかしすぎなんじゃないかと。

いまどきのコンピュータ機器って、どんなもんかを調べてみました。

x86サーバーの例

あまりおもしろいのが見つかりませんでした。

・アイピーコア研究所のサーバーが、～50℃。

・富士通、NEC、日立[2]は、だいたい10～35℃みたいです。NECには40℃サーバー[3]があるみたいですが、Atomのブレード。

・IBM,HP,DELLをざっと見ました[1]が、仕様に温度が書いてない?WebもPDFでも、ちらっとみたくらいじゃ見つかりませんでした。...おかしいなあ。

ネットワークスイッチの例

85℃対応ってのがあるんですね、すごいなあ。

・-40～85℃ RuggedCom RuggedSwitch

・-20～70℃ 明電舎産業用スイッチングハブ SW4000(ポート数少ないけど)

・-20～60℃ Allied Telesis CentreCOM 9048XL

・-10～60℃ 日立電線 APRESIA 耐熱・耐環境 L3スイッチ

・0～50℃ パナソニック電工ネットワークス Switch-M24G

・0～50℃ HP ProCurve Switch 2610(ProCurve Networking Switch 2810あたりは45℃...難しい)

(参考)

[1] IBM, HP, DELLの適当なサーバーの仕様ページ
IBM http://www-06.ibm.com/systems/jp/x/rack/3650m3/spec.shtml
HP http://h10010.www1.hp.com/wwpc/jp/ja/sm/WF06a/15351-15351-3328412-3328421-3328421-4091396.html
DELL http://www1.jp.dell.com/jp/ja/enterprise/servers/server-poweredge-r610/pd.aspx?refid=server-poweredge-r610&s=pad&cs=jppad1

[2] 富士通, NEC, 日立の適当なサーバーの仕様ページ
富士通 http://primeserver.fujitsu.com/primergy/catalog/rx200s6/spec.html
NEC http://www.nec.co.jp/products/pcserver/rack/r120b1/spec.shtml
日立 http://www.hitachi.co.jp/Prod/comp/OSD/pc/ha/products/hardware/rsseries/rs220_speclist.html
(日立はPDFをあけないと、温度がわかりません。)

[3] NECの40℃サーバー。Atomのブレードと少しマニアックですが。
http://www.nec.co.jp/products/pcserver/ecocenter/e110bm/spec.shtml

1台でOozieを試してみる(CentOS + Cloudera(CDH3 beta3))

2010-10-14T12:14:00.003+09:00

概要
・1台のLinux環境で、簡単に、Oozieを試してみます。
・CentOS(1台)でCloudera社のHadoopパッケージ(CDH3beta3)を利用します。Hadoop環境(CDH3 beta3)の構築方法はこちら

その他の記事
	Hadoop(1台構成)	HBase,Hive,Pig,HUE,Oozie等(1台構成)	Hadoop(複数台構成)
CentOS	こちら	HBase,Hive,Pig, HUE(旧Cloudera Desktop), Oozie	こちら
Ubuntu	こちら	HBase,Hive,Pig,HUE(旧Cloudera Desktop)

必要なもの
・Linux(CentOS)+Cloudera版Hadoop環境(1台) → 構築方法はこちら
・インターネット接続
・Cloudera社のOozieのパッケージ(yumでインターネットからインストール)

作業手順

1. インストール

Linux環境にて、rootで作業します。

1-0. Cloudera社のCDH3リポジトリ確認

Cloudera社のCDH3リポジトリが必要ですので、既に設定されていないか確認します。

ls /etc/yum.repos.d/

で、cloudera-cdh3.repoが存在すれば、OKのはずです。無い場合は、

cd /etc/yum.repos.d/
wget http://archive.cloudera.com/redhat/cdh/cloudera-cdh3.repo

とします。

1-1. Oozieパッケージのインストール

インストール

yum -y install oozie oozie-client

確認

yum list oozie* | grep installed

1-2. Hadoopサーバーの設定

以下を、/etc/hadoop/conf/core-site.xmlに追記します。

<property>
<name>hadoop.proxyuser.oozie.hosts</name>
<value>localhost</value>
</property>
<property>
<name>hadoop.proxyuser.oozie.groups</name>
<value>oozie</value>
</property>

1-3. Oozieサーバーまわりの設定

・MySQLのインストール

インストール

yum -y install mysql mysql-server

初期設定(ここでは、DBサービスを起動して、コマンドラインの設定ウィザードで初期設定を行いました)

service mysqld start
mysql_secure_installation

すべてデフォルト(DBのrootパスワードは、覚えておきましょう)

・ExtJS libraryの設定
http://www.sencha.com/learn/Ext_Version_Archives
からext-2.2.zipをダウンロードします。 (2.2.1とか3は不可です)
ダウンロードファイルを、例えば/tmp/ext-2.2.zipとして配置したとして、

sudo -u oozie /usr/lib/oozie/bin/oozie-setup.sh -extjs /tmp/ext-2.2.zip
...
New Oozie WAR file with added 'ExtJS library' at /usr/lib/oozie/oozie-server/webapps/oozie.war

・MySQL JDBC connector library

http://www.mysql.com/downloads/connector/j/5.1.htmlから、mysql-connector-java-5.1.13.tar.gzを、ダウンロードします。
ダウンロードファイルを、例えば/tmp/mysql-connector-java-5.1.13.tar.gzとして配置したとして、

mkdir /tmp/jdbc/
cd /tmp/jdbc/
tar xzf /tmp/mysql-connector-java-5.1.13.tar.gz
sudo -u oozie /usr/lib/oozie/bin/oozie-setup.sh -jars /tmp/jdbc/mysql-connector-java-5.1.13/mysql-connector-java-5.1.13-bin.jar

・Oozieの設定ファイル

vi /usr/lib/oozie/conf/oozie-site.xml

以下のような設定を追加します。

<property>
<name>oozie.db.schema.create</name>
<value>true</value>
</property>

<property>
<name>oozie.service.DataSourceService.jdbc.driver</name>
<value>com.mysql.jdbc.Driver</value>
</property>

<property>
<name>oozie.service.DataSourceService.jdbc.url</name>
<value>jdbc:mysql://localhost:3306</value>
</property>

<property>
<name>oozie.service.DataSourceService.jdbc.username</name>
<value>oozie</value>
</property>

<property>
<name>oozie.service.DataSourceService.jdbc.password</name>
<value>oozie</value>
</property>

・MySQL

mysql -u root -p
mysql> grant all privileges on oozie.* to 'oozie'@'localhost' identified by 'oozie';
Query OK, 0 rows affected (0.00 sec)
mysql> exit
Bye

・Oozie Server起動

sudo -u oozie /usr/lib/oozie/bin/oozie-start.sh

1-3. 動作確認
コマンドラインから動作確認

OOZIE_URL=http://localhost:11000/oozie oozie admin -version
Oozie server build version: 2.2.1-78

ブラウザから動作確認
http://ホスト名:11000/oozie
画面例

2. exampleを動かしてみる

exampleのファイルを展開します。

mkdir /tmp/oozie-example
cd /tmp/oozie-example/
tar xzf /usr/lib/oozie/oozie-examples.tar.gz
cd examples/

examples/apps/以下のそれぞれのフォルダ内のjob.propertiesの変更が必要な場合があります。
hdfsやmapreduceのポートが9000と9001で決め打ちしてあるので、
CDHのデフォルトの人は、それぞれ9000 → 8020, 9001 → 8021の変更が必要です。

ここでは、map-reduceを試してみます。
examples/apps/map-reduce/job.propertiesを変更します。

example用の設定やテストファイルを作成

sudo -u oozie hadoop-0.20 fs -mkdir /user/oozie/examples/apps
sudo -u oozie hadoop-0.20 fs -copyFromLocal input-data hdfs://localhost:8020/user/oozie/examples/
cd apps
sudo -u oozie hadoop-0.20 fs -copyFromLocal map-reduce hdfs://localhost:8020/user/oozie/examples/apps/

2-2. exampleを実行してみる

・実行(examples/appsにて)

sudo -u oozie oozie job -oozie http://localhost:11000/oozie -config map-reduce/job.properties -run
job: 0000002-101014103613635-oozie-oozi-W

・ジョブの様子を確認(実行時に表示されるJob Idを引数に)

sudo -u oozie oozie job -oozie http://localhost:11000/oozie -info 0000002-101014103613635-oozie-oozi-W
Job ID : 0000002-101014103613635-oozie-oozi-W
------------------------------------------------------------------------------------------------------------------------------------
Workflow Name : map-reduce-wf
App Path : hdfs://localhost:8020/user/oozie/examples/apps/map-reduce
Status : SUCCEEDED
Run : 0
User : oozie
Group : users
Created : 2010-10-14 03:03
Started : 2010-10-14 03:03
Last Modified : 2010-10-14 03:04
Ended : 2010-10-14 03:04

Actions
------------------------------------------------------------------------------------------------------------------------------------
ID Status Ext ID Ext Status Err Code
------------------------------------------------------------------------------------------------------------------------------------
0000002-101014103613635-oozie-oozi-W@mr-node OK job_201010131711_0006 SUCCEEDED -
------------------------------------------------------------------------------------------------------------------------------------

CDH3

2010-08-21T14:25:00.009+09:00

CDH3は、Cloudera社によるHadoopパッケージのバージョン3に相当するもので、2011春頃にリリース版、夏にリリースupdate1版がでました。(2010年、春頃にβ、夏(8月)にβ2、秋(10月)にβ3)。CDH(Cloudera’s Distribution for Hadoop)は、cloudera社によるHadoopのパッケージ(rpm, deb)で、インストール・更新を簡単に行うことができます。

CDH3では、前のCDH2から、大きく中身が変わったところがありますので、内容を、おさらいしておきます。きちんとした情報は、Cloudera社のブログ(CDH3beta2, CDH3, CDH3u1の記事)を見ましょう。

・Hadoop Core(HDFS, MapReduce)は、Hadoopの中心となる機能で、分散ファイルシステムのHDFSと、分散の計算のためのしくみのMapReduceが、入っています。初期のCDH(CDH1と呼ばれる前のCDH1)から入っていた機能で、パッケージとしてのブラッシュアップも重ねられてきています。Hadoopを実際に利用する(お仕事にも個人が手軽に試すにも)のに適していると思います。

・Pig, Hiveは、MapReduceを手軽に利用するためのフロントエンドのしくみです。MapReduce利用が目的の方も、一度、検討する価値があると思います。これらのパッケージも、初期のCDHから、存在しています。

・Sqoopは、2009秋ごろからあるHadoopとDBとでデータをやり取りするためのしくみです。Cloudera社製です。

・HBaseは、分散DB(KVS)の仕組みです。パッケージも、2009秋ごろからあります(CDH2のcontrib扱い)が、きちんとCDHに統合されたのは、CDH3からです。CDH3では、同時にZooKeeperのパッケージも再整理されたようです。

・ZooKeeperの単独パッケージは、CDH3からだと思います。CDH2では、HBaseのおまけパッケージでした。

・HUE(Hadoop User Experience)は、2009年秋頃に出たCloudera Desktopの新しいもののようです。Hadoopを便利に使うためのGUIのフロントエンドです。HUEの名前では、CDH3からです。また、CDH3からは、HUE上のアプリケーションとして、HiveのGUIフロンとエンドが追加されました。

・fuse(Mountable HDFS)もパッケージになっています。HDFSをマウントして利用するためのものです。一般的にあまり勧められないもののようですが、マウントできるのは、やっぱり便利かなあ、とも。

新しくパッケージに追加されたのは、以下の二つです。

・Flumeは、分散ログ収集のしくみです。他よりHadoopとの結びつきは薄いかもしれません。いろいろなサーバーからログを収集して、HDFSに集めることができます。集め先は、HDFSに限りませんが、たくさんのログを集めるなら、Flume＋HDFSの組み合わせは検討に値するかと思います。

・Oozieは、Hadoopのワークフローのしくみです。MapReduce, Pig, Hiveなどの複数のプロセスをつないで記述してワークフローとして、それらを管理／実行するプラットフォームのようです。

このブログは、CDHを地味においかけてメモしています。CDH1用に書いた2009年ごろに書いた古い記事も、ぼちぼち最新の内容(CDH3)に更新してあります。書き始めた頃に比べてCDHの利用がポピュラーになったので、まじめに使う人は、他のいい記事を読むのがおすすめです。(2011年夏)

CDH3でHadoopを試す記事
	Hadoop(1台構成)	HBase,Hive,Pig,HUE,Oozie等(1台構成)	Hadoop(複数台構成)
CentOS	こちら	HBase,Hive,Pig, HUE(旧Cloudera Desktop), Oozie	こちら
Ubuntu	こちら	HBase,Hive,Pig,HUE(旧Cloudera Desktop)

--
以上

1台でOozieを試してみる(Ubuntu + Cloudera(CDH3 beta2))

2010-08-21T13:50:00.013+09:00

概要
・1台のLinux環境で、簡単に、Oozieを試してみます。
・Ubuntu(1台)でCloudera社のHadoop(CDH3beta2)が動いていることを前提とします。 → 構築方法はこちら

その他の記事
	Hadoop(1台構成)	HBase,Hive,Pig,HUE,Oozie等(1台構成)	Hadoop(複数台構成)
CentOS	こちら	HBase,Hive,Pig, HUE(旧Cloudera Desktop), Oozie	こちら
Ubuntu	こちら	HBase,Hive,Pig,HUE(旧Cloudera Desktop)

必要なもの
・Linux(Ubuntu)+Cloudera版Hadoop環境(1台) → 構築方法はこちら
・インターネット接続
・Cloudera社のOozieのパッケージ(aptでインターネットからインストール)

作業手順

1. インストール

Linux環境にて、rootで作業します。

1-1. Oozieパッケージのインストール

インストール

apt-get -y install oozie oozie-client

※ 2010年８月中旬現在、パッケージがおかしく、うまくインストールできないようです。

1-2. Oozieサーバーまわりの設定

・MySQLのインストール

インストール

apt-get -y install mysql-server mysql-client

(DBのrootパスワードは、覚えておきましょう)

動作確認例

service mysql status
mysql start/running, process 11242

・Tomcatのインストール

apt-get -y install tomcat6

・ExtJS libraryの設定
http://www.sencha.com/learn/Ext_Version_Archives
からext-2.2.zipをダウンロードします。 (2.2.1とか3は不可です)
ダウンロードファイルを、例えば/tmp/ext-2.2.zipとして配置したとして、

cd /usr/lib/oozie
./installextjs.sh /tmp/ext-2.2.zip
Oozie WAR '/usr/lib/oozie/wars/oozie.war' file now contains ExtJS library

mkdir /tmp/jdbc/
cd /tmp/jdbc/
tar xzf /tmp/mysql-connector-java-5.1.13.tar.gz
cp /tmp/jdbc/mysql-connector-java-5.1.13/mysql-connector-java-5.1.13-bin.jar /usr/share/tomcat6/lib/

・OozieをTomcatに配備

cp /usr/lib/oozie/wars/oozie.war /var/lib/tomcat6/webapps/

設定ファイル/etc/tomcat5/tomcat5.confを編集します。以下の行をファイルの最後にでも追加します。

# oozie
JAVA_OPTS="$JAVA_OPTS -Doozie.config.dir=/usr/lib/oozie/conf"

・Oozieの設定ファイル

vi /usr/lib/oozie/conf/oozie-site.xml
二か所のコメントアウト部分(「Disable automatic DB schema creation」と「DBコネクション関連の設定」で、で囲まれている部分)を、有効にします。
特に、oozie.db.schema.createのvalueはtrueに変更(もとはfalse)します。
以下のような設定を有効にします。

<property>
<name>oozie.db.schema.create</name>
<value>true</value>
<description>
Creates Oozie DB.
</description>
</property>

<property>
<name>oozie.service.DataSourceService.jdbc.driver</name>
<value>com.mysql.jdbc.Driver</value>
<description>
JDBC driver class.
</description>
</property>

<property>
<name>oozie.service.DataSourceService.jdbc.url</name>
<value>jdbc:mysql://localhost:3306</value>
<description>
JDBC URL.
</description>
</property>

<property>
<name>oozie.service.DataSourceService.jdbc.username</name>
<value>oozie</value>
<description>
DB user name.
</description>
</property>

<property>
<name>oozie.service.DataSourceService.jdbc.password</name>
<value>oozie</value>
<description>
DB user password.
IMPORTANT: if password is emtpy leave a 1 space string, the service trims the value, if empty Configuration
assumes it is NULL.
</description>
</property>

・MySQL

mysql -u root -p
mysql> grant all privileges on oozie.* to 'oozie'@'localhost' identified by 'oozie';
Query OK, 0 rows affected (0.00 sec)
mysql> exit
Bye

・Oozie Server(Tomcat)の起動と自動DB作成

Tomcatを起動させます。初回起動時に、自動で必要なDBが作成されます。

service tomcat6 start

初回起動時にDBが作成されるので、確認します。

mysql -u oozie -p
Enter password:（パスワードは、上記の設定通りなら"oozie"）
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 20
Server version: 5.0.77 Source distribution

sType 'help;' or '\h' for help. Type '\c' to clear the buffer.

mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| oozie |
+--------------------+
2 rows in set (0.00 sec)

mysql> use oozie;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
mysql> show tables;
+---------------------+
| Tables_in_oozie |
+---------------------+
| ACTIONS |
| VERSION |
| WF_PROCESS_INSTANCE |
| WORKFLOWS |
+---------------------+
4 rows in set (0.00 sec)
mysql> exit
Bye

1-3. 動作確認
コマンドラインから動作確認

OOZIE_URL=http://localhost:8080/oozie oozie admin -version
Oozie server build version: 1.6.2-0.20.2-320--SNAPSHOT

ブラウザから動作確認
http://10.44.4.180:8080/oozie
画面例

(おまけ)
ドキュメントを入れたいならば、

cp /usr/lib/oozie/wars/ooziedocs.war /var/lib/tomcat6/webapps/

として、
http://10.44.4.180:8080/ooziedocs

2. exampleを動かしてみる

2-1. example準備

exampleのファイルを展開します。

mkdir /tmp/oozie-example
cd /tmp/oozie-example/
tar xzf /usr/lib/oozie/oozie-examples.tar.gz
cd examples/

prepare-examples.shを編集します。ファイル下の方の、以下の部分を変更します。

echo "jobTracker=localhost:9001" >> ${example}-job.properties
echo "nameNode=hdfs://localhost:8020" >> ${example}-job.properties

例えば、Clouderaのお手軽デフォルト設定のHadoopなら、以下のように変更します。

echo "jobTracker=localhost:8021" >> ${example}-job.properties
echo "nameNode=hdfs://localhost:8020" >> ${example}-job.properties

example用の設定やテストファイルを作成

./prepare-examples.sh
hadoop fs -put input-data input-data
hadoop fs -put workflows /tmp/`whoami`/workflows

2-2. exampleを実行してみる

・実行

oozie job -oozie http://localhost:8080/oozie -config map-reduce-job.properties -run
job: 0000000-100820220527261-oozie-tomc

・ジョブの様子を確認(実行時に表示されるJob Idを引数に)

oozie job -oozie http://localhost:8080/oozie -info 0000000-100820220527261-oozie-tomc
Job Id: 0000000-100820220527261-oozie-tomc
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Workflow Name : map-reduce-wf
App Path : hdfs://localhost:8020/tmp/root/workflows/map-reduce
Status : RUNNING
Run : 0
User : root
Group : users
Created : 2010-08-20 14:30 +0000
Started : 2010-08-20 14:30 +0000
Last Modified : 2010-08-20 14:30 +0000
Ended : -

Actions
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Action Name Type Status Transition Ext. Id Ext. Status Error Code Started Ended
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
hadoop1 map-reduce RUNNING - job_201008202153_0002 RUNNING - 2010-08-20 14:30 +0000 -
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

・同様に他の.propertiesファイルも試すことができます。

oozie job -oozie http://localhost:8080/oozie -config map-reduce-job.properties -run
job: 0000000-100820214321863-oozie-tomc

oozie job -oozie http://localhost:8080/oozie -config hive-job.properties -run
job: 0000005-100820220527261-oozie-tomc

oozie job -oozie http://localhost:8080/oozie -config pig-job.properties -run
job: 0000004-100820220527261-oozie-tomc

それぞれの実行内容はworkflowsの中のディレクトリに書いてあります。

1台でOozieを試してみる(CentOS + Cloudera(CDH3 beta2))

2010-08-21T13:19:00.017+09:00

概要
・1台のLinux環境で、簡単に、Oozieを試してみます。
・CentOS(1台)でCloudera社のHadoop(CDH3beta2)が動いていることを前提とします。 → 構築方法はこちら

※この記事はCDH3beta2用です、CDH3beta3の人はこちら

その他の記事
	Hadoop(1台構成)	HBase,Hive,Pig,HUE,Oozie等(1台構成)	Hadoop(複数台構成)
CentOS	こちら	HBase,Hive,Pig, HUE(旧Cloudera Desktop), Oozie	こちら
Ubuntu	こちら	HBase,Hive,Pig,HUE(旧Cloudera Desktop)

ls /etc/yum.repos.d/

で、cloudera-cdh3.repoが存在すれば、OKのはずです。無い場合は、

cd /etc/yum.repos.d/
wget http://archive.cloudera.com/redhat/cdh/cloudera-cdh3.repo

とします。

1-1. Oozieパッケージのインストール

インストール

yum -y install oozie oozie-client

確認

yum list oozie* | grep installed

1-2. Oozieサーバーまわりの設定

・MySQLのインストール

インストール

yum -y install mysql mysql-server

初期設定(ここでは、DBサービスを起動して、コマンドラインの設定ウィザードで初期設定を行いました)

service mysqld start
mysql_secure_installation

すべてデフォルト(DBのrootパスワードは、覚えておきましょう)

・Tomcatのインストール

yum -y install tomcat5

(ここでは、まだ起動させません)
本来(Oozieやcloudera社のドキュメント)ではtomcat6を使っているようですが、ここでは、CentOS5で容易に利用できるTomcat5を使いました。

・ExtJS libraryの設定
http://www.sencha.com/learn/Ext_Version_Archives
からext-2.2.zipをダウンロードします。 (2.2.1とか3は不可です)
ダウンロードファイルを、例えば/tmp/ext-2.2.zipとして配置したとして、

cd /usr/lib/oozie
./installextjs.sh /tmp/ext-2.2.zip
Oozie WAR '/usr/lib/oozie/wars/oozie.war' file now contains ExtJS library

mkdir /tmp/jdbc/
cd /tmp/jdbc/
tar xzf /tmp/mysql-connector-java-5.1.13.tar.gz
cp /tmp/jdbc/mysql-connector-java-5.1.13/mysql-connector-java-5.1.13-bin.jar /usr/share/tomcat5/common/lib/

・OozieをTomcatに配備

cp /usr/lib/oozie/wars/oozie.war /var/lib/tomcat5/webapps/

設定ファイル/etc/tomcat5/tomcat5.confを編集します。以下の行をファイルの最後にでも追加します。

# oozie
JAVA_OPTS="$JAVA_OPTS -Doozie.config.dir=/usr/lib/oozie/conf"

<property>
<name>oozie.db.schema.create</name>
<value>true</value>
<description>
Creates Oozie DB.
</description>
</property>

<property>
<name>oozie.service.DataSourceService.jdbc.driver</name>
<value>com.mysql.jdbc.Driver</value>
<description>
JDBC driver class.
</description>
</property>

<property>
<name>oozie.service.DataSourceService.jdbc.url</name>
<value>jdbc:mysql://localhost:3306</value>
<description>
JDBC URL.
</description>
</property>

<property>
<name>oozie.service.DataSourceService.jdbc.username</name>
<value>oozie</value>
<description>
DB user name.
</description>
</property>

<property>
<name>oozie.service.DataSourceService.jdbc.password</name>
<value>oozie</value>
<description>
DB user password.
IMPORTANT: if password is emtpy leave a 1 space string, the service trims the value, if empty Configuration
assumes it is NULL.
</description>
</property>

・MySQL

mysql -u root -p
mysql> grant all privileges on oozie.* to 'oozie'@'localhost' identified by 'oozie';
Query OK, 0 rows affected (0.00 sec)
mysql> exit
Bye

・Oozie Server(Tomcat)の起動と自動DB作成

Tomcatを起動させます。初回起動時に、自動で必要なDBが作成されます。

service tomcat5 start

初回起動時にDBが作成されるので、確認します。

mysql -u oozie -p
Enter password:（パスワードは、上記の設定通りなら"oozie"）
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 20
Server version: 5.0.77 Source distribution

sType 'help;' or '\h' for help. Type '\c' to clear the buffer.

mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| oozie |
+--------------------+
2 rows in set (0.00 sec)

mysql> use oozie;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
mysql> show tables;
+---------------------+
| Tables_in_oozie |
+---------------------+
| ACTIONS |
| VERSION |
| WF_PROCESS_INSTANCE |
| WORKFLOWS |
+---------------------+
4 rows in set (0.00 sec)
mysql> exit
Bye

1-3. 動作確認
コマンドラインから動作確認

OOZIE_URL=http://localhost:8080/oozie oozie admin -version
Oozie server build version: 1.6.2-0.20.2-320--SNAPSHOT

ブラウザから動作確認
http://ホスト名:8080/oozie
画面例

(おまけ)
ドキュメントを入れたいならば、

cp /usr/lib/oozie/wars/ooziedocs.war /var/lib/tomcat5/webapps/

として、
http://ホスト名:8080/ooziedocs

2. exampleを動かしてみる

2-1. example準備

exampleのファイルを展開します。

mkdir /tmp/oozie-example
cd /tmp/oozie-example/
tar xzf /usr/lib/oozie/oozie-examples.tar.gz
cd examples/

prepare-examples.shを編集します。ファイル下の方の、以下の部分を変更します。

echo "jobTracker=localhost:9001" >> ${example}-job.properties
echo "nameNode=hdfs://localhost:8020" >> ${example}-job.properties

例えば、Clouderaのお手軽デフォルト設定のHadoopなら、以下のように変更します。

echo "jobTracker=localhost:8021" >> ${example}-job.properties
echo "nameNode=hdfs://localhost:8020" >> ${example}-job.properties

example用の設定やテストファイルを作成

./prepare-examples.sh
hadoop fs -put input-data input-data
hadoop fs -put workflows /tmp/`whoami`/workflows

2-2. exampleを実行してみる

・実行

oozie job -oozie http://localhost:8080/oozie -config map-reduce-job.properties -run
job: 0000000-100820220527261-oozie-tomc

・ジョブの様子を確認(実行時に表示されるJob Idを引数に)

oozie job -oozie http://localhost:8080/oozie -info 0000000-100820220527261-oozie-tomc
Job Id: 0000000-100820220527261-oozie-tomc
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Workflow Name : map-reduce-wf
App Path : hdfs://localhost:8020/tmp/root/workflows/map-reduce
Status : RUNNING
Run : 0
User : root
Group : users
Created : 2010-08-20 14:30 +0000
Started : 2010-08-20 14:30 +0000
Last Modified : 2010-08-20 14:30 +0000
Ended : -

Actions
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Action Name Type Status Transition Ext. Id Ext. Status Error Code Started Ended
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
hadoop1 map-reduce RUNNING - job_201008202153_0002 RUNNING - 2010-08-20 14:30 +0000 -
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

・同様に他の.propertiesファイルも試すことができます。

oozie job -oozie http://localhost:8080/oozie -config map-reduce-job.properties -run
job: 0000000-100820214321863-oozie-tomc

oozie job -oozie http://localhost:8080/oozie -config hive-job.properties -run
job: 0000005-100820220527261-oozie-tomc

oozie job -oozie http://localhost:8080/oozie -config pig-job.properties -run
job: 0000004-100820220527261-oozie-tomc

それぞれの実行内容はworkflowsの中のディレクトリに書いてあります。

"消費電力あたりのコンピュータの能力"の推移

2010-08-12T19:28:00.043+09:00

"消費電力あたりのコンピュータの能力"の推移を、メモ。そして、素人の予想。信用しちゃいけません。

・ストレージ

HDD[W/TB]

年	総容量	総消費電力	台数	GB/台	消費電力/台	W/TB
1997	250GB	350W	25	10	14W	1400
2003	250GB	24W	2	125	12W	96
2008	250GB	8W	1	250	8W	32
2010	2TB	8W	1	2000	8W弱?	4
2015(予想)						1くらい?

参考文献: http://itpro.nikkeibp.co.jp/as/seagate/index.shtml
SSDはどうなんだ?

ちなみに値段($/TB)は、

年	$/TB
2005	1000
2010	100
2015(予想)	10

参考文献:
http://agigatech.com/blog/system-uses-for-nand-flash/
http://agigatech.com/blog/why-are-ssds-still-so-expensive/
http://www.mariomansour.org/how-much-did-a-hard-drive-cost-in-1982/

・演算能力

GPU[W/TFLOPS]

年月	GFLOPS/W	W/TFLOPS
2005-11	1	1000
2006-1	2	500
2007-9	2.2	455
2007-11	4.5	222
2008-6	7.5	133
2009-4	12	83
2015(予想)	12	10くらい?

参考文献:
http://pc.watch.impress.co.jp/img/pcw/docs/167/935/html/kaigai_3.jpg.html
http://pc.watch.impress.co.jp/docs/column/kaigai/20090501_167935.html

CPUはどうなんですかねえ?演算能力はいろいろでよくわかんないですし。他にspecなんちゃらだとどうなるんだろう。

ECU(Amazon EC2 Compute Unit)での資料が欲しいですが、見つかりませんね。まったく無根拠にグラフを描いてみた。2015年に1W/ECUは、大きすぎ?

W/ECU(Amazon EC2 Compute Unit)

・電池
リチウムイオン二次電池のエネルギー密度[Wh/kg]

Wh/kg

参考文献: Sharpの資料

電気に関する計算(利用編)

2010-08-12T19:21:00.011+09:00

うちで使う電気のうちわけを確認。

ここは、大きいもののみ(少し多めに)。冷蔵庫が駄目なのはわかってるけど。

常時利用(止められない)			57kWh/月
冷蔵庫(99年、約90L)	79W	7x24	57kW/月 ←これがいけないなあ。
常時利用(まあまあ止められるけど)			12kWh/月
ADSLモデム-NV	16W	7x24	12kWh/月
一時利用			14kWh/月
ブラウン管テレビ(14インチ)	55W	2h/day	4kWh/月
液晶テレビ(20インチ)	54W(待機0.8W)	6h/day	10kWh/月
照明？(※1)	？	？	？
一時利用(PC)			11kWh/月
モニタ	50W	4h/day	6kWh/月
PC本体	40W(?)	4h/day	5kWh/月
一時利用(高負荷)			54kWh/月
炊飯器炊飯(保温しない)	1060W	50min/day	27kWh/月
冷暖房(なし※2)	-	-	-
掃除機	900W	1h/week	4kWh/月
電子レンジ	1000W	10min/day	5kWh/月
ドライヤー	1200W	10min/day	6kWh/月
洗濯機(洗濯)	120Wh/回	10回/mon	1.2kWh/月
洗濯機(乾燥)	3560Wh/回	3回/mon	11kW/月

合計: 148kWh/月

※1. 明るさは、日本人は明るいのが好きですが、ただの慣れの問題だと思います。うちは、部屋数少ないし、蛍光灯は1/2で十分だし、LEDも部分導入済み。
※2. 暖かい／寒いも、慣れの問題だと思います。東京23区も、ほとんど冷暖房なくて大丈夫だと思います。特に夏は、皆が冷房を止めれば、全体が少し涼しくなるはず。あと、あたりまえだけど、冷暖房効率は、部屋はほどほどの大きさがいいんです。
※3. 部屋の広さも、大きければいいというのも、よくわかりません。なんとなく○㎡ないとだめだと思ってるのかなあ。導線とか効率を考えると、ほどほどがいいはずですが。

電気に関する計算(入力編)

2010-08-11T19:52:00.040+09:00

うちの電気（150kWh/月, 東京で3000円/月）の電気を、普通に電力会社から買わない場合の妄想計算。

・プロパンガスのように、電気をリチウムイオン電池につめて運んでもらおう思うと...
プロパンガスと同じ重さで5kWh（大きさで23kWh）しか入らない。必要な電気は、5kWh/日なので、毎日、交換してもらわないと。交換してくれる人は、帰りも軽い訳じゃない、ってのも、ちょっと嫌かも。あ、ガスも空でも軽くないか...
※ こんなサービス、今は、存在しないです、きっと。

・太陽光発電なら
2kW(ピーク)のシステムでも、一日にピーク相当でせいぜい2.5時間分の日照があれば、いいのかも。
2kWのシステムは、SANYOの200Wモジュール（HIP-200BK1,14kg,1.18平方メートル）を10枚で、140kg、11.2平方メートル（3.6坪）(→SANYOのソーラーシステム)
※ ここでは、日本の変換効率と値段の高いパネルを想定していますが、海外の安いもの(効率1/2、発電量あたりの値段1/10)も要検討。

・ガソリンエンジン発電機は
なんとなく効率悪いと思っていたけど、どうなんだろう？
例えば、ホンダの発電機EU26i（2.6kVA,5.9L,7.7時間）で、ガソリンは120円/Lとする。
- うちの必要な電気からすると、5310円/月。(約25円/kWh)
- 一方、ずーっと、回し続けると、18L/日必要なので、6.5万円/月かな。
燃費とかきちんと書いてないものなんだなあ。負荷によって燃費かわるんだろうけど、よくわからない。うまく使えば、意外と、そんな悪くない気がする。というか、こういう計算がぎりぎりになるように、電気が高くしてあるのかなあ。

...と思ったら、むむむ、発電機によって、だいぶ違うなあ。(→ホンダの発電機)

たぶん、この計算は細かくは正確じゃないんだろうけど
ホンダの発電機EU16i（1.6kVA,4.1L,10時間）。16kWh/492円 = 30円/kWh
ホンダの発電機EU24i（2.4kVA,12.7L,25時間）。60kWh/1524円 = 25円/kWh
ホンダの発電機EU26i（2.6kVA,5.9L,7.7時間）。20kWh/708円 = 35円/kWh
ホンダの発電機EU28i（2.8kVA,12.7L,20時間）。56kWh/1524円 = 27円/kWh

さらに、電気料金とガソリン代の国際比較
米国の電気料金は、日本の6割程度(2006年資料, 資源エネルギー庁)
米国のガソリン代は、日本の5割程度(2009年, 財務省)

・風力はきびしそう
発電機からすると10m/sは欲しいが、普通に人が暮らす場所では厳しい。
発電機は、ゼファー社Z-501で、
6.0m/sで50W
8.0m/sで100W
10.0m/sで200W
12.5m/sで400W
http://www.zephyreco.co.jp/products/option/z501/index.html

日本各地の風速は、「日本の風力発電」に年間平均風速(地上高30m)の資料 = http://www.tronc.co.jp/pdfweb/fuukyo8pc0.pdf)

・別途、なんぞ電気をためる装置が必要
というか、電気がずっといるのは、冷蔵庫だけなので、そっちをどうにかするっていう方法も。「24時間電気がなくてもいい冷蔵庫」とか作れそうな気が。エコアイスみたいに氷じゃを作っておいて...みたいな。それでも、冷凍庫が無理っぽいけど、じゃ、冷凍食品使わなくていいかなあ、とか。

自家発電といえば、燃料電池、小型ガスタービン、水力、風力、地熱、とか、別途検討。

電気をためるといえば、電池、キャパシター電池、フライホイール、マイダムとか、別途検討。

とりあえず自分ちをまかなうくらいの川•滝（水力）やダムって、どのくらいのサイズがあればいいんだろう。

フライホイールはどうなったんだろう？機械好きなんだけど。(→ BeaconPower、日本フライホイール)

(参考)自動車レースのF1で、KERSという"ブレーキ時にためたエネルギーを追い越し時に使う装置"があった。2009年のレギュレーションでは、一周あたり発揮できるエネルギーは最大で400kJ(= 111Wh)だった。電池式とフライホイール式があったけど、電池式しかレースで走らなかったと思う。電池式は、システム全体で35kg程度ってのだったと思う。

※1 リチウムイオン二次電池のエネルギー密度
2010年頃：約100Wh/kg，約200Wh/L？
(Wikipedia記事, kotobank項目, TechOn記事, 資源エネルギー庁報告書, 電器産業成長フォーラムの記事, Sharpの資料)

※2 プロパンガス50kg容器(※2)
中身は、50kg, 118L(容器は36kg)
(高圧ガス保安協会の記事, ガスボンベの説明, プロパンガスの供給方法)

※3 電池は、ほかにもいろいろ気にしないと
・出力（kWとか）
・持続時間（時間が経つと電気がなくなっちゃうとか）
・寿命（繰り返し使うと劣化するとか）
・危険性(電池が燃えたり)
・メンテナンス性
・価格

--
以上

ユタ州のデータセンター集約事例

2010-08-04T18:37:00.007+09:00

2009年1月に始めたユタ州のデータセンター集約計画が2010年6月に終わったそうです(※1)。18カ月(計画通り)で、35のデータセンターを2つ(1つはバックアップサイトかと)に集約した話です。集約後の物理サーバー数は591台で、400万ドル(3億6千万円)お得な話だそうです。

ユタ州の人口は280万人くらい(※2)で、日本だと広島県くらいらしい(※3)。州政府の方が県より機能は多いのかもしれませんが。

サーバーは、IBMやHPのブレードなんですかね。ストレージはメインがSun StorageTek 9990Vらしく(Sun Storage 6780とかHitachi AMS 2500の名前も出てきます)、容量はせいぜい数百TBとかみたいですが。あ、あと、残念ながら流行りの自然空冷のデータセンターではなさそうです。

※1 Data Center ConsolidationのNewsletter
2010年6月分は、http://dts.utah.gov/architecture/datacenterconsolidation/documents/DCCNewsletter_JuneJuly2010.pdf
(newsletter一覧は、http://dts.utah.gov/architecture/datacenterconsolidation/)
※2 ユタ州の人口(2009年)は、http://jobs.utah.gov/jsp/wi/utalmis/gotoPopulation.doから取得
※3 日本の都道府県別人口(2008年)は、http://www.e-stat.go.jp/SG1/estat/List.do?bid=000001024908&cycode=0

NISTの「DRAFT Guide to Security for Full Virtualization Technologies(SP800-125ドラフト版)」から

2010-07-27T18:36:00.005+09:00

NIST SP800-125のドラフト「DRAFT Guide to Security for Full Virtualization Technologies」が出ています。(virtualization.infoに紹介記事があります。)

ドラフトには、仮想化を利用する上での具体的なセキュリティアドバイスなんかが書いてあります。

ハイパーバイザー用、ゲストOS用、仮想インフラ用、デスクトップ仮想化用のセキュリティアドバイスうち、ハイパーバイザー用部分のみvirtualization.infoの記事で日本語になってます。

で、足りない他の部分を、適当にメモ。

--
「4. Security Recommendations for Virtualization Components」から、

"4.1 ハイパーバイザー用"は、→「virtualization.info」の記事参照

"4.2 ゲストOS用"は、
まず、普通に(ハードウェア上で)動かしている場合と同じことに注意しよう、さらにゲストOSならではいくつかの点にも注意。
特に、ホスト/ゲスト間のファイル共有やクリップボード共有に注意しよう。
ゲストOSに対して以下がお勧め
・OSアップデートをかかさない
・普通のOS(=仮想でない)と同等のポリシーで、バックアップする
・使っていない仮想ハードウェアを接続しない(仮想ディスク、仮想ネットワークアダプタ、シリアルポート、パラレルポート)
・ゲストOSそれぞれの認証を変える
・ゲストOSの仮想デバイスとホストの物理デバイスの対応をきっちりとろう

ゲストOSが侵されると、同じホスト上の他のゲストOSも侵されていると考えられる。以下の二つの対処方がありますね。
・すべてのゲストOSが侵されたと考え、すべてのゲストOSを安全なバックアップの時点まで戻す。
・一つ一つのゲストOSに対し、侵されていないかチェックし、侵されていた場合はセキュリティポリシーに従い処理する。

"4.3 仮想インフラ用"

仮想ハードウェアのアクセスコントロールに注意しよう。仮想ハードウェアは、それを使うべきゲストOSにだけ、適切なアクセス許可を与えよう。

仮想ネットワークは、ネットワークをモニターしたい場合に問題になるかも。(ストレージネットワークに関しても同じ)

"4.4 デスクトップ仮想化プラットフォーム用"

デスクトップ仮想化とサーバー仮想化の主な違いは、VMイメージの管理。
サーバーでは管理者の自由だが、デスクトップではユーザーが作成・変更・コピー・削除を行う、ということ。

デスクトップ仮想化を利用場合には、どんな場合にセキュリティを強制するか・しないか、を、決定する必要がある。
また、仮想マシンを、普通のコンピュータとみなす考え方と、アプライアンス(期限が来たら置き換え)とみなす考え方がある。

セキュアに調整されたデスクトップ用のゲストOSを使うとセキュリティをアップさせることができるよ、
...以下、そういう話が書いてあるようですが、...あれれ?「Security Recommendations」ってこういうこと?("仮想化を使う上でのセキュリティ注意"でなくて、"デスクトップ仮想化をするとこんないいことある"みたいな逆の話になってません？)

--

virtualization.infoの記事も言うように、結構あたりまえ感ありますが、まあ。あ、あと、これDRAFTです。

1台でHBase, Hive, Pig, HUE(旧Cloudera Desktop)を試してみる(Ubuntu + Cloudera)

2010-01-27T06:44:00.031+09:00

概要
・1台のLinux環境で、簡単に、HadoopのHBase, Hive, Pig, HUEを試してみます。
・Ubuntu(1台)でCloudera社のHadoopパッケージ(CDH3)を利用します。CDH3のHadoopが動いていることを前提とします。 → 構築方法はこちら
(手元ではUbuntu 11.04/10.04/9.10/8.04あたりで試していますが、他バージョンやDebian等でも大丈夫だと思います)

その他の記事
	Hadoop(1台構成)	Hive,Pig等(1台構成)	Hadoop(複数台構成)
CentOS	こちら	HBase,Hive,Pig,HUE(旧Cloudera Desktop), Oozie	こちら
Ubuntu	こちら	HBase,Hive,Pig,HUE(旧Cloudera Desktop)

必要なもの
・Linux(Ubuntu)+Cloudera版Hadoop環境(1台)→ 構築方法はこちら
・インターネット接続
・Cloudera社のCDH3のHBase, Hive, Pig, HUEのパッケージ(aptでインターネットからインストール)

作業手順

以下の、1. HBase, 2. Pig, 3. Hive, 4. HUEの手順は、独立して試すことができますし、一つの環境でまとめて試すこともできます。(それぞれデータの管理は別々です。)

1. HBase

1-1. インストール: Linux環境にて、rootで作業します。

1-1-1. HBaseをインストールします。

apt-get -y install hadoop-hbase
apt-get -y install hadoop-hbase-master
apt-get -y install hadoop-hbase-regionserver
apt-get -y install hadoop-zookeeper-server

1-1-2. 設定を変更する。

うっすらdistributedモードっぽく動かすために、2つのファイルを変更します。

・/etc/zookeeper/zoo.cfg
/etc/zookeeper/zoo.cfgの最後の「server.0=localhost:2888:3888」の「localhost」の部分を他のもの(IPアドレス等)に変えます。

・/etc/hbase/conf/hbase-site.xml

cat << EOF > /etc/hbase/conf/hbase-site.xml
<configuration>
<property>
<name>hbase.zookeeper.quorum</name>
<value>zookeeperのzoo.cfg設定にあわせます(IPアドレス等)</value>
</property>
<property>
<name>hbase.rootdir</name>
<value>hdfs://localhost:8020/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
</configuration>
EOF

1-2. サービス起動

※ CDH3 beta2やbeta3では、ここで、以下が必要かもしれません。

mkdir /var/run/hbase

/etc/init.d/hadoop-zookeeper-server start
/etc/init.d/hadoop-hbase-master start
/etc/init.d/hadoop-hbase-regionserver start

確認します。

jps

結果例

3148 TaskTracker
3319 Jps
2973 JobTracker
3053 DataNode
2787 HRegionServer
2889 NameNode
3272 HMaster
2376 QuorumPeerMain

1-3. 試してみる。

Hbaseを操作するshellをスタートさせます。

hbase shell

結果例

HBase Shell; enter 'help' for list of supported commands.
Type "exit" to leave the HBase Shell
Version 0.90.3-cdh3u1, r, Mon Jul 18 08:23:50 PDT 2011
hbase(main):001:0>

以下、hbaseプロンプトにて、version, status, exitあたりを試します。

結果例

base(main):001:0> version
0.90.3-cdh3u1, r, Mon Jul 18 08:23:50 PDT 2011
hbase(main):002:0> status
1 servers, 0 dead, 2.0000 average load
hbase(main):003:0> exit

テーブルを作ったり、

create 'yamanoteline', 'transfer', 'location'

データをいれてみたり、

put 'yamanoteline', 'Shinagawa', 'location:ku', 'Minato'
put 'yamanoteline', 'Shinagawa', 'transfer:jreast', '3'
put 'yamanoteline', 'Shinagawa', 'transfer:subway', '0'
put 'yamanoteline', 'Shinagawa', 'transfer:other', '2'

put 'yamanoteline', 'Osaki', 'location:ku', 'Shinagawa'
put 'yamanoteline', 'Osaki', 'transfer:jreast', '2'
put 'yamanoteline', 'Osaki', 'transfer:subway', '0'
put 'yamanoteline', 'Osaki', 'transfer:other', '1'

put 'yamanoteline', 'Gotanda', 'location:ku', 'Shinagawa'
put 'yamanoteline', 'Gotanda', 'transfer:jreast', '0'
put 'yamanoteline', 'Gotanda', 'transfer:subway', '1'
put 'yamanoteline', 'Gotanda', 'transfer:other', '1'

データを取得(get)してみたり、検索(scan)してみたりします。

hbase(main):001:0> get 'yamanoteline', 'Osaki'
COLUMN                  CELL
 location:ku            timestamp=1314086040085, value=Shinagawa
 transfer:jreast        timestamp=1314086040125, value=2
 transfer:other         timestamp=1314086040207, value=1
 transfer:subway        timestamp=1314086040165, value=0
4 row(s) in 0.0450 seconds
hbase(main):002:0> scan 'yamanoteline', {STARTROW => 'G', STOPROW => 'P'}
ROW                     COLUMN+CELL
 Gotanda                column=location:ku, timestamp=1314086040267, value=Shinagawa
 Gotanda                column=transfer:jreast, timestamp=1314086040306, value=0
 Gotanda                column=transfer:other, timestamp=1314086041294, value=1
 Gotanda                column=transfer:subway, timestamp=1314086040379, value=1
 Osaki                  column=location:ku, timestamp=1314086040085, value=Shinagawa
 Osaki                  column=transfer:jreast, timestamp=1314086040125, value=2
 Osaki                  column=transfer:other, timestamp=1314086040207, value=1
 Osaki                  column=transfer:subway, timestamp=1314086040165, value=0
2 row(s) in 0.1510 seconds
hbase(main):011:0>

ここで「scan 'yamanoteline'」とすれば全データが取得されます。

・HDFS上は、/hbase/以下に、難しそうなファイルができます。
・ここで使ったデータは、以下の感じです。(山手線の駅の乗り換え路線数と所在(区))

name	transfer:jreast	transfer:subway	transfer:other	location:ku
Shinagawa	3	0	2	Minato
Osaki	2	0	1	Shinagawa
Gotanda	0	1	1	Shinagawa

2. Pig

2-1. インストール: Linux環境にて、rootで作業します。

apt-get -y install hadoop-pig

2-2. 試してみる

テストファイルをローカル(/var/pigtest.csv)に用意し、

cat << TESTDATA > /var/tmp/pigtest.csv
Shinagawa,3,0,2 Minato
Osaki,2,0,1,Shinagawa
Gotanda,0,1,1,Shinagawa
Meguro,0,2,1,Shinagawa
Ebisu,2,1,0,Shibuya
Shibuya,2,3,3,Shibuya
Harajuku,0,1,0,Shibuya
Yoyogi,1,1,0,Shibuya
Shinjuku,5,3,3,Shinjuku
TESTDATA

テストファイルをHDFS上の/var/pigtest/test置きます。

hadoop-0.20 fs -put /var/tmp/pigtest.csv /var/pigtest/test.csv

pigのシェルを起動させ

JAVA_HOME=/usr/lib/jvm/java-6-sun pig

2011-08-22 21:59:22,720 [main] INFO  org.apache.pig.Main - Logging error messages to: /root/pig_1314086362718.log
2011-08-22 21:59:23,165 [main] INFO  org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to hadoop file system at: hdfs://localhost:8020
2011-08-22 21:59:23,678 [main] INFO  org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to map-reduce job tracker at: localhost:8021
grunt>

以下、検索を試してみます。

grunt> Y1 = LOAD '/var/pigtest/test.csv' USING PigStorage(',')
AS (name: chararray,
transfer_jreast: int, transfer_subway: int, transfer_other: int,
location_ku: chararray);
grunt> Y2 = FILTER Y1 BY location_ku MATCHES 'Shibuya';
grunt> DUMP Y2;
...省略（ここでMapreduceが走るので、少し時間がかかります。）...
ine.mapReduceLayer.MapReduceLauncher - Success!
(Ebisu,2,1,0,Shibuya)
(Shibuya,2,3,3,Shibuya)
(Harajuku,0,1,0,Shibuya)
(Yoyogi,1,1,0,Shibuya)
grunt> QUIT;

3. Hive

3-1. インストール: Linux環境にて、rootで作業します。

apt-get -y install hadoop-hive

3-2. 試してみる。

ローカルに、テスト用のデータファイルを準備します。(果物の色と値段のデータ)

echo -e "apple\0001red\0001100\0012lemon\0001yellow\0001120\0012orange\0001orange\000160" > /var/tmp/data1

hiveのシェルを起動させ

hive

Hive history file=/tmp/root/hive_job_log_root_200912092154_480111727.txt
hive>

以下、hive上で、データをロードして、SQLっぽいコマンドで少しいじってみます。
テーブルを作成してみます。SHOW TABLESで確認してみます。

hive> CREATE TABLE fruits (name STRING, color STRING, price INT);
OK
Time taken: 27.504 seconds
hive> SHOW TABLES;
OK
fruits
Time taken: 0.288 seconds

データをロード(果物の色と値段のデータです。)

hive> LOAD DATA LOCAL INPATH '/var/tmp/data1' OVERWRITE INTO TABLE fruits;
Copying data from file:/var/tmp/data1
Loading data to table fruits
OK
Time taken: 1.104 seconds
hive> SELECT * FROM fruits;
apple red 100
lemon yellow 120
orange orange 60
Time taken: 0.665 seconds

データを条件で抽出(80円より安い果物を表示します)

hive> SELECT * FROM fruits WHERE price < 80;
Total MapReduce jobs = 1
Number of reduce tasks is set to 0 since there's no reduce operator
Starting Job = job_200912092139_0003, Tracking URL = http://localhost:50030/jobdetails.jsp?jobid=job_200912092139_0003
Kill Command = /usr/lib/hadoop/bin/hadoop job -Dmapred.job.tracker=localhost:8021 -kill job_200912092139_0003
2009-12-09 09:59:52,112 map = 0%, reduce =0%
...省略（ここでMapreduceが走るので、少し時間がかかります。）...
2009-12-09 10:00:34,989 map = 100%, reduce =100%
Ended Job = job_200912092139_0003
OK
orange orange 60
Time taken: 48.499 seconds
hive> QUIT;

・JOINなども試せます。
もう一つファイルを用意して、

echo -e "pomme\0001apple\0012citron\0001lemon\0012orange\0001orange" > /var/tmp/data2

テーブルを作って、ロードします。(果物の名前のフランス語・英語の辞書です。)

hive> CREATE TABLE enfr (fr STRING, en STRING);
OK
Time taken: 18.98 seconds
hive> LOAD DATA LOCAL INPATH '/var/tmp/data2' OVERWRITE INTO TABLE enfr;
Copying data from file:/var/tmp/data2
Loading data to table enfr
OK
Time taken: 1.115 seconds
hive> SELECT * FROM enfr;
OK
pomme apple
citron lemon
orange orange
Time taken: 0.875 seconds

JOINを試してみます。(80円以上する果物を、フランス語で表示します。)

SELECT e.fr, f.price FROM fruits f JOIN enfr e ON f.name = e.en WHERE f.price > 80;
Total MapReduce jobs = 1
...省略（ここでMapreduceが走るので、少し時間がかかります。）...
2009-12-15 10:03:10,274 map = 100%, reduce =100%
Ended Job = job_200912152135_0004
OK
pomme 100
citron 120
Time taken: 132.47 seconds
hive>

・ここで使ったテーブルはこんな感じです。

fruits
name	color	price
apple	red	100
lemon	yellow	120
orange	orange	20

enfr
fr	en
pomme	apple
citron	lemon
orange	orange

・もっとためすには、例えば、こちら
・HDFS上には、/user/hive/warehouse/以下にファイルができてたりします。

4. HUE(Hadoop User Experience)

HUEは、Cloudera Desktopの新しい名前です。以下は、CDH3beta3の記事、すいません、CDH3(ベータ無し)では、未確認です。

4-1. インストール: Linux環境にて、rootで作業します。

4-1-1.パッケージのインストール

apt-get -y install hue hue-plugins

4-1-3. 設定ファイルの準備

一台構成のお手軽設定(hadoop-0.20-conf-pseudo-hue)を使っている人は、特に何もしなくてもよさそうです。が、もしかすると、/etc/hue/hue.iniのうしろのnamenode_hostやjobtracker_hostを変更したほうがいいかも。

そうでない人は、おおむね以下を書き換えます。
・/etc/hadoop/conf.pseudo.clouderadesktop/hdfs-site.xmlに以下を追加します。
(<configuration>と</configuration>の間に)

<property>
<name>dfs.namenode.plugins</name>
<value>org.apache.hadoop.thriftfs.NamenodePlugin</value>
<description>Comma-separated list of namenode plug-ins to be activated.
</description>
</property>
<property>
<name>dfs.datanode.plugins</name>
<value>org.apache.hadoop.thriftfs.DatanodePlugin</value>
<description>Comma-separated list of datanode plug-ins to be activated.
</description>
</property>
<property>
<name>dfs.thrift.address</name>
<value>0.0.0.0:9090</value>
</property>

・/etc/hadoop/conf.pseudo.clouderadesktop/mapred-site.xmlに以下を追加します。
(<configuration>と</configuration>の間に)

<property>
<name>jobtracker.thrift.address</name>
<value>0.0.0.0:9290</value>
</property>
<property>
<name>mapred.jobtracker.plugins</name>
<value>org.apache.hadoop.thriftfs.ThriftJobTrackerPlugin</value>
<description>Comma-separated list of jobtracker plug-ins to be activated.
</description>
</property>

4-1-2. サービスのスタート

/etc/init.d/hadoop-0.20-namenode restart
/etc/init.d/hadoop-0.20-datanode restart
/etc/init.d/hadoop-0.20-jobtracker restart
/etc/init.d/hadoop-0.20-tasktracker restart
/etc/init.d/hue start

4-1-3. firewallの設定

tcpの8088が空いている必要があります。

4-2. 使ってみる

Webブラウザ(Firefox)から、
http://ホスト:8088/
を閲覧します。

ログイン画面がでたら、例えば、
username=hadoop, password=hadoop
と入れてログインし、いろいろと試してみます。

ログイン画面(usernameとpasswordを入力する画面)が出ない場合は、
ブラウザのエンコード設定(表示→エンコーディング)を、西欧やUnicodeにして試してみます。

ログイン画面例

ログイン後画面例

下部パネルの右のアイコンからいろいろな機能を利用できます。HDFSの中身をみたり()、
MapReduce関連の管理・操作をしたり(,)することができます。
これらは、Cloudera Desktopのころからあった機能です。
新入りは、Beeswax for Hive(Hiveの操作画面)です。()

4-3. Hive操作画面(Beeswax for Hive)

Hive操作画面例

HDFS上のファイルから、テーブルを作ったり、

QUERYの保存や実行等をすることができます。

--
以上

5台構成のまじめなHadoopクラスタ(CentOS + Cloudera)

2009-12-19T08:01:00.003+09:00

こちらで作った4台構成のHadoopにセカンダリーマスターを追加します。

同じ構成のサーバーを一つ追加します。
こちらの、0準備と1インストールは同じです。

2. インストール: 各サーバーにて

2-1. セカンダリーマスターノード

セカンダリーマスターノードにて、rootで作業します。

サービス起動

service hadoop-0.20-secondarynamenode start

サービス登録

chkconfig --add hadoop-0.20-secondarynamenode

Firewall設定：とりあえずOffで。

定期的に、マスターノードのログがまるめられて、セカンダリーマスターへデータが保存されます。

Hadoop動作確認

2009-12-19T07:39:00.007+09:00

ざっとHadoopの動作確認のことを書いておきます。

Hadoop-0.20の基本(HDFSとMapReduce)動作の確認です。

1. 正常動作の確認

1-1. Web UIから概要確認

1-1-1. HDFS

http://ネームノード:50070/を閲覧して以下を確認します。

・http://ネームノード:50070/dfshealth.jspへリダイレクトされること。
・トップページの内容を確認
　- 一行目が「NameNode 'ネームノード名:ネームノードのポート'」であること。
　- ポートは、core-site.xmlのfs.default.nameのポート
　　例「NameNode 'nm01:8020'」
　- Started:, Version: が、適切な値であること。
　- "Browse the filesystem"のリンクをたどって、次のページが、「Contents of directory /」で、正常に表示されること。
　- Cluster Summaryで、
　　- Live Nodesの数が適切（データノードの数）であること。
　　- Dead Nodesが0であること。
　- Live Nodesのリンクをたどって、次のページが、データノード一覧が正しいか確認。
　- NameNode Storageが、期待通りであること。
　　- TypeがIMAGE_AND_EDITSであること。
　　- StateがActiveであること

1-1-2. MapReduce

http://ネームノード:50070/を閲覧して、以下を確認します。

・http://ネームノード:50070/jobtracker.jspへリダイレクトされること。
・トップページの内容を確認
　- 一行目が「ネームノード名 Hadoop Map/Reduce Administration」であること。
　　例「nm01 Hadoop Map/Reduce Administration」
　- StateがRUNNINGであること。
　- Started:, Version: が、適切な値であること。
　- Cluster Summaryで、Nodesの数が適切（タスクトラッカーのノードの数）であること。
　- Nodes数のリンクをたどって、次のページが、タスクトラッカーのノード一覧が正しこと。

1-2. CLIから、サーバー内の様子を確認

・各ノードでhadoop関連のjavaのサービス起動状況を確認(jpsコマンド)
・各ログを確認
・マスターノードのデータを確認：セカンダリーマスターによるログの切り捨て
・セカンダリーマスターノードのデータを確認：マスターからデータがコピーされていること

1-3. CLIからテストを実行

・HDFSで、フォルダを追加する、削除する、ファイルを置く、見る、削除する
・MapReduceでサンプルを実行し結果を確認する。
　- 計算規模を設定できるサンプルで全ノードの動作テスト(pi計算など)
　- 明示的にHDFS上に置いたファイルを使ったテスト(wordcountなど)

--

1台でHBase, Hive, Pig, HUE(旧Cloudera Desktop)を試してみる(CentOS + Cloudera)

2009-12-09T20:52:00.116+09:00

概要
・1台のLinux環境で、簡単に、HadoopのHBase, Hive, Pig, HUE(旧Cloudera Desktop)を試してみます。
・CentOS(1台)でCloudera社のHadoopパッケージ(CDH3)を利用します。Hadoop環境(CDH3)の構築方法はこちら

その他の記事
	Hadoop(1台構成)	HBase,Hive,Pig,HUE,Oozie等(1台構成)	Hadoop(複数台構成)
CentOS	こちら	HBase,Hive,Pig, HUE(旧Cloudera Desktop), Oozie	こちら
Ubuntu	こちら	HBase,Hive,Pig,HUE(旧Cloudera Desktop)

必要なもの
・Linux(CentOS)+Cloudera版Hadoop環境CDH3(1台) → 構築方法はこちら
・インターネット接続
・Cloudera社のHBase,Hive,Pig,HUEのパッケージ(yumでインターネットからインストール)

作業手順

以下の、1. HBase, 2. Pig, 3. Hive, 4. HUE(旧Cloudera Desktop)の手順は、独立して試すことができますし、一つの環境でまとめて試すこともできます。(それぞれデータの管理は別々です。)

ここでは、Cloudera社のCDH3リポジトリが必要ですので、既に設定されていないか確認します。

ls /etc/yum.repos.d/

で、cloudera-cdh3.repoが存在すれば、OKのはずです。無い場合は、CDHのhadoopのインストール方法を確認してください。

1. HBase

CDH3(beta2以降)のHBaseは、以前(contrib)から、パッケージ名やディレクトリ名がだいぶ変更されているので注意です。ここでは、CDH3にあわせて書いてあります。

1-1. インストール: Linux環境にて、rootで作業します。

1-1-1. HBaseをインストールします。

yum -y install hadoop-hbase
yum -y install hadoop-hbase-master
yum -y install hadoop-hbase-regionserver
yum -y install hadoop-zookeeper-server

確認します。

yum list hadoop-hbase-*

結果例

Installed Packages
hadoop-hbase.noarch                                                  0.90.3+15.3-1                                      installedhadoop-hbase-master.noarch                                           0.90.3+15.3-1                                      installed
hadoop-hbase-regionserver.noarch                                     0.90.3+15.3-1                                      installed
Available Packages
hadoop-hbase-doc.noarch                                              0.90.3+15.3-1                                      cloudera-cdh3
hadoop-hbase-thrift.noarch                                           0.90.3+15.3-1

確認します。

yum list hadoop-zookeeper*

結果例

Installed Packages
hadoop-zookeeper.noarch                                               3.3.3+12.12-1                                         installed
hadoop-zookeeper-server.noarch                                        3.3.3+12.12-1

1-1-3. 設定を変更する。

うっすらdistributedモードっぽく動かすために、2つのファイルを変更します。

・/etc/zookeeper/zoo.cfg
/etc/zookeeper/zoo.cfgの最後の「server.0=localhost:2888:3888」の「localhost」の部分を他のもの(IPアドレス等)に変えます。

・/etc/hbase/conf/hbase-site.xml

cat << EOF > /etc/hbase/conf/hbase-site.xml
<configuration>
<property>
<name>hbase.zookeeper.quorum</name>
<value>zookeeperのzoo.cfg設定にあわせます(IPアドレス等)</value>
</property>
<property>
<name>hbase.rootdir</name>
<value>hdfs://localhost:8020/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
</configuration>
EOF

1-2. サービス起動

service hadoop-zookeeper-server start
service hadoop-hbase-master start
service hadoop-hbase-regionserver start

確認します。

/usr/java/default/bin/jps

結果例

4588 Jps
3303 TaskTracker
3161 JobTracker
3224 DataNode
3107 NameNode
4395 HMaster
4549 HRegionServer
4325 QuorumPeerMain

1-3. 試してみる。

Hbaseを操作するshellをスタートさせます。

hbase shell

結果例

HBase Shell; enter 'help<RETURN>' for list of supported commands.
Type "exit<RETURN>" to leave the HBase Shell
Version 0.90.3-cdh3u1, r, Mon Jul 18 08:23:50 PDT 2011>

以下、hbaseプロンプトにて、version, status, exitあたりを試します。

結果例

HBase Shell; enter 'help' for list of supported commands.
Version: 0.89.20100924+28, r, Mon Oct 11 09:52:07 PDT 2010
hbase(main):001:0> version
Version: 0.89.20100924+28, r, Mon Oct 11 09:52:07 PDT 2010
hbase(main):002:0> status
1 servers, 0 dead, 2.0000 average load
hbase(main):003:0> exit

テーブルを作ったり、

create 'yamanoteline', 'transfer', 'location'

データをいれてみたり、

put 'yamanoteline', 'Shinagawa', 'location:ku', 'Minato'
put 'yamanoteline', 'Shinagawa', 'transfer:jreast', '3'
put 'yamanoteline', 'Shinagawa', 'transfer:subway', '0'
put 'yamanoteline', 'Shinagawa', 'transfer:other', '2'

put 'yamanoteline', 'Osaki', 'location:ku', 'Shinagawa'
put 'yamanoteline', 'Osaki', 'transfer:jreast', '2'
put 'yamanoteline', 'Osaki', 'transfer:subway', '0'
put 'yamanoteline', 'Osaki', 'transfer:other', '1'

put 'yamanoteline', 'Gotanda', 'location:ku', 'Shinagawa'
put 'yamanoteline', 'Gotanda', 'transfer:jreast', '0'
put 'yamanoteline', 'Gotanda', 'transfer:subway', '1'
put 'yamanoteline', 'Gotanda', 'transfer:other', '1'

データを取得(get)してみたり、検索(scan)してみたりします。

hbase(main):001:0> get 'yamanoteline', 'Osaki'

COLUMN                       CELL
location:ku                 timestamp=1260874378675, value=Shinagawa
transfer:jreast             timestamp=1260874469780, value=2
transfer:other              timestamp=1260874574851, value=1
transfer:subway             timestamp=1260874519709, value=0
4 row(s) in 0.8230 seconds
hbase(main):002:0> scan 'yamanoteline', {STARTROW => 'G', STOPROW => 'P'}
ROW     COLUMN+CELL
Gotanda  column=location:ku,    timestamp=1262587519391, value=Shinagawa 
Gotanda column=transfer:jreast, timestamp=1262587519537, value=0     
Gotanda column=transfer:other,  timestamp=1262587519881, value=1      
Gotanda column=transfer:subway, timestamp=1262587519689, value=1
Osaki   column=location:ku,     timestamp=1260874378652, value=Shinagawa
Osaki   column=transfer:jreast, timestamp=1260874469255, value=2
Osaki   column=transfer:other,  timestamp=1260874574371, value=1
Osaki   column=transfer:subway, timestamp=1260874519324, value=0
8 row(s) in 0.2450 seconds
hbase(main):011:0>

name	transfer:jreast	transfer:subway	transfer:other	location:ku
Shinagawa	3	0	2	Minato
Osaki	2	0	1	Shinagawa
Gotanda	0	1	1	Shinagawa

2. Pig

2-1. インストール: Linux環境にて、rootで作業します。

yum -y install hadoop-pig

結果例

...(略)
Installed:
hadoop-pig.noarch 0:0.7.0+9-1                                             

Complete!

2-2. 試してみる

テストファイルをローカル(/var/tmp/pigtest.csv)に用意し、

cat << TESTDATA > /var/tmp/pigtest.csv
Shinagawa,3,0,2 Minato
Osaki,2,0,1,Shinagawa
Gotanda,0,1,1,Shinagawa
Meguro,0,2,1,Shinagawa
Ebisu,2,1,0,Shibuya
Shibuya,2,3,3,Shibuya
Harajuku,0,1,0,Shibuya
Yoyogi,1,1,0,Shibuya
Shinjuku,5,3,3,Shinjuku
TESTDATA

テストファイルをHDFS上の/var/pigtest/test置きます。

hadoop-0.20 fs -put /var/tmp/pigtest.csv /var/pigtest/test.csv

pigのシェルを起動させ

JAVA_HOME=/usr/java/default/ pig

2009-12-09 21:43:46,430 [main] INFO  org.apache.pig.Main - Logging error messages to: /etc/hadoop-0.20/conf.pseudo/pig_1260362626428.log
2009-12-09 21:43:47,684 [main] INFO  org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to hadoop file system at: hdfs://localhost:8020
2009-12-09 21:43:49,200 [main] INFO  org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to map-reduce job tracker at: localhost:8021

grunt>

以下、検索を試してみます。

grunt> Y1 = LOAD '/var/pigtest/test.csv' USING PigStorage(',')
AS (name: chararray,
transfer_jreast: int, transfer_subway: int, transfer_other: int,
location_ku: chararray);
grunt> Y2 = FILTER Y1 BY location_ku MATCHES 'Shibuya';
grunt> DUMP Y2;
...省略（ここでMapreduceが走るので、少し時間がかかります。）...
ine.mapReduceLayer.MapReduceLauncher - Success!
(Ebisu,2,1,0,Shibuya)
(Shibuya,2,3,3,Shibuya)
(Harajuku,0,1,0,Shibuya)
(Yoyogi,1,1,0,Shibuya)
grunt> QUIT;

3. Hive

3-1. インストール: Linux環境にて、rootで作業します。

yum -y install hadoop-hive

結果例

...(略)
Installed:                                         
hadoop-hive.noarch 0:0.5.0+32-2

Complete!

3-2. 試してみる。

ローカルに、テスト用のデータファイルを準備します。(果物の色と値段のデータ)

echo -e "apple\0001red\0001100\0012lemon\0001yellow\0001120\0012orange\0001orange\000160" > /var/tmp/data1

hiveのシェルを起動させ

hive

Hive history file=/tmp/root/hive_job_log_root_200912092154_480111727.txt
hive>

以下、hive上で、データをロードして、SQLっぽいコマンドで少しいじってみます。
テーブルを作成してみます。SHOW TABLESで確認してみます。

hive> CREATE TABLE fruits (name STRING, color STRING, price INT);
OK
Time taken: 27.504 seconds
hive> SHOW TABLES;
OK
fruits
Time taken: 0.288 seconds

データをロード(果物の色と値段のデータです。)

hive> LOAD DATA LOCAL INPATH '/var/tmp/data1' OVERWRITE INTO TABLE fruits;
Copying data from file:/var/tmp/data1
Loading data to table fruits
OK
Time taken: 1.104 seconds
hive> SELECT * FROM fruits;
apple red 100
lemon yellow 120
orange orange 60
Time taken: 0.665 seconds

データを条件で抽出(80円より安い果物を表示します)

hive> SELECT * FROM fruits WHERE price < 80;
Total MapReduce jobs = 1
Number of reduce tasks is set to 0 since there's no reduce operator
Starting Job = job_200912092139_0003, Tracking URL = http://localhost:50030/jobdetails.jsp?jobid=job_200912092139_0003
Kill Command = /usr/lib/hadoop/bin/hadoop job -Dmapred.job.tracker=localhost:8021 -kill job_200912092139_0003
2009-12-09 09:59:52,112 map = 0%, reduce =0%
...省略（ここでMapreduceが走るので、少し時間がかかります。）...
2009-12-09 10:00:34,989 map = 100%, reduce =100%
Ended Job = job_200912092139_0003
OK
orange orange 60
Time taken: 48.499 seconds
hive> QUIT;

・JOINなども試せます。
もう一つファイルを用意して、

echo -e "pomme\0001apple\0012citron\0001lemon\0012orange\0001orange" > /var/tmp/data2

テーブルを作って、ロードします。(果物の名前のフランス語・英語の辞書です。)

hive> CREATE TABLE enfr (fr STRING, en STRING);
OK
Time taken: 18.98 seconds
hive> LOAD DATA LOCAL INPATH '/var/tmp/data2' OVERWRITE INTO TABLE enfr;
Copying data from file:/var/tmp/data2
Loading data to table enfr
OK
Time taken: 1.115 seconds
hive> SELECT * FROM enfr;
OK
pomme apple
citron lemon
orange orange
Time taken: 0.875 seconds

JOINを試してみます。(80円以上する果物を、フランス語で表示します。)

SELECT e.fr, f.price FROM fruits f JOIN enfr e ON f.name = e.en WHERE f.price > 80;
Total MapReduce jobs = 1
...省略（ここでMapreduceが走るので、少し時間がかかります。）...
2009-12-15 10:03:10,274 map = 100%, reduce =100%
Ended Job = job_200912152135_0004
OK
pomme 100
citron 120
Time taken: 132.47 seconds
hive>

・ここで使ったテーブルはこんな感じです。

fruits
name	color	price
apple	red	100
lemon	yellow	120
orange	orange	20

enfr
fr	en
pomme	apple
citron	lemon
orange	orange

・もっとためすには、例えば、こちら
・HDFS上には、/user/hive/warehouse/以下にファイルができてたりします。

4. HUE(Hadoop User Experience)

HUEは、Cloudera Desktopの新しい名前みたいで、CDH3に入っています。以下は、CDH3 beta3での手順です。(すいません、以下は、まだ、betaではないCDH3では未確認です。)

4-1. インストール: Linux環境にて、rootで作業します。

4-1-1.パッケージのインストール

yum install hue hue-plugins

4-1-3. 設定ファイルの準備

一台構成のお手軽設定(hadoop-0.20-conf-pseudo)を使っている人は、特に何もしなくてもよさそうです。が、もしかすると、/etc/hue/hue.iniのうしろのnamenode_hostやjobtracker_hostを変更したほうがいいかも。

そうでない人は、おおむね以下を書き換えます。
・/etc/hadoop/conf.pseudo.clouderadesktop/hdfs-site.xmlに以下を追加します。
(<configuration>と</configuration>の間に)

<property>
<name>dfs.namenode.plugins</name>
<value>org.apache.hadoop.thriftfs.NamenodePlugin</value>
<description>Comma-separated list of namenode plug-ins to be activated.
</description>
</property>
<property>
<name>dfs.datanode.plugins</name>
<value>org.apache.hadoop.thriftfs.DatanodePlugin</value>
<description>Comma-separated list of datanode plug-ins to be activated.
</description>
</property>
<property>
<name>dfs.thrift.address</name>
<value>0.0.0.0:9090</value>
</property>

・/etc/hadoop/conf.pseudo.clouderadesktop/mapred-site.xmlに以下を追加します。
(<configuration>と</configuration>の間に)

<property>
<name>jobtracker.thrift.address</name>
<value>0.0.0.0:9290</value>
</property>
<property>
<name>mapred.jobtracker.plugins</name>
<value>org.apache.hadoop.thriftfs.ThriftJobTrackerPlugin</value>
<description>Comma-separated list of jobtracker plug-ins to be activated.
</description>
</property>

4-1-2. サービスのスタート

service hadoop-0.20-namenode restart
service hadoop-0.20-datanode restart
service hadoop-0.20-jobtracker restart
service hadoop-0.20-tasktracker restart
service hue start

4-1-3. firewallの設定

tcpの8088が空いている必要があります。

4-2. 使ってみる

Webブラウザ(Firefox)から、
http://ホスト:8088/
を閲覧します。

ログイン画面がでたら、例えば、
username=hadoop, password=hadoop
と入れてログインし、いろいろと試してみます。

(ログイン画面(usernameとpasswordを入力する画面)が出ない場合は、
ブラウザのエンコード設定(表示→エンコーディング)を、西欧やUnicodeにして試してみます。)

ログイン画面例

ログイン後画面例

下部パネルの右のアイコンからいろいろな機能を利用できます。HDFSの中身をみたり()、
MapReduce関連の管理・操作をしたり(,)することができます。
これらは、Cloudera Desktopのころからあった機能です。
新入りは、Beeswax for Hive(Hiveの操作画面)です。()

4-3. Hive操作画面(Beeswax for Hive)

Hive操作画面例

HDFS上のファイルから、テーブルを作ったり、

QUERYの保存や実行等をすることができます。

--
以上

1台構成のHadoopを30分で試してみる(Ubuntu + Cloudera)

2009-11-12T07:04:00.069+09:00

概要
・1台のLinux環境で、簡単に、Hadoopを体験してみる方法です。
・HDFSにちょっとファイルを置いてみたり、少しMapReduceジョブを動かしてみます。
・UbuntuとCloudera社版のHadoopディストリビューションパッケージCDH3(無料)を利用します。(debパッケージなので、インストール・アンインストール、サービス起動・停止等が楽です)

その他の記事
	Hadoop(1台構成)	HBase,Hive,Pig,HUE,Oozie等(1台構成)	Hadoop(複数台構成)
CentOS	こちら	HBase,Hive,Pig,HUE(旧Cloudera Desktop), Oozie	こちら
Ubuntu	こちら	HBase,Hive,Pig,HUE(旧Cloudera Desktop)

(参考) Cloudera社のHadoopパッケージの情報 http://archive.cloudera.com/docs/

必要なもの
・UbuntuやdebianのLinux環境1台(手元ではUbuntu Server 11.04/10.04/9.10/8.04, debian 5あたりで試していますが、他バージョンでも大丈夫だと思います)
・インターネット接続
・Sun(Oracle)のJavaパッケージ(aptでインターネットからインストール)
・Cloudera社のCDH3のHadoopパッケージ(aptでインターネットからインストール)

作業手順

1. インストール: Linux環境にて、rootで作業します。

sudo su

1-1. Sun(Oracle)のJavaを入れます。(Sun(Oracle)のものが必要です。)

※ ここで、ubuntu 10や11の人は/etc/apt/sources.listの編集が必要です。(partnerリポジトリの追加)

まず、/etc/apt/sources.listファイルの後ろの方のコメントアウトされている行を有効にします。(lucidの例)
編集前: # deb http://archive.canonical.com/ubuntu lucid partner
編集後: deb http://archive.canonical.com/ubuntu lucid partner
そして、
apt-get update
とします。

※ ここで、debian 5の人は/etc/apt/sources.listの編集が必要です。

まず、/etc/apt/sources.listファイルの最初の方の行を変更(追記)。
編集前: deb http://ftp.jp.debian.org/debian/ lenny main
編集後: deb http://ftp.jp.debian.org/debian/ lenny main non-free
そして、
apt-get update
とします。

Sun社Javaパッケージのインストール

apt-get install sun-java6-jdk

確認します。

java -version

結果例

java version "1.6.0_26"
Java(TM) SE Runtime Environment (build 1.6.0_26-b03)
Java HotSpot(TM) 64-Bit Server VM (build 20.1-b02, mixed mode)

1-2. Cloudera社版のHadoopを入れます。

1-2-a. Cloudera社リポジトリの追加

1-2-a-1. リポジトリ設定ファイルの作成

とりあえず、以下の感じで動くようです。

Ubuntu 10.10の人(と11.04の人もとりあえず)、

cat << EOF > /etc/apt/sources.list.d/cloudera.list
deb http://archive.cloudera.com/debian maverick-cdh3 contrib
deb-src http://archive.cloudera.com/debian maverick-cdh3 contrib
EOF

Ubuntu 10.04の人、

cat << EOF > /etc/apt/sources.list.d/cloudera.list
deb http://archive.cloudera.com/debian lucid-cdh3 contrib
deb-src http://archive.cloudera.com/debian lucid-cdh3 contrib
EOF

debian 5の人、

cat << EOF > /etc/apt/sources.list.d/cloudera.list
deb http://archive.cloudera.com/debian lenny-cdh3 contrib
deb-src http://archive.cloudera.com/debian lenny-cdh3 contrib
EOF

Ubuntu 9.10の人は、

cat << EOF > /etc/apt/sources.list.d/cloudera.list
deb http://archive.cloudera.com/debian karmic-cdh3 contrib
deb-src http://archive.cloudera.com/debian karmic-cdh3 contrib
EOF

Ubuntu 8.04の人は、

cat << EOF > /etc/apt/sources.list.d/cloudera.list
deb http://archive.cloudera.com/debian jaunty-cdh3 contrib
deb-src http://archive.cloudera.com/debian jaunty-cdh3 contrib
EOF

その他のディストリビューション・バージョンの場合は、以下のようにDISTRO名を確認し、それに応じた設定ファイルを作成します。

・DISTRO名を確認し、
lsb_release -c
Codename:       jaunty
→この場合、DISTRO名は"jaunty"
・以下のようなファイルを作成します。(DISTROの部分をDISTRO名に置き換えます)
ファイル名: /etc/apt/sources.list.d/cloudera.list
内容:
deb http://archive.cloudera.com/debian DISTRO-testing contrib
deb-src http://archive.cloudera.com/debian DISTRO-testing contrib

1-2-a-2. リポジトリーキーを追加し、aptのインデックスを更新します。

wget -q http://archive.cloudera.com/debian/archive.key -O- | apt-key add -
apt-get update

(参考1) http://archive.cloudera.com/docs/_apt.html

1-2-b. Hadoopをインストール

apt-get -y install hadoop-0.20

結果例

...略...
hadoop-0.20 (0.20.2+923.97-1~maverick-cdh3) を設定しています ...
update-alternatives: /etc/hadoop-0.20/conf (hadoop-0.20-conf) を提供するために 自動モード で /etc/hadoop-0.20/conf.empty を使います。
update-alternatives: /usr/bin/hadoop (hadoop-default) を提供するために 自動モード で /usr/bin/hadoop-0.20 を使います。
hadoop-0.20-native (0.20.2+923.97-1~maverick-cdh3) を設定しています ...
libc-bin のトリガを処理しています ...
ldconfig deferred processing now taking place

1-2-c. 簡単な設定ファイル一式をインストール(一台構成で試すためのお手軽設定)

apt-get -y install hadoop-0.20-conf-pseudo

結果例

...略...
ureadahead のトリガを処理しています ...
hadoop-0.20-namenode (0.20.2+923.97-1~maverick-cdh3) を設定しています ...
hadoop-0.20-datanode (0.20.2+923.97-1~maverick-cdh3) を設定しています ...
hadoop-0.20-secondarynamenode (0.20.2+923.97-1~maverick-cdh3) を設定しています ...
hadoop-0.20-jobtracker (0.20.2+923.97-1~maverick-cdh3) を設定しています ...
hadoop-0.20-tasktracker (0.20.2+923.97-1~maverick-cdh3) を設定しています ...
hadoop-0.20-conf-pseudo (0.20.2+923.97-1~maverick-cdh3) を設定しています ...
update-alternatives: /etc/hadoop-0.20/conf (hadoop-0.20-conf) を提供するために 自動モード で /etc/hadoop-0.20/conf.pseudo を使います。

1-3. サービス起動

起動

/etc/init.d/hadoop-0.20-namenode start
/etc/init.d/hadoop-0.20-jobtracker start
/etc/init.d/hadoop-0.20-datanode start
/etc/init.d/hadoop-0.20-tasktracker start

2. 確認・お試し

2-1. ブラウザ(Web UI)で様子を見てみる

ローカルのブラウザから
HDFSの様子を見てみる

http://localhost:50070/

MapReduceの様子を見てみる

http://localhost:50030/

※ 別にWebUIを見なくても、以下の手順は試すことができます。
※ 外部から、Web UIにアクセスするには、Hadoopの設定変更と、firewall設定の変更が必要かもしれません。ここでは、50070/tcp、50075/tcp、50030/tcpの許可が必要です。
※ シンプルなUIなので、テキストベースのWebブラウザで十分かもしれません。(links等)

links(テキストベースのWebブラウザ)の例

apt-get -y install links
links http://localhost:50070/

2-2. HDFSを試す

Linux環境にて、作業します。rootでなくてもいいです。
(ここでの"簡単な設定"では、HDFS上のファイルパーミッション機能がOFFになっているので、誰でもいいです。)

2-2-a. フォルダを作ってみる

hadoop-0.20 fs -mkdir TESTFOLDER01

2-2-b. ファイルを置いてみる

ローカルにテストファイル(/var/tmp/test)を作ります。

cat << OTAMESHI > /var/tmp/test
hello hadoop world
OTAMESHI

ローカルのテストファイルをHDFS上にコピーしてみます。

hadoop-0.20 fs -put /var/tmp/test TESTFOLDER01

2-2-c. ファイルを取り出してみる

2-2-c-1. HDFS上のファイルをcatしてみます

hadoop-0.20 fs -cat TESTFOLDER01/test

2-2-c-2. HDFS上のファイルをローカル(/var/tmp/test2)に、取り出してみます

hadoop-0.20 fs -get TESTFOLDER01/test /var/tmp/test2

ローカルに取り出したものの中身を確認します。

cat /var/tmp/test2

2-2-d. 今一度、ブラウザ(Web UI)からHDFSの様子を見てみる

http://localhost:50070/から
一番上のリンク"Browse the filesystem"から、
フォルダを、
user/root/TESTFOLDER01/test
と辿ってみます。

2-2-e. もっとHDFSでいろいろしてみるには、

ヘルプを読みます。

hadoop-0.20 fs -help

2-3. MapReduceを試す

Linux環境にて、作業します。rootでなくてもいいです。

hadoop-0.20 jar /usr/lib/hadoop-0.20/hadoop-*-examples.jar pi 4 2000

結果例

...略...
うっすらmapしてreduceします。
...略...
Job Finished in 94.799 seconds
Estimated value of Pi is 3.14100000000000000000

円周率が計算されました。

本当は3.14159...なので、たいした精度じゃないですね。
最後の引数を多くすると精度が上がるようです。20000とか試してみるといいと思います。
最後から二番目の引数がMapの数です。10とか試してみてもいいと思います。

他のMapReduceのサンプルは、

hadoop-0.20 jar /usr/lib/hadoop-0.20/hadoop-*-examples.jar

3. おまけ

HBase, Hive, Pigなどの便利なサブプロジェクトの成果を試したり、複数台構成のHadoop環境にチャレンジしたりすると楽しいかもしれません。

→1台でHive, Pig, Cloudera Desktopを試してみる

--
終わり

4台構成のHadoopを100分で試してみる(CentOS + Cloudera)

2009-11-11T06:54:00.061+09:00

概要
・4台のLinux環境で、簡単に、Hadoopを体験してみる方法です。
・HDFSにちょっとファイルを置いてみたり、少しMapReduceジョブを動かしてみます。
・マスター1台、スレーブ3台なので、hadoop度が少し高いです。（あとは、セカンダリーマスターを動かせば、普通に使えます）
・CentOSとCloudera社版のディストリビューションパッケージCDH3(無料)を利用します。(rpmパッケージなので、インストール・アンインストール、サービス起動・停止等が楽です)

その他の記事
	Hadoop(1台構成)	HBase,Hive,Pig,HUE,Oozie等(1台構成)	Hadoop(複数台構成)
CentOS	こちら	HBase,Hive,Pig, HUE(旧Cloudera Desktop), Oozie	こちら
Ubuntu	こちら	HBase,Hive,Pig,HUE(旧Cloudera Desktop)

(参考) Cloudera社のHadoopパッケージの情報 http://archive.cloudera.com/docs/

必要なもの
・CentOS5.4のLinux環境4台(CentOSの他バージョンや、Fedora、Redhat等でも大丈夫だと思います)
・インターネット接続
・Sun社Javaパッケージ(パッケージファイルをインターネットから取得)
・Cloudera社のCDH3のHadoopパッケージ(yumでインターネットからインストール)

構成
4台のHadoopクラスターです。

・マスター1台: nm01
・スレーブ3台: ns10, ns11, ns12

作業手順

0. 準備

0-0. サーバー名

ここで利用するサーバー/サーバー名は以下の4つです。

nm01
ns10
ns11
ns12

すべてのサーバー(nm01, ns10, ns11, ns12)と作業クライアント(あれば)で、名前を使えるようにしておきます。(簡単に試すには、/etc/hostsを使う方法がいいかもしれません)

0-1. Sun社Javaパッケージの取得
http://java.sun.com/javase/downloads/にて、
　Java SE Development Kit (JDK)の項目の、
　JDK 6 Update 17を、[Download]します。
Linuxの人は、Java SE Development Kit 6u17(jdk-6u17-linux-i586-rpm.bin)
Linux x64の人は、Java SE Development Kit 6u17(jdk-6u17-linux-x64-rpm.bin)
ファイルは、Linux環境内のどこかのディレクトリにおいておきます。

1. インストール: 全サーバー共通(nm01, ns10, ns11, ns12)

・4台のサーバーすべてで同じ作業をします。
・設定ファイルも共通です。
・起動させるサービスのみ異なるので、そこは別途行うこととします。
・工夫すると、作業が楽になるかもしれません。
(仮想環境なら1台に入れてコピーするとか、kickstartで自動インストールするとか、dshなどでまとめて作業するとか)

作業は、
・Javaのパッケージインストール
・Hadoop-0.20のパッケージインストール
・Hadoopの設定ファイルの作成と配置

Linux環境にて、rootで作業します。

1-1. Sun社のJava(少し面倒ですが、Sun社のものが必要です。)
ダウンロードパッケージのあるディレクトリで、

sh SUN社サイトからダウンロードしたファイル
(例)
i586なら> sh jdk-6u17-linux-i586-rpm.bin
x64なら> sh jdk-6u17-linux-x64-rpm.bin

とし、指示に従います。
結果例

...略...
Java(TM) SE Development Kit 6 successfully installed.
...略...
Press Enter to continue.....


Done.

確認します。

java -version

結果例

java version "1.6.0_17"
Java(TM) SE Runtime Environment (build 1.6.0_17-b04)
Java HotSpot(TM) 64-Bit Server VM (build 14.3-b01, mixed mode)

1-2. Hadoop

1-2-a. Cloudera社リポジトリの追加

cd /etc/yum.repos.d
wget http://archive.cloudera.com/redhat/cdh/cloudera-cdh3.repo

(参考1) http://archive.cloudera.com/docs/_yum.html

1-2-b. Hadoopをインストール

yum -y install hadoop-0.20

結果例

...略...
Installed:
hadoop-0.20.noarch 0:0.20.1+152-1

Complete!

1-3. Hadoopの設定ファイル一式を作成

1-3-1. 設定ディレクトリーの作成と設定

設定ディレクトリーまるごと、サンプルのコピーで、作成します。
alternativeの仕組みで管理します。ここでは、設定ファイルのディレクトリは、/etc/hadoop-0.20/confですが、実体は/etc/hadoop-0.20/conf.test1です。

cp -r /etc/hadoop-0.20/conf.empty /etc/hadoop-0.20/conf.test1
alternatives --install /etc/hadoop-0.20/conf hadoop-0.20-conf /etc/hadoop-0.20/conf.test1 20

確認

alternatives --display hadoop-0.20-conf

結果例

hadoop-0.20-conf -ステータスは自動です。
リンクは現在 /etc/hadoop-0.20/conf.test1 を指しています。
/etc/hadoop-0.20/conf.empty - 優先項目 10
/etc/hadoop-0.20/conf.test1 - 優先項目 20
現在の「最適」バージョンは /etc/hadoop-0.20/conf.test1 です。

1-3-2. 設定ファイルの編集

/etc/hadoop-0.20/conf.test1/内で、設定ファイルを変更します。

cd /etc/hadoop-0.20/conf.test1

・mastersファイル

echo nm01 > masters

・slavesファイル

cat << EOF > slaves
ns10
ns11
ns12
EOF

・hadoop-env.shファイル
意外と、いじらなくてよいです。（問題があればJavaの設定を施します。例えばCentOSではexport JAVA_HOME=/usr/java/default)

・core-site.xmlファイル

cat << EOF > core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://nm01:8020</value>
</property>
</configuration>
EOF

・hdfs-site.xmlファイル

cat << EOF > hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>
EOF

・mapred-site.xmlファイル

cat << EOF > mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>nm01:8021</value>
</property>
</configuration>
EOF

2. インストール: 各サーバーにて

マスターノード(nm01)と、スレーブノード(ns10, ns11, ns12)で、それぞれ異なる設定をします。
起動させるサービスやFirewall設定が異なります。

2-1. マスターノード(nm01)

マスターノード(nm01)にて、rootで作業します。

HDFSフォーマット作業

sudo -u hadoop hadoop-0.20 namenode -format

サービス起動

service hadoop-0.20-namenode start
service hadoop-0.20-jobtracker start

サービス登録

chkconfig --add hadoop-0.20-namenode
chkconfig --add hadoop-0.20-jobtracker

Firewall設定：ここでは以下をあけます。

50030:tcp 50070:tcp 8020:tcp 8021:tcp
(ローカルな環境ではOffにしてしまうのも、いいかもしれません。)

2-2. スレーブノード(ns10, ns11, ns12)

スレーブノード(ns10, ns11, ns12)にて、rootで作業します。

サービス起動

service hadoop-0.20-datanode start
service hadoop-0.20-tasktracker start

サービス登録

chkconfig --add hadoop-0.20-datanode
chkconfig --add hadoop-0.20-tasktracker

Firewall設定：ここでは以下をあけます。

50010:tcp 50060:tcp 50075:tcp
(ローカルな環境ではOffにしてしまうのも、いいかもしれません。)

3. 確認・お試し

3-1. ブラウザ(Web UI)で様子を見てみる。

HDFSの様子を見てみる

http://nm01:50070/

MapReduceの様子を見てみる

http://nm01:50030/

2-2. HDFSを試す。

マスターノード(nm01)にて、rootで試してみます。

まず、HDFS上に、rootさん用のフォルダを作ります。

sudo -u hadoop hadoop-0.20 fs -mkdir /user/root
sudo -u hadoop hadoop-0.20 fs -chown root /user/root

2-2-a. フォルダを作ってみる

hadoop-0.20 fs -mkdir TESTFOLDER01

2-2-b. ファイルを置いてみる

ローカルにテストファイル(/var/tmp/test)を作ります。

cat << OTAMESHI > /var/tmp/test
hello hadoop world
OTAMESHI

ローカルのテストファイルをHDFS上にコピーしてみます。

hadoop-0.20 fs -put /var/tmp/test TESTFOLDER01

2-2-c. ファイルを取り出してみる
2-2-c-1. HDFS上のファイルをcatしてみます。

hadoop-0.20 fs -cat TESTFOLDER01/test

2-2-c-2. HDFS上のファイルをローカル(/var/tmp/test2)に、取り出してみます。

hadoop-0.20 fs -get TESTFOLDER01/test /var/tmp/test2

ローカルに取り出したものの中身を確認します。

cat /var/tmp/test2

2-2-d. 今一度、ブラウザ(Web UI)からHDFSの様子を見てみる

http://nm01:50070/から
一番上のリンク"Browse the filesystem"から、
フォルダを、
user/root/TESTFOLDER01/test
と辿ってみます。

2-2-e. もっとHDFSでいろいろしてみるには、
ヘルプを読みます。

hadoop-0.20 fs -help

2-3. MapReduceを試す。

マスターノード(nm01)にて、rootで試してみます。

hadoop-0.20 jar /usr/lib/hadoop-0.20/hadoop-*-examples.jar pi 20 2000

結果例

...略...
うっすらmapしてreduceします。
...略...
Job Finished in 77.006 seconds
Estimated value of Pi is 3.14140000000000000000

円周率が計算されました。

本当は3.14159...なので、たいした精度じゃないです。
最後の引数を多くすると精度が上がるようです。
最後から二番目の引数がMapの数です。

他のMapReduceのサンプルは、

hadoop-0.20 jar /usr/lib/hadoop-0.20/hadoop-*-examples.jar

ずっとあそぶには、セカンダリーマスターを動かしましょう。
--
終わり

1台構成のHadoopを30分で試してみる(CentOS + Cloudera)

2009-11-09T07:52:00.100+09:00

概要
・1台のLinux環境で、簡単に、Hadoopを体験してみる方法です。
・HDFSにちょっとファイルを置いてみたり、少しMapReduceジョブを動かしてみます。
・CentOSとCloudera社版のHadoopディストリビューションパッケージCDH3(無料)を利用します。(rpmパッケージなので、インストール・アンインストール、サービス起動・停止等が楽です)
・続いて、別途、HBase, Pig, Hiveを試すことができます。→1台でHBase, Hive, Pigを試してみる

その他の記事
	Hadoop(1台構成)	HBase,Hive,Pig,HUE,Oozie等(1台構成)	Hadoop(複数台構成)
CentOS	こちら	HBase,Hive,Pig, HUE(旧Cloudera Desktop), Oozie	こちら
Ubuntu	こちら	HBase,Hive,Pig,HUE(旧Cloudera Desktop)

(参考) Cloudera社のHadoopパッケージの情報 http://archive.cloudera.com/docs/

必要なもの
・CentOS5かCentOS6のLinux環境1台(ここではCentOS5.6とCentOS6.0を使いました。CentOSの他バージョンや、Fedora、Redhat等でも大丈夫だと思います)
・インターネット接続
・Sun社Javaパッケージ(パッケージファイルをインターネットから取得)
・Cloudera社のCDH3のHadoopパッケージ(yumでインターネットからインストール)

作業手順

0. 準備

0-1. Sun社Javaパッケージの取得

http://java.sun.com/javase/downloads/にて、
Java SE 6の[Download]ボタンを押して出る「Java SE Downloads」のページから必要なものをダウンロードします。
(例)
Java SE Development Kit 6 Update 27
Linux x86の人は、Linux x86 - RPM Installer(jdk-6u27-linux-i586-rpm.bin)
Linux x64の人は、Linux x64 - RPM Installer(jdk-6u27-linux-x64-rpm.bin)
ファイルは、Linux環境内のどこかのディレクトリにおいておきます。

1. インストール: Linux環境にて、rootで作業します。

1-1. Sun社のJavaを入れます。(少し面倒ですが、Sun社のものが必要です。)
ダウンロードパッケージのあるディレクトリで、

sh SUN社サイトからダウンロードしたファイル
(例)
i586なら> sh jdk-6u26-linux-i586-rpm.bin
x64なら> sh jdk-6u26-linux-x64-rpm.bin

とし、指示に従います。
結果例

...略...
Java(TM) SE Development Kit 6 successfully installed.
...略...
Press Enter to continue.....


Done.

確認します。

java -version

結果例

java version "1.6.0_26"
Java(TM) SE Runtime Environment (build 1.6.0_26-b03)
Java HotSpot(TM) 64-Bit Server VM (build 20.1-b02, mixed mode)

1-2. Hadoopを入れます。

1-2-a. Cloudera社リポジトリの追加

CentOS5なら

cd /etc/yum.repos.d
wget http://archive.cloudera.com/redhat/cdh/cloudera-cdh3.repo
rpm --import http://archive.cloudera.com/redhat/cdh/RPM-GPG-KEY-cloudera

CentOS6なら

cd /etc/yum.repos.d
wget http://archive.cloudera.com/redhat/6/x86_64/cdh/cloudera-cdh3.repo
rpm --import http://archive.cloudera.com/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera

(参考1) http://archive.cloudera.com/docs/_yum.html

1-2-b. Hadoopをインストール

yum -y install hadoop-0.20

結果例

...略...
Installed:
hadoop-0.20.noarch 0:0.20.2+923.97-1

Complete!

※ ここで、こんなエラー「[Errno 14] HTTP Error 404: Not Found」が出る人は、cloudera-cdh3.repoを、一時的に変更しましょう。
「mirrorlist=行」をコメントアウトして、「baseurl=http://archive.cloudera.com/redhat/cdh/3/」行を書き加えましょう。(2010/10/13現在: なぜかhttp://archive.cloudera.com/redhat/cdh/3/mirrorsが無いです)

1-2-c. 簡単な設定ファイル一式をインストール(一台構成で試すためのお手軽設定)

yum -y install hadoop-0.20-conf-pseudo

結果例

...略...
Installed:
  hadoop-0.20-conf-pseudo.noarch 0:0.20.2+923.97-1

Dependency Installed:
  hadoop-0.20-datanode.noarch 0:0.20.2+923.97-1
  hadoop-0.20-jobtracker.noarch 0:0.20.2+923.97-1
  hadoop-0.20-namenode.noarch 0:0.20.2+923.97-1
  hadoop-0.20-secondarynamenode.noarch 0:0.20.2+923.97-1
  hadoop-0.20-tasktracker.noarch 0:0.20.2+923.97-1

Complete!

1-3. サービス起動

起動

service hadoop-0.20-namenode start
service hadoop-0.20-jobtracker start
service hadoop-0.20-datanode start
service hadoop-0.20-tasktracker start

2. 確認・お試し

2-1. ブラウザ(Web UI)で様子を見てみる。

ローカルのブラウザから
HDFSの様子を見てみる

http://localhost:50070/

MapReduceの様子を見てみる

http://localhost:50030/

※ または、"別にWeb UIを見ないでスルー"と言うのもありです。
※ 外部から、Web UIにアクセスするには、Hadoopの設定変更とfirewall設定の変更が必要かもしれません。ここでは、50070/tcp、50075/tcp、50030/tcpの許可が必要です。
※ シンプルなUIなので、テキストベースのWebブラウザで十分かもしれません。

elinks(テキストベースのWebブラウザ)の例

yum -y install elinks
elinks http://localhost:50070/

(手元の環境では、ESC→Setup→Terminal optionsでColor modeをNo colors(mono)と設定変更しました。)

2-2. HDFSを試す。

Linux環境にて、作業します。rootでなくてもいいです。
(ここでの"簡単な設定"では、HDFS上のファイルパーミッション機能がOFFになっているので、誰でもいいです。)

2-2-a. HDFS上にフォルダを作ってみる

hadoop-0.20 fs -mkdir TESTFOLDER01

2-2-b. HDFS上にファイルを置いてみる
ローカルにテストファイル(/var/tmp/test)を作ります。

cat << OTAMESHI > /var/tmp/test
hello hadoop world
OTAMESHI

ローカルのテストファイルをHDFS上にコピーしてみます。

hadoop-0.20 fs -put /var/tmp/test TESTFOLDER01

2-2-c. HDFSからファイルを取り出してみる

2-2-c-1. HDFS上のファイルをcatしてみます。

hadoop-0.20 fs -cat TESTFOLDER01/test

2-2-c-2. HDFS上のファイルをローカル(/var/tmp/test2)に、取り出してみます。

hadoop-0.20 fs -get TESTFOLDER01/test /var/tmp/test2

ローカルに取り出したものの中身を確認します。

cat /var/tmp/test2

2-2-d. 今一度、ブラウザ(Web UI)からHDFSの様子を見てみる

http://localhost:50070/を開き、
一番上のリンク"Browse the filesystem"から、
フォルダを、
/user/root/TESTFOLDER01/test
と辿ってみます。

2-2-e. もっとHDFSでいろいろしてみるには、

ヘルプを読みます。

hadoop-0.20 fs -help

2-3. MapReduceを試す。

Linux環境にて、作業します。rootでなくてもいいです。

hadoop-0.20 jar /usr/lib/hadoop-0.20/hadoop-*-examples.jar pi 4 2000

結果例

...略...
うっすらmapしてreduceします。
...略...
Job Finished in 94.799 seconds
Estimated value of Pi is 3.14100000000000000000

hadoop-0.20 jar /usr/lib/hadoop-0.20/hadoop-*-examples.jar

3. おまけ

3-1. ずっとあそぶには、セカンダリーマスターを動かしましょう。

起動

service hadoop-0.20-secondarynamenode start

3-2. 構築した環境を使って、例えば、HBase, Pig, Hiveを試してみてもおもしろいかもしれません。
→1台でHBase, Hive, Pigを試してみる(CDH3beta3)

3-3. 複数台構成で試すと、もうちょっとHadoopらして楽しいかもしれません。
→4台構成のHadoopを100分で試してみる(CentOS + Cloudera)(CDH3beta3)

--
終わり