2008年5月28日水曜日

あっさり進行

無事クラスタ内では解決したので別の実験用オンラインソルバーのマシンにもGFarmをインストールしてみた。

./configure
make
sudo make install

といつもの感じであっさり終了

config-gfarm -t
config-gfarm

config-agent -t
config-agent

config-gfsd -t
config-gfsd

あっさり終了。

gfhost

にて自分自身は認識しているのを確認。

/usr/local/etc/gfarm.conf

をクラスタの方のgfarm.confにコピー。

クラスタの方の.gfarm_shared_keyを実験用マシンにコピー。

gfhost

にてクラスタと、実験用マシンの両方を認識していることを確認。
あっさり行きすぎて怖いがここまでは問題なし。

とはいえ、問題がないわけではなく
オンラインソルバーから使用することになるため今のままだとapacheユーザーを使わなければならない。良い方法がないかどうか考え中。

2008年5月26日月曜日

24時間制限

だいぶ前(3/19)にも書いたが、Gfarmにおいて

gfkey

で作成されたキーは24時間しか持たない。MAX24時間でそれ以上はもう一度作り直さなければならない。それを回避するために

gfkey -f -p 200000000

が使えるかもというのを実験してみたが予想通り(?)問題なく24時間後も動作している。
ちなみに本当にこの時間で鍵が切れるかは2315日経ってみないとわからない。

現実的にセキュリティを考えると1か月に1回くらいはリブートもするだろうしその都度鍵ファイルを作り直すのがいいだろう。

前回書いた

connection refused

のエラーについてはただgfsdのサービスを起動してないという基本的なミスでした・・。
いろいろ疑ってかかって問題解決に時間を食ってしまった・・orz

2008年5月24日土曜日

変更

オンラインソルバーのページ設定をしばらく続け、各ソルバーをプルダウンメニューで替えるようにした。
前に書いたかも知れないが各ソルバーには極論を言ってしまうと
バイナリ(+オプション)、インプットファイル、アウトプットファイルの3種類しかないため、そこの部分だけを考え全部共通仕様になっている。
実行ページ、ファイル管理ページは問題なく動作はするはずようにはなっているはず。
後はちょこちょこ変更していけばこっちはそれほど問題にならないだろう。
大きく直さなければならないのはログの管理くらいか・・。
それにしてもPHPはコンパイルがないし、html文も入ってたりで括弧が山のようになりエラーの場所を探すのが面倒だ。

そんなところでいったんこちらには見切りを付けてGfarmの方に戻ってきた。
接続できないという問題は解決しいざ色々と実験しようかと思ったら次の日にまた接続できなくなった。
パス認証の問題ではなくconnection refusedになる・・。
おそらくすぐに解決すると思うので
オンラインソルバーの実験用サーバーにもGfarmを入れて、実際に実行可能かを試す段階までなんとか週末でやりたい・・。

2008年5月1日木曜日

簡略化

Gfarmがどうもうまくいかないので最近は気晴らしもかねてPHPの方の作成をしている。

だいぶ前にも書いた通り最適化オンラインソルバーの運用に向けて、

1,ほとんどのソルバーにおいてほぼ同じような使い方ができる
2,ソルバーを追加する作業を簡略化する

の2点を中心に進めている。
各ソルバーには設定ファイルが用意されており、そこに使用する計算機、パラメータの種類等を記述する。それに従ったフォルダを初ログイン時に作成し、メインページではその設定ファイルに従ってファイルを読み出すことになる。

ソルバーを登録するときはその設定ファイルと実行ファイル(バイナリ)だけ用意すればできるのが最終目標であるが、ファイル実行時には様々な制約がかかりそこの部分だけはまだ考慮する必要がありそうだ。

今回行っていた作業は元のSDPAのメインページより、共通部分をPHP化し、設定ファイルを読み出すことができるようにした。
これによりパラメータ等が何個であってもソルバーに応じてループ文で対応できる。

ログの残し方、実行時のメールの送信をどうするかなど細かい面も詰めていってもいいかとおもう。
先生にも言われてるようにインターフェイスをどうするかが結構課題・・。

GWくらいで見切りをつけ、Gfarmの方も再開せねば。

2008年4月11日金曜日

ホストの追加方法

Gfarmにおいてホストを追加するには下のようなコマンドを打てばよい
x86_64やCentOS5の部分は環境によってはもちろん変更する。

gfhost -c -a x86_64-centos5-linux -n 4 ore01.optsys.xxx.ac.jp ore01

面倒だが、登録数分やらないとたぶんダメである。

設定が完了すれば

gfhost -l

で細かく見ることができる。

0.06/0.02/0.00 s x86_64-centos5-linux 4 ore00.optsys.xxx.ac.jp(xx.x.x.xx)
-.--/-.--/-.-- - x86_64-centos5-linux 4 ore01.optsys.xxx.ac.jp(xx.x.x.xx) ore01
-.--/-.--/-.-- - x86_64-centos5-linux 4 ore02.optsys.xxx.ac.jp(xx.x.x.xx) ore02
-.--/-.--/-.-- - x86_64-centos5-linux 4 ore03.optsys.xxx.ac.jp(xx.x.x.xx) ore03
-.--/-.--/-.-- - x86_64-centos5-linux 4 ore04.optsys.xxx.ac.jp(xx.x.x.xx) ore04
x.xx/x.xx/x.xx - x86_64-centos5-linux 4 ore05.optsys.xxx.ac.jp ore05

最初の部分が
-.--/-.--/-.-- -
のときはポートが閉じている場合や認証が通らない場合などに起こるのでそちらの設定を見直す。

x.xx/x.xx/x.xx
のときはそもそも存在しないか間違っているかなのでもう一度ホストの設定を見直す必要がある。
上の場合はおそらくore05というのが存在してないと推測できます。台数の勘違いでしょう。

自分のように-.--/-.--/-.-- -のときにホストをいくらみても解決しないとならないように気をつけたい。
普通にマニュアルに書いてあることですけど。

2008年4月3日木曜日

復旧作業3

どうやら電話での聞き間違いだったらしく1つのHDDがまた逝ってしまわれたようであった。
新しいHDDを購入し、とりあえず復旧。

オンラインソルバーに関しては先生が昨日再クラッシュの前に昨日の作業のバックアップを取っておいてくれたのでほとんどコピーするだけで終了。
何か忘れてる気がするんだが、思い出せない・・。

2008年4月2日水曜日

復旧作業2

新しいHDDに変えた上で復旧作業をするわけだが、設定ファイルとwww以下のデータファイルさえコピーすればおそらく問題ないであろう。

昨日の復旧中で分かったことだがPHP4→5にするとどうやら変数の扱いが微妙になるらしく、ユーザーから受け取った値を直接printすると警告が出る。
htmlspecialchars()を使えばいったん変換されるので警告が消える。特殊文字など使ってないとは思うのだが・・。
MySQLのデータベースの移行はコマンドがあるらしいが普通にvar以下にあるようなコピーして持ってくるだけでも問題なく移行はできた。あまり推奨はされてないのかもしれないが・・。

復旧作業

オンラインソルバーのメインマシンのHDDの調子が悪くなり、昨日の夕方くらいにSSHすらできなくなり4台のHDDのうち/以下を担当する部分がクラッシュ。。
朝3時過ぎまでの復旧作業の末見た目等は全て戻ったはずであったがやはり調子が悪いらしく今日他のドライブも逝ってしまわれたようだ。

2008年3月19日水曜日

Gfarm

optクラスターを5台ほどいじっていいということでGfarmをインストールしてみることにした。
鍵のデフォルトの時間が24時間で毎回更新しなければならないという感じではあったが
gfkey -f -p 200000000
とかで回避できそう。それを実験しようかと思ったが、落ちついて考えると全部NFSでHOMEがファイル共有されてる気が・・。

就職活動

就職活動も一段落したので研究の方にぼちぼち戻ります。

就職活動をして色々勉強になりました。(一応まだ継続中ですが・・。)
企業側から見るとそのときの能力云々よりも会社に合う人や一緒に働きたいと思う人を採用するのかなと思ったりする。
あまりにも能力が高くてある程度コミュニケーションが取れれば話も違うのかもしれないが。