無事クラスタ内では解決したので別の実験用オンラインソルバーのマシンにもGFarmをインストールしてみた。
./configure
make
sudo make install
といつもの感じであっさり終了
config-gfarm -t
config-gfarm
config-agent -t
config-agent
config-gfsd -t
config-gfsd
あっさり終了。
gfhost
にて自分自身は認識しているのを確認。
/usr/local/etc/gfarm.conf
をクラスタの方のgfarm.confにコピー。
クラスタの方の.gfarm_shared_keyを実験用マシンにコピー。
gfhost
にてクラスタと、実験用マシンの両方を認識していることを確認。
あっさり行きすぎて怖いがここまでは問題なし。
とはいえ、問題がないわけではなく
オンラインソルバーから使用することになるため今のままだとapacheユーザーを使わなければならない。良い方法がないかどうか考え中。
2008年5月26日月曜日
24時間制限
だいぶ前(3/19)にも書いたが、Gfarmにおいて
gfkey
で作成されたキーは24時間しか持たない。MAX24時間でそれ以上はもう一度作り直さなければならない。それを回避するために
gfkey -f -p 200000000
が使えるかもというのを実験してみたが予想通り(?)問題なく24時間後も動作している。
ちなみに本当にこの時間で鍵が切れるかは2315日経ってみないとわからない。
現実的にセキュリティを考えると1か月に1回くらいはリブートもするだろうしその都度鍵ファイルを作り直すのがいいだろう。
前回書いた
connection refused
のエラーについてはただgfsdのサービスを起動してないという基本的なミスでした・・。
いろいろ疑ってかかって問題解決に時間を食ってしまった・・orz
gfkey
で作成されたキーは24時間しか持たない。MAX24時間でそれ以上はもう一度作り直さなければならない。それを回避するために
gfkey -f -p 200000000
が使えるかもというのを実験してみたが予想通り(?)問題なく24時間後も動作している。
ちなみに本当にこの時間で鍵が切れるかは2315日経ってみないとわからない。
現実的にセキュリティを考えると1か月に1回くらいはリブートもするだろうしその都度鍵ファイルを作り直すのがいいだろう。
前回書いた
connection refused
のエラーについてはただgfsdのサービスを起動してないという基本的なミスでした・・。
いろいろ疑ってかかって問題解決に時間を食ってしまった・・orz
2008年5月24日土曜日
変更
オンラインソルバーのページ設定をしばらく続け、各ソルバーをプルダウンメニューで替えるようにした。
前に書いたかも知れないが各ソルバーには極論を言ってしまうと
バイナリ(+オプション)、インプットファイル、アウトプットファイルの3種類しかないため、そこの部分だけを考え全部共通仕様になっている。
実行ページ、ファイル管理ページは問題なく動作はするはずようにはなっているはず。
後はちょこちょこ変更していけばこっちはそれほど問題にならないだろう。
大きく直さなければならないのはログの管理くらいか・・。
それにしてもPHPはコンパイルがないし、html文も入ってたりで括弧が山のようになりエラーの場所を探すのが面倒だ。
そんなところでいったんこちらには見切りを付けてGfarmの方に戻ってきた。
接続できないという問題は解決しいざ色々と実験しようかと思ったら次の日にまた接続できなくなった。
パス認証の問題ではなくconnection refusedになる・・。
おそらくすぐに解決すると思うので
オンラインソルバーの実験用サーバーにもGfarmを入れて、実際に実行可能かを試す段階までなんとか週末でやりたい・・。
前に書いたかも知れないが各ソルバーには極論を言ってしまうと
バイナリ(+オプション)、インプットファイル、アウトプットファイルの3種類しかないため、そこの部分だけを考え全部共通仕様になっている。
実行ページ、ファイル管理ページは問題なく動作はするはずようにはなっているはず。
後はちょこちょこ変更していけばこっちはそれほど問題にならないだろう。
大きく直さなければならないのはログの管理くらいか・・。
それにしてもPHPはコンパイルがないし、html文も入ってたりで括弧が山のようになりエラーの場所を探すのが面倒だ。
そんなところでいったんこちらには見切りを付けてGfarmの方に戻ってきた。
接続できないという問題は解決しいざ色々と実験しようかと思ったら次の日にまた接続できなくなった。
パス認証の問題ではなくconnection refusedになる・・。
おそらくすぐに解決すると思うので
オンラインソルバーの実験用サーバーにもGfarmを入れて、実際に実行可能かを試す段階までなんとか週末でやりたい・・。
2008年5月1日木曜日
簡略化
Gfarmがどうもうまくいかないので最近は気晴らしもかねてPHPの方の作成をしている。
だいぶ前にも書いた通り最適化オンラインソルバーの運用に向けて、
1,ほとんどのソルバーにおいてほぼ同じような使い方ができる
2,ソルバーを追加する作業を簡略化する
の2点を中心に進めている。
各ソルバーには設定ファイルが用意されており、そこに使用する計算機、パラメータの種類等を記述する。それに従ったフォルダを初ログイン時に作成し、メインページではその設定ファイルに従ってファイルを読み出すことになる。
ソルバーを登録するときはその設定ファイルと実行ファイル(バイナリ)だけ用意すればできるのが最終目標であるが、ファイル実行時には様々な制約がかかりそこの部分だけはまだ考慮する必要がありそうだ。
今回行っていた作業は元のSDPAのメインページより、共通部分をPHP化し、設定ファイルを読み出すことができるようにした。
これによりパラメータ等が何個であってもソルバーに応じてループ文で対応できる。
ログの残し方、実行時のメールの送信をどうするかなど細かい面も詰めていってもいいかとおもう。
先生にも言われてるようにインターフェイスをどうするかが結構課題・・。
GWくらいで見切りをつけ、Gfarmの方も再開せねば。
だいぶ前にも書いた通り最適化オンラインソルバーの運用に向けて、
1,ほとんどのソルバーにおいてほぼ同じような使い方ができる
2,ソルバーを追加する作業を簡略化する
の2点を中心に進めている。
各ソルバーには設定ファイルが用意されており、そこに使用する計算機、パラメータの種類等を記述する。それに従ったフォルダを初ログイン時に作成し、メインページではその設定ファイルに従ってファイルを読み出すことになる。
ソルバーを登録するときはその設定ファイルと実行ファイル(バイナリ)だけ用意すればできるのが最終目標であるが、ファイル実行時には様々な制約がかかりそこの部分だけはまだ考慮する必要がありそうだ。
今回行っていた作業は元のSDPAのメインページより、共通部分をPHP化し、設定ファイルを読み出すことができるようにした。
これによりパラメータ等が何個であってもソルバーに応じてループ文で対応できる。
ログの残し方、実行時のメールの送信をどうするかなど細かい面も詰めていってもいいかとおもう。
先生にも言われてるようにインターフェイスをどうするかが結構課題・・。
GWくらいで見切りをつけ、Gfarmの方も再開せねば。
2008年4月11日金曜日
ホストの追加方法
Gfarmにおいてホストを追加するには下のようなコマンドを打てばよい
x86_64やCentOS5の部分は環境によってはもちろん変更する。
gfhost -c -a x86_64-centos5-linux -n 4 ore01.optsys.xxx.ac.jp ore01
面倒だが、登録数分やらないとたぶんダメである。
設定が完了すれば
gfhost -l
で細かく見ることができる。
0.06/0.02/0.00 s x86_64-centos5-linux 4 ore00.optsys.xxx.ac.jp(xx.x.x.xx)
-.--/-.--/-.-- - x86_64-centos5-linux 4 ore01.optsys.xxx.ac.jp(xx.x.x.xx) ore01
-.--/-.--/-.-- - x86_64-centos5-linux 4 ore02.optsys.xxx.ac.jp(xx.x.x.xx) ore02
-.--/-.--/-.-- - x86_64-centos5-linux 4 ore03.optsys.xxx.ac.jp(xx.x.x.xx) ore03
-.--/-.--/-.-- - x86_64-centos5-linux 4 ore04.optsys.xxx.ac.jp(xx.x.x.xx) ore04
x.xx/x.xx/x.xx - x86_64-centos5-linux 4 ore05.optsys.xxx.ac.jp ore05
最初の部分が
-.--/-.--/-.-- -
のときはポートが閉じている場合や認証が通らない場合などに起こるのでそちらの設定を見直す。
x.xx/x.xx/x.xx
のときはそもそも存在しないか間違っているかなのでもう一度ホストの設定を見直す必要がある。
上の場合はおそらくore05というのが存在してないと推測できます。台数の勘違いでしょう。
自分のように-.--/-.--/-.-- -のときにホストをいくらみても解決しないとならないように気をつけたい。
普通にマニュアルに書いてあることですけど。
x86_64やCentOS5の部分は環境によってはもちろん変更する。
gfhost -c -a x86_64-centos5-linux -n 4 ore01.optsys.xxx.ac.jp ore01
面倒だが、登録数分やらないとたぶんダメである。
設定が完了すれば
gfhost -l
で細かく見ることができる。
0.06/0.02/0.00 s x86_64-centos5-linux 4 ore00.optsys.xxx.ac.jp(xx.x.x.xx)
-.--/-.--/-.-- - x86_64-centos5-linux 4 ore01.optsys.xxx.ac.jp(xx.x.x.xx) ore01
-.--/-.--/-.-- - x86_64-centos5-linux 4 ore02.optsys.xxx.ac.jp(xx.x.x.xx) ore02
-.--/-.--/-.-- - x86_64-centos5-linux 4 ore03.optsys.xxx.ac.jp(xx.x.x.xx) ore03
-.--/-.--/-.-- - x86_64-centos5-linux 4 ore04.optsys.xxx.ac.jp(xx.x.x.xx) ore04
x.xx/x.xx/x.xx - x86_64-centos5-linux 4 ore05.optsys.xxx.ac.jp ore05
最初の部分が
-.--/-.--/-.-- -
のときはポートが閉じている場合や認証が通らない場合などに起こるのでそちらの設定を見直す。
x.xx/x.xx/x.xx
のときはそもそも存在しないか間違っているかなのでもう一度ホストの設定を見直す必要がある。
上の場合はおそらくore05というのが存在してないと推測できます。台数の勘違いでしょう。
自分のように-.--/-.--/-.-- -のときにホストをいくらみても解決しないとならないように気をつけたい。
普通にマニュアルに書いてあることですけど。
2008年4月3日木曜日
2008年4月2日水曜日
復旧作業2
新しいHDDに変えた上で復旧作業をするわけだが、設定ファイルとwww以下のデータファイルさえコピーすればおそらく問題ないであろう。
昨日の復旧中で分かったことだがPHP4→5にするとどうやら変数の扱いが微妙になるらしく、ユーザーから受け取った値を直接printすると警告が出る。
htmlspecialchars()を使えばいったん変換されるので警告が消える。特殊文字など使ってないとは思うのだが・・。
MySQLのデータベースの移行はコマンドがあるらしいが普通にvar以下にあるようなコピーして持ってくるだけでも問題なく移行はできた。あまり推奨はされてないのかもしれないが・・。
昨日の復旧中で分かったことだがPHP4→5にするとどうやら変数の扱いが微妙になるらしく、ユーザーから受け取った値を直接printすると警告が出る。
htmlspecialchars()を使えばいったん変換されるので警告が消える。特殊文字など使ってないとは思うのだが・・。
MySQLのデータベースの移行はコマンドがあるらしいが普通にvar以下にあるようなコピーして持ってくるだけでも問題なく移行はできた。あまり推奨はされてないのかもしれないが・・。
2008年3月19日水曜日
登録:
投稿 (Atom)