[gfarm-discuss-ja:00668] Re: 並列分散処理のプロセス数の制御とスプールディレクトリの共有

[山本 和憲 <yamamoto@xxxxxxxxxxxxxxxxxxxxxxx>]

筑波大　建部様

愛媛大学の山本です。

先日はぶっしつけな質問をしてしまい失礼しました。
先日お聞きした質問につきましては、無事に解決しました。

１． gfq.sh を利用する
無事にスクリプトを実行することができました。
文字コードが異なっていたのがエラーの原因でした。
お騒がせして申し訳ございませんでした。

1年間（365files）と3年間(1096files)の観測データについて、
gfq.shを使用した場合としない場合で実行時間を測定しました。
結果は以下のように、今回はgfq.shをすることによって実行時間を短くすること
ができました。

　　　　　　gfq.shを使用する　　　　　　　gfq.shを使用しない(gfrunによる
処理)
１年間　　　　　58秒　　　　　　　　　　　　　　　86秒
３年間　　　　369秒　　　　　　　　　　　　　 　859秒

ただ、実行時の出力結果をファイルに落としているのですが、
gfq.shを使用した際に出力されたファイルは、
gfrunを使用したときよりも若干ファイルサイズが小さくりましたので、
スクリプトを見ながら、詳しく動作を検証していきたいと思います。

２．NFSによるスループットディレクトリの共有化
実際にスループットディレクトリをNFSで共有し、動作検証をしました。
gfregコマンドでのメタデータの登録やセグメントの生成は行えているのですが、
gfrunコマンドで並列分散処理をしようとした際には、
建部様が指摘しているように実行ファイルが消されてしまい処理が行えませんで
した。

ディスク使用量の節約ができればと思ったのですが、
建部様に指摘して頂きましたように通信のオーバーヘッドも考えて、
もともとのGfarmの特性を活かすためにローカルI/Oで処理することにします。

いろいろとご教示くださり、ありがとうございました。

>>2. 添付のスクリプト gfq.sh を利用する方法
>>
>>まず，このスクリプトは，システムコールフックライブラリ(libgfs_hook.so)
>>の利用を前提としていますので注意してください．
>>
>>添付の三つのスクリプトを PATH の通っているディレクトリに保存して，実行
>>ビットを立てて，以下のように実行します．
>>
>>	% gfq.sh file cmd arg ...
>>
>>file は，ファイル・アフィニティ・スケジューリングで指定するファイルです．
>>
>>このとき，例えば file が 356 フラグメントからなる場合，最終的には計
>>356 プロセスが実行されますが，それぞれのノードでは同時には高々一つのプ
>>ロセスしか実行されません．
>>
>>これらのスクリプトで要求が満たされれればと思いますが，どうでしょうか？
>> 
>>
>>    
>>
>gfq.shへのPATHを通した後に、以下のように教えて頂いた方法で実行してみたの
>ですが、
>エラーが表示されて止まってしまいます。
>
>[yamamoto@node2 ~]$ gfq.sh gfarm:geotail_1month.cdf gfrun
>gfarm:geotail.exe gfarm:geotail_1month.cdf -20 -10 -10 10 -10 10
>: bad interpreter: No such file or directory
>
>
>  
>
>>次に，質問２に関してです．
>>
>>スプールディレクトリを NFS 上に設定することは可能は可能ですが，一般的に
>>は，それぞれのファイルシステムノードのスプールディレクトリは別々のディ
>>レクトリにする必要があります．ファイル複製を絶対に作成しない，というの
>>であれば，ディレクトリを分けなくても動作しますが，なにかのきっかけでファ
>>イル複製を作成してしまったときにファイルを失ってしまうと思います．また，
>>いずれにしても他のファイルシステムノードが担当するファイルをアクセスす
>>るのに，NFS のオーバヘッドに，Gfarm のオーバヘッドが加わってしまうため，
>>オトクではありません．
>>    
>>
>この件について質問させて頂きましたのは、
>Gfarmの可能性として、
>NFSでファイルシステムノードのスプールディレクトリを共有することにより、
>フラグメントのファイルも共有され、
>通信のトラフィックは生じるが
>リプリケートせずとも全ノードにファイル複製されているような状態が
>仮想的に作り出せるのではないかと思ったからなのですが、
>このようなことは可能でしょうか？
>
-- 
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
山本 和憲  Kazunori YAMAMOTO
yamamoto@xxxxxxxxxxxxxxxxxxxxxxx
愛媛大学大学院 理工学研究科 電子情報工学専攻
応用情報工学講座 情報ネットワーク分野
http://www.infonet.cite.ehime-u.ac.jp/
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~