TUT-HPC Library for D

技科大のHPCクラスタ計算機でD言語を簡単にぶん回すためのライブラリです．

ジョブスケジューラへのジョブ投入

1タスクあたり1プロセス(1スレッド)方式

次のように，ジョブスケジューラTorqueへのジョブ投入を自動化することができる．実行されたホストがクラスタ計算機でなければ，ジョブスケジューラへの投入はせずにstd.parallelismによる並列実行を行う．

import std.stdio;
import tuthpc.taskqueue;

void main()
{
    // ジョブをスケジューラに投入する際の設定
    auto env = defaultJobEnvironment();

    // ジョブスケジューラに投げるジョブリスト
    auto taskList = new MultiTaskList!void();

    // ジョブ1
    // スケジューラに投げるジョブを追加する
    taskList.append((string s){ writeln(s); }, "Hello, World!");

    // ジョブ2
    // delegateでもよいが，各ジョブは別のプロセスで実行される，
    // つまりあるプロセスでは単一のジョブのみが実行されることに注意しなければいけない．
    int a = 12;
    taskList.append((){ writeln(a); a = 100; writeln(a); });

    // ジョブをジョブスケジューラに投げる
    run(taskList, env);

    // ここで a が 12 なのか 100 なのかはわからない．
    // なぜなら，プロセスによってはジョブ2が実行されないためである．
    // (そして，ジョブ2を実行するプロセスは1つだけである．)
    assert(a == 12 || a == 100);
}

上記プログラムの実行時，各プロセスは以下のような動作を行うことでジョブを実行する．

クラスタマシン開発用ホストで実行されたとき，taskListの情報を元にしてジョブスケジューラにジョブを投げる．
クラスタマシンの計算ノード上で実行されたとき，taskListの中から自分が担当するジョブのみを実行する．

したがって，run(taskList, env);を実行するまで，もしくはそれ以降のすべての処理は，並列化されず，(オーバーヘッドとして)すべてのノードで実行されてしまう．

また，taskListは，すべてのノード，すべてのプロセスで全く同一でなければいけない．つまり，次のようなプログラムでは実際にはどのようなジョブが実行されるかわからない．

import std.socket;
import std.stdio;
import tuthpc.taskqueue;

void main()
{
    // ジョブをスケジューラに投入する際の設定
    auto env = defaultJobEnvironment();

    // ジョブスケジューラに投げるジョブリスト
    auto taskList = new MultiTaskList!void();

    // 実行ホストのホスト名を使用する
    // 実行される計算機によってはホスト名が異なるため，
    // 以下のタスクはどのような実行結果になるか不明である．
    foreach(e; Socket.hostName)
        taskList.append((char c){ writeln(c); }, e);

    run(taskList, env);
}

1タスクあたり1プロセス(1プロセス複数スレッド)方式

未実装．そのうち実装予定．

MPIの使用

MPIはサポートしていません．

JobEnvironment