SASをマルチプロセスで実行したい - OSコマンドを非同期/同期で実行する systaskステートメント、実行が終るまで処理を止める waitforステートメント

-

今回は、(現時点では)SAS雲丹(SAS University Edition)で実行できないステートメントのお話。

SAS9.4では、DS2 でマルチスレッドができるみたいですけど、SAS9.3以前で似たようなものができないものか。proc sortとか一部のプロシージャはマルチで動くようになったけど、それだけでは足りない。SPDエンジンは使える環境ではない。どうしたものか。

そんなこんなで探して見つけたのが、systaskステートメントです。systaskステートメントは、OSのコマンドを実行するためのステートメントです。OSのコマンドを実行するには、filenameステートメントのpipe、Xステートメント、call systemルーチンなどがありますが、非同期では実行できません。systaskステートメントならば非同期または同期のどちらかを指定して実行することが出来ます。(同期 = 実行終了を待って後続の処理を実行、 非同期 = 実行終了待たずに後続の処理を実行)

まず、どのように書くのかを見てみましょう。

systask command "pwd" taskname="TASK_1" status=STATUS_1 ;

上記の例では、現在のディレクトリの位置を表示する pwd コマンドを実行しています。

taskname= で指定したのがタスク名です。指定したタスクが実行終るまで待つ、指定したタスクを kill する、といったときにタスク名を使います。

status= ではコマンドの出力結果が、指定したマクロ変数に格納されます。OSやらコマンドにもよると思いますが、例えば、正常終了ならば 0 、異常終了ならば 1 が格納される、といった感じです。

また、コマンドの標準出力の結果は、ログに出力されます。


さて、systaskステートメントでどうやってマルチで動かすかというと、SASのバッチ実行を使います。SASバッチを使うことで、SASの中で、SASを非同期で実行させます。

systask command "sas sample1.sas" taskname="TASK_1" status=STATUS_1 ;
systask command "sas sample2.sas" taskname="TASK_2" status=STATUS_2 ;
systask command "sas sample3.sas" taskname="TASK_3" status=STATUS_3 ;

/* 全てのタスクの状態をログに出力する */
systask list _all_ ;

/* タスクの終了を待つ */
waitfor _all_ STATUS_1 STATUS_2 STATUS_3 ;

/* 処理結果を表示 */
%put タスク１: &STATUS_1. ;
%put タスク２: &STATUS_2. ;
%put タスク３: &STATUS_3. ;

SASプログラム sample1.sas ～ sample3.sas を非同期で実行させています。(UNIX版、Windows版で、バッチ実行の書き方は多少異なるかと思います)

systask list は、タスクの状態をログに出力します。

waitforステートメントで、指定したタスクの処理終了を待ちます。処理結果は、指定したマクロ変数に格納されるので、結果によって、後続を実行するかどうかとか、処理を変えるとかできますね。

SASバッチを使っているので、マルチスレッドではなくて、マルチプロセスですかね。


上の例では、SASプログラムを複数同時実行させています。同じ環境設定ファイルが使われているので、同じWORK領域を指していると、ディスク容量が足りなくなるかもしれません。なので、それぞれ環境設定ファイルを変更するなりして対処する必要があります。SASバッチでは、以下のようにやるとイケルと思います。

/* WORK領域を指定して実行 */
systask command "sas sample1.sas -work /WORK/001" taskname="TASK_1" status=STATUS_1 ;

/* 環境設定ファイルを指定して実行 */
systask command "sas sample2.sas -config /TEST/sas.cfg" taskname="TASK_2" status=STATUS_2 ;

せっかくなので、systaskステートメントの他の機能も見てみましょう。

/* 同期で実行する場合は、wait を付けましょう */
/* 同期 = SASプログラムの実行終了を待つ      */
systask command "sas sample1.sas" taskname="TASK_1" status=STATUS_1 wait ;

/* waitforステートメントを使用しない場合は、cleanup を付けてください。  */
/* cleanup を付けることで、同名のタスク名をもう一度付けることが出来ます */
/* cleanup または waitfor なしに同名タスクを使うと怒られてしまいます。  */
systask command "sas sample1.sas" taskname="TASK_1" status=STATUS_1 cleanup ;

/* 指定したタスクを停止します */
systask kill TASK_1 ;

さて、SASからSASを複数実行することで、マルチプロセスを実現してみました。シェルスクリプトが使えるならば、waitコマンドを使って同じようなことができると思います。

参考サイト

  1. SASを使いやすくカスタマイズしよう SAS環境変数,AUTOEXECなど | うずまき(4th Gen) | Jun-Systems
  2. ディスクに空きがありません
  3. Windows版 バッチ（非対話）モードでの実行
  4. SASをバッチモードで実行する方法
  5. Customizing Your SAS Session By Using System Options | SAS(R) 9.4 Companion for UNIX Environments, Fourth Edition (英語)
  6. Changing SAS System Option Settings | SAS(R) 9.4 Companion for Windows, Third Edition (英語)

コメント

コメントを投稿

このブログの人気の投稿

マクロの引数にカンマ、クォートなどを渡す : %bquote, %str, %superq - SAS

-
%bquote , %str などを用いて、マクロの引数に、カンマ、クォートといった記号を渡す方法です。何度か質問されたので、まとめてみます。 まずはサンプル用のマクロとして、マクロの引数に渡った値をログに出力するだけの単純なマクロを作ります。 %macro TEST(ARGS) ; %put &=ARGS. ; %mend TEST ; まずは失敗例。下記のように、カンマやダブルクォーテーションを引数として渡そうとしてみます。しかし、カンマを付けてしまうと、"1"が 1つ目の引数の値、"2"が 2つ目の引数の値としてみなされてしまいます。マクロ定義の引数より多く引数を渡したと言われ、ERROR になってしまいます。 実行ログ 67 %TEST("1", "2") ; ERROR: マクロに定義された数よりも多い定位置パラメータが与えられています。 68 カンマやダブルクォーテーションを渡すためには、%bquote あるいは %str を使うことで、渡すことができます。 %str は、ダブルクォーテーションの前に % を書かないといけないので、少々面倒ですね。 実行ログ 69 %TEST(%bquote("1", "2")) ; ARGS="1", "2" 70 71 %TEST(%str(%"1%", %"2%")) ; ARGS="1", "2" また、引数をマクロ変数にて、渡したい場合は %bquote を使うことでできます。%str だと渡すことができません。 実行ログ 61 %let ARGS = "1", "2" ; 62 %TEST(%bquote(&ARGS.)) ; ARGS="1", "2" 63 ...
続きを読む

Linuxコマンド: date で◯か月前 / ◯か月後を取得するときの注意

-
date コマンドは、日付を取得したり、整形して表示したり、◯日後や◯か月後、◯年前の日付を表示したりすることができます。 ◯か月前や◯か月後を使用する時が曲者で、月末に近い日に実行すると、思っていた動作をしてくれないことがあります。 $ date 2015年 9月 6日 日曜日 16:05:22 JST $ date -d "2015-08-31" 2015年 8月 31日 月曜日 00:00:00 JST $ date -d "2015-08-31 1 month" 2015年 10月 1日 木曜日 00:00:00 JST $ date -d "2015-01-31 1 month" 2015年 3月 3日 火曜日 00:00:00 JST 8月31日の1か月後が10月1日になったり、1月31日の1か月後が3月3日になったりします。月によって◯か月後の計算をきちんとしてくれるわけではないようです。 実施日の翌月末を取得するには、実施月の 1日に変換してから、2ヶ月後の1日前を指定することで取得できます。 $ date -d "`date '+%Y/%m/01' -d "\`date '+%Y/%m/01' \` 2 month"` 1 day ago" 2015年 10月 31日 土曜日 00:00:00 JST 指定した日付の翌月の月末を取得する場合は、以下のように書きます。 $ date -d "`date '+%Y/%m/01' -d "\`date '+%Y/%m/01' -d 2015/08/31\` 2 month"` 1 day ago" 2015年 8月 31日 月曜日 00:00:00 JST $ date -d "`date '+%Y/%m/01' -d "\`date '+%Y/%m/01' -d 2015/01/31\` 2 month"` 1 day ago" 2015年 2月 28日 土曜日 00:00:...
続きを読む

missingオプション - 数値欠損値の出力結果を . ドットから変更する - SAS

-
イメージ
数値の欠損値は、デフォルトで、. で出力されますが、別の文字にしたいときは、missingオプションを使うと、別の文字に変更することができます。値は、１文字だけ設定することができます。 options missing="M" ; data TEST ; length B $10. C $10. ; A = 1 ; B = "ABCDEFG" ; C = "123456" ; output ; A = 2 ; B = "09"x || "BBB" ; C = "1,2,3" ; output ; A = 3 ; B = "B," || "09"x || ",B" ; C = "" ; output ; A = . ; B = "" ; C = "" ; output ; run ; filename OUT "/folders/myfolders/test.txt" ; data _NULL_ ; set TEST ; file OUT dlm="09"x dsd ; put A ~ B ~ C ~ ; run ; これで、数値の欠損値の出力を変更することができました。しかし、特殊欠損値の場合は、変更されませんのでご注意ください。 options missing=" " ; data TEST1 ; A = . ; B = "" ; C = .M ; D = .A ; run ; filename OUT "/folders/myfolders/test1.txt" ; data _NULL_ ; set TEST1 ; file OUT dlm="09"x dsd ; put A ~ B ~ C ~ D ~ ; run ; 参考サイト...
続きを読む