SASをマルチプロセスで実行したい - OSコマンドを非同期/同期で実行する systaskステートメント、実行が終るまで処理を止める waitforステートメント

-

今回は、(現時点では)SAS雲丹(SAS University Edition)で実行できないステートメントのお話。

SAS9.4では、DS2 でマルチスレッドができるみたいですけど、SAS9.3以前で似たようなものができないものか。proc sortとか一部のプロシージャはマルチで動くようになったけど、それだけでは足りない。SPDエンジンは使える環境ではない。どうしたものか。

そんなこんなで探して見つけたのが、systaskステートメントです。systaskステートメントは、OSのコマンドを実行するためのステートメントです。OSのコマンドを実行するには、filenameステートメントのpipe、Xステートメント、call systemルーチンなどがありますが、非同期では実行できません。systaskステートメントならば非同期または同期のどちらかを指定して実行することが出来ます。(同期 = 実行終了を待って後続の処理を実行、 非同期 = 実行終了待たずに後続の処理を実行)

まず、どのように書くのかを見てみましょう。

systask command "pwd" taskname="TASK_1" status=STATUS_1 ;

上記の例では、現在のディレクトリの位置を表示する pwd コマンドを実行しています。

taskname= で指定したのがタスク名です。指定したタスクが実行終るまで待つ、指定したタスクを kill する、といったときにタスク名を使います。

status= ではコマンドの出力結果が、指定したマクロ変数に格納されます。OSやらコマンドにもよると思いますが、例えば、正常終了ならば 0 、異常終了ならば 1 が格納される、といった感じです。

また、コマンドの標準出力の結果は、ログに出力されます。


さて、systaskステートメントでどうやってマルチで動かすかというと、SASのバッチ実行を使います。SASバッチを使うことで、SASの中で、SASを非同期で実行させます。

systask command "sas sample1.sas" taskname="TASK_1" status=STATUS_1 ;
systask command "sas sample2.sas" taskname="TASK_2" status=STATUS_2 ;
systask command "sas sample3.sas" taskname="TASK_3" status=STATUS_3 ;

/* 全てのタスクの状態をログに出力する */
systask list _all_ ;

/* タスクの終了を待つ */
waitfor _all_ STATUS_1 STATUS_2 STATUS_3 ;

/* 処理結果を表示 */
%put タスク１: &STATUS_1. ;
%put タスク２: &STATUS_2. ;
%put タスク３: &STATUS_3. ;

SASプログラム sample1.sas ～ sample3.sas を非同期で実行させています。(UNIX版、Windows版で、バッチ実行の書き方は多少異なるかと思います)

systask list は、タスクの状態をログに出力します。

waitforステートメントで、指定したタスクの処理終了を待ちます。処理結果は、指定したマクロ変数に格納されるので、結果によって、後続を実行するかどうかとか、処理を変えるとかできますね。

SASバッチを使っているので、マルチスレッドではなくて、マルチプロセスですかね。


上の例では、SASプログラムを複数同時実行させています。同じ環境設定ファイルが使われているので、同じWORK領域を指していると、ディスク容量が足りなくなるかもしれません。なので、それぞれ環境設定ファイルを変更するなりして対処する必要があります。SASバッチでは、以下のようにやるとイケルと思います。

/* WORK領域を指定して実行 */
systask command "sas sample1.sas -work /WORK/001" taskname="TASK_1" status=STATUS_1 ;

/* 環境設定ファイルを指定して実行 */
systask command "sas sample2.sas -config /TEST/sas.cfg" taskname="TASK_2" status=STATUS_2 ;

せっかくなので、systaskステートメントの他の機能も見てみましょう。

/* 同期で実行する場合は、wait を付けましょう */
/* 同期 = SASプログラムの実行終了を待つ      */
systask command "sas sample1.sas" taskname="TASK_1" status=STATUS_1 wait ;

/* waitforステートメントを使用しない場合は、cleanup を付けてください。  */
/* cleanup を付けることで、同名のタスク名をもう一度付けることが出来ます */
/* cleanup または waitfor なしに同名タスクを使うと怒られてしまいます。  */
systask command "sas sample1.sas" taskname="TASK_1" status=STATUS_1 cleanup ;

/* 指定したタスクを停止します */
systask kill TASK_1 ;

さて、SASからSASを複数実行することで、マルチプロセスを実現してみました。シェルスクリプトが使えるならば、waitコマンドを使って同じようなことができると思います。

参考サイト

  1. SASを使いやすくカスタマイズしよう SAS環境変数,AUTOEXECなど | うずまき(4th Gen) | Jun-Systems
  2. ディスクに空きがありません
  3. Windows版 バッチ（非対話）モードでの実行
  4. SASをバッチモードで実行する方法
  5. Customizing Your SAS Session By Using System Options | SAS(R) 9.4 Companion for UNIX Environments, Fourth Edition (英語)
  6. Changing SAS System Option Settings | SAS(R) 9.4 Companion for Windows, Third Edition (英語)

コメント

コメントを投稿

このブログの人気の投稿

日付フォーマットでない文字項目をSAS日付に変換するときにログ出力されるメッセージを抑制したい - SAS

-
文字項目を数値やSAS日付に変換するとき使う input 関数。指定したフォーマットに合わない無効なデータを引数として渡してしまうと、ログで NOTE: ～の引数は無効です。などと怒られてしまいます。 メッセージを出してほしくない！というときは、input 関数の中に、? を使用することで、ログにメッセージがでなくなります。使用方法は、入力フォーマットの前に ? を記載するだけです。 input(A, ? yymmdd8.) ; ? が１個だけだと、NOTE: ～の引数は無効です。のメッセージが消えて、_ERROR_ のメッセージは出力されます。?? だと両方ログから消えます。 サンプルコード data TEST ; input A $30. ; cards ; AAA こんにちは さようなら 20140102 20140830 20140229 20120229 run ; data TEST ; set TEST ; B = input(A, yymmdd8.) ; run ; data TEST ; set TEST ; C = input(A, ? yymmdd8.) ; run ; data TEST ; set TEST ; D = input(A, ?? yymmdd8.) ; run ; ログ 43 data TEST ; 44 input A $30. ; 45 cards ; NOTE: データセットWORK.TESTは8オブザベーション、1変数です。 54 run ; 55 56 data TEST ; 57 set TEST ; 58 B = input(A, yymmdd8.) ; 59 run ; NOTE: 関数INPUT (行 58 カラム 7)の引数は無効です。 A=AAA B=. _ERROR_=1 _N_=1 NOTE: 関数INPUT (行 58 カラム 7)の引数は無効です。 A=こんにちは B=. _ERROR_=1 _N_=2 NOTE: 関数INPUT (行 58 カラム 7)の引数は無効です。 A=さようなら B=. _ERROR_=1 _N_=3 NOTE: 関数INPUT (行 58 カラム 7)の引数は無効です。 A=20140229 B=
続きを読む

データセット(.sas7bdatファイル)の文字コードを取得したい - SAS

-
イメージ
SAS環境の違いにより、SASのデータセットの文字コードが混在することがまれによくあると思います。 データセットの文字コードがSAS環境に合っていないと、文字化けが起きてしまいますし、パフォーマンスが低下してしまうので、きちんと環境に合わせる必要があります。 文字コード変換をしなくてはいけないデータセットってどれだろうと一括で調べるための準備として、データセットの文字コードを取得してマクロ変数に格納できるようになるまでが今回のお話です。 ちなみに、文字コードがSAS環境の文字コード(セッションエンコーディング)と合っていないと、下記のようなログメッセージが出て怒られます。 59 data TEST(encoding=sjis) ; 60 A = 1 ; 61 run ; INFO: データファイルWORK.TEST.DATAに他のホストにネイティブな形式が使用されているか、またはエンコーデ ィングがセッションエンコーディングと一致していません。クロス環境データアクセスが使用され るため、追加のCPUリソースが必要となり、パフォーマンスが低下します。 NOTE: データセットWORK.TESTは1オブザベーション、1変数です。 NOTE: DATAステートメント処理(合計処理時間): 処理時間 0.05 秒 CPU時間 0.00 秒 さて、データセットの文字コード取得は、proc contentsを用いることで取得できます。しかし、リスト出力のままでは、出力結果をSASプログラム上で扱うことが出来ません。 そこで登場しますのが、ods output です。 ods output により、リスト出力した結果をデータセットとして取得することができます。 data TEST1 ; A = 1 ; run ; ods output attributes=DATASET_ENCODING ; proc contents data=TEST1 ; run ; ods output close ; proc contents で指定したデータセットの文字コードが格納されている属性情報
続きを読む

Linuxコマンド: date で◯か月前 / ◯か月後を取得するときの注意

-
date コマンドは、日付を取得したり、整形して表示したり、◯日後や◯か月後、◯年前の日付を表示したりすることができます。 ◯か月前や◯か月後を使用する時が曲者で、月末に近い日に実行すると、思っていた動作をしてくれないことがあります。 $ date 2015年 9月 6日 日曜日 16:05:22 JST $ date -d "2015-08-31" 2015年 8月 31日 月曜日 00:00:00 JST $ date -d "2015-08-31 1 month" 2015年 10月 1日 木曜日 00:00:00 JST $ date -d "2015-01-31 1 month" 2015年 3月 3日 火曜日 00:00:00 JST 8月31日の1か月後が10月1日になったり、1月31日の1か月後が3月3日になったりします。月によって◯か月後の計算をきちんとしてくれるわけではないようです。 実施日の翌月末を取得するには、実施月の 1日に変換してから、2ヶ月後の1日前を指定することで取得できます。 $ date -d "`date '+%Y/%m/01' -d "\`date '+%Y/%m/01' \` 2 month"` 1 day ago" 2015年 10月 31日 土曜日 00:00:00 JST 指定した日付の翌月の月末を取得する場合は、以下のように書きます。 $ date -d "`date '+%Y/%m/01' -d "\`date '+%Y/%m/01' -d 2015/08/31\` 2 month"` 1 day ago" 2015年 8月 31日 月曜日 00:00:00 JST $ date -d "`date '+%Y/%m/01' -d "\`date '+%Y/%m/01' -d 2015/01/31\` 2 month"` 1 day ago" 2015年 2月 28日 土曜日 00:00:
続きを読む