ユーティリティファイルのサイズを調べたい : sort プロシジャ details オプション - unix版SAS限定？

-

sortプロシジャは、実行しているとき、ユーティリティファイルという一時ファイルを作成します。そのファイルの中でソート処理が行われるわけですが、ユーティリティファイルの容量は、ソート対象のデータセットの 1～3倍くらい？のサイズになります。どのくらいのサイズになるかは、データセットがどのような構造をしているかなどで上下します。ユーティリティファイルは、ソートの終了とともに消えてしまうので、サイズを調べるのは少々面倒です。

sortプロシジャの details オプションは、ユーティリティファイルのサイズをログに出力してくれるオプションです。このオプションをつけることで、簡単にサイズがわかります。どんな風に出力してくれるかを見てみましょう。

 71         option msglevel=i lognumberformat ;
 72         
 73         proc sort data=TEST details ;
 74           by R ;
 75         run ;
 
 NOTE: ユーティリティファイルが必要です。
 NOTE: ユーティリティファイル 1 のページサイズは 131072 バイトです。
 NOTE: データセットWORK.TESTから100,000,000オブザベーションを読み込みました。 
 NOTE: ユーティリティファイル 1 には 100000000 レコードと 3 並べ替えられた実行が含まれます。
 NOTE: ユーティリティファイル 1 は 30527 ページ (合計 3907456.00 KB) あります。
 NOTE: SASスレッドソートを使用します。
 NOTE: データセットWORK.TESTは100,000,000オブザベーション、3変数です。
 NOTE: PROCEDURE SORT処理(合計処理時間):
       処理時間           1:16.55
       ユーザーCPU時間    1:20.44
       システムCPU時間    7.35 秒
       メモリ             3165715.60k
       OSメモリ           3193028.00k
       タイムスタンプ     2017/06/13 午前11:46:02
       ステップ数                        70  スイッチ数  56
       ページフォルト回数                0
       ページリクレーム回数              712755
       ページスワップ回数                0
       自発的コンテキストスイッチ回数    71106
       非自発的コンテキストスイッチ回数  250
       ブロック入力操作回数              0
       ブロック出力操作回数              14092568

KB単位で、ユーティリティファイルのサイズを教えてくれます。

割り当てられているディスク容量が少ない環境では、SASプログラムがどの程度ディスク容量を使うかを調べなくてはなりません (使用容量100%になりかねないので)。本オプションを使うことで、最大使用容量を調べやすくなるかと思います。


ユーティリティファイルのサイズは必ず出力されるわけではなく、サイズが小さいデータセットの場合は出力されません。小さい大きいの基準は、SAS実行環境によって異なります。下記は、メモリ内でソートが行われた例です。

 70         option msglevel=i lognumberformat ;
 71         
 72         proc sort data=TEST details ;
 73           by R ;
 74         run ;
 
 NOTE: データセットWORK.TESTから1,000,000オブザベーションを読み込みました。 
 NOTE: メモリ内で並べ替えられました。
 NOTE: SASスレッドソートを使用します。
 NOTE: データセットWORK.TESTは1,000,000オブザベーション、2変数です。
 NOTE: PROCEDURE SORT処理(合計処理時間):
       処理時間           0.30 秒
       ユーザーCPU時間    0.50 秒
       システムCPU時間    0.08 秒
       メモリ             58845.48k
       OSメモリ           85788.00k
       タイムスタンプ     2017/06/13 午前11:48:14
       ステップ数                        76  スイッチ数  35
       ページフォルト回数                0
       ページリクレーム回数              14304
       ページスワップ回数                0
       自発的コンテキストスイッチ回数    3033
       非自発的コンテキストスイッチ回数  0
       ブロック入力操作回数              0
       ブロック出力操作回数              31752

もっと小さくなると、急に優しさがないメッセージが出力されます。小さい場合はユーティリティファイルを気にしなくてもいい、といえばいいのですが、、、

 70         option msglevel=i lognumberformat ;
 71         
 72         proc sort data=TEST details ;
 73           by R ;
 74         run ;
 
 NOTE: データセットWORK.TESTから10オブザベーションを読み込みました。 
 mempage=131072 alocsize=32800 isa=131072 osa=131072 xmisa=0
 holds=4096 nway=1 sortsize=3221225472 memoryuse=163872.00
 keylen=16 reclen=16 dkin=0 inrec=10 outrec=10 yieldobs=0
 nruns=1 xcbpage=131072 npages=0 diskuse=0.00
 
 NOTE: SASソートを使用しました。
 NOTE: データセットWORK.TESTは10オブザベーション、2変数です。
 NOTE: PROCEDURE SORT処理(合計処理時間):
       処理時間           0.00 秒
       ユーザーCPU時間    0.00 秒
       システムCPU時間    0.00 秒
       メモリ             791.84k
       OSメモリ           29608.00k
       タイムスタンプ     2017/06/13 午後12:33:53
       ステップ数                        82  スイッチ数  44
       ページフォルト回数                0
       ページリクレーム回数              89
       ページスワップ回数                0
       自発的コンテキストスイッチ回数    124
       非自発的コンテキストスイッチ回数  0
       ブロック入力操作回数              0
       ブロック出力操作回数              264

ユーティリティファイルのサイズを教えてくれるありがたいオプション details ですが、たしか unix版SAS にしかなかった、、、気がします(うろ覚え)。unix版ユーザーはバシバシ使っていきましょう。


コメント

コメントを投稿

このブログの人気の投稿

マクロの引数にカンマ、クォートなどを渡す : %bquote, %str, %superq - SAS

-
%bquote , %str などを用いて、マクロの引数に、カンマ、クォートといった記号を渡す方法です。何度か質問されたので、まとめてみます。 まずはサンプル用のマクロとして、マクロの引数に渡った値をログに出力するだけの単純なマクロを作ります。 %macro TEST(ARGS) ; %put &=ARGS. ; %mend TEST ; まずは失敗例。下記のように、カンマやダブルクォーテーションを引数として渡そうとしてみます。しかし、カンマを付けてしまうと、"1"が 1つ目の引数の値、"2"が 2つ目の引数の値としてみなされてしまいます。マクロ定義の引数より多く引数を渡したと言われ、ERROR になってしまいます。 実行ログ 67 %TEST("1", "2") ; ERROR: マクロに定義された数よりも多い定位置パラメータが与えられています。 68 カンマやダブルクォーテーションを渡すためには、%bquote あるいは %str を使うことで、渡すことができます。 %str は、ダブルクォーテーションの前に % を書かないといけないので、少々面倒ですね。 実行ログ 69 %TEST(%bquote("1", "2")) ; ARGS="1", "2" 70 71 %TEST(%str(%"1%", %"2%")) ; ARGS="1", "2" また、引数をマクロ変数にて、渡したい場合は %bquote を使うことでできます。%str だと渡すことができません。 実行ログ 61 %let ARGS = "1", "2" ; 62 %TEST(%bquote(&ARGS.)) ; ARGS="1", "2" 63 ...
続きを読む

Linuxコマンド: date で◯か月前 / ◯か月後を取得するときの注意

-
date コマンドは、日付を取得したり、整形して表示したり、◯日後や◯か月後、◯年前の日付を表示したりすることができます。 ◯か月前や◯か月後を使用する時が曲者で、月末に近い日に実行すると、思っていた動作をしてくれないことがあります。 $ date 2015年 9月 6日 日曜日 16:05:22 JST $ date -d "2015-08-31" 2015年 8月 31日 月曜日 00:00:00 JST $ date -d "2015-08-31 1 month" 2015年 10月 1日 木曜日 00:00:00 JST $ date -d "2015-01-31 1 month" 2015年 3月 3日 火曜日 00:00:00 JST 8月31日の1か月後が10月1日になったり、1月31日の1か月後が3月3日になったりします。月によって◯か月後の計算をきちんとしてくれるわけではないようです。 実施日の翌月末を取得するには、実施月の 1日に変換してから、2ヶ月後の1日前を指定することで取得できます。 $ date -d "`date '+%Y/%m/01' -d "\`date '+%Y/%m/01' \` 2 month"` 1 day ago" 2015年 10月 31日 土曜日 00:00:00 JST 指定した日付の翌月の月末を取得する場合は、以下のように書きます。 $ date -d "`date '+%Y/%m/01' -d "\`date '+%Y/%m/01' -d 2015/08/31\` 2 month"` 1 day ago" 2015年 8月 31日 月曜日 00:00:00 JST $ date -d "`date '+%Y/%m/01' -d "\`date '+%Y/%m/01' -d 2015/01/31\` 2 month"` 1 day ago" 2015年 2月 28日 土曜日 00:00:...
続きを読む

missingオプション - 数値欠損値の出力結果を . ドットから変更する - SAS

-
イメージ
数値の欠損値は、デフォルトで、. で出力されますが、別の文字にしたいときは、missingオプションを使うと、別の文字に変更することができます。値は、１文字だけ設定することができます。 options missing="M" ; data TEST ; length B $10. C $10. ; A = 1 ; B = "ABCDEFG" ; C = "123456" ; output ; A = 2 ; B = "09"x || "BBB" ; C = "1,2,3" ; output ; A = 3 ; B = "B," || "09"x || ",B" ; C = "" ; output ; A = . ; B = "" ; C = "" ; output ; run ; filename OUT "/folders/myfolders/test.txt" ; data _NULL_ ; set TEST ; file OUT dlm="09"x dsd ; put A ~ B ~ C ~ ; run ; これで、数値の欠損値の出力を変更することができました。しかし、特殊欠損値の場合は、変更されませんのでご注意ください。 options missing=" " ; data TEST1 ; A = . ; B = "" ; C = .M ; D = .A ; run ; filename OUT "/folders/myfolders/test1.txt" ; data _NULL_ ; set TEST1 ; file OUT dlm="09"x dsd ; put A ~ B ~ C ~ D ~ ; run ; 参考サイト...
続きを読む