ユーティリティファイルのサイズを調べたい : sort プロシジャ details オプション - unix版SAS限定？

-

sortプロシジャは、実行しているとき、ユーティリティファイルという一時ファイルを作成します。そのファイルの中でソート処理が行われるわけですが、ユーティリティファイルの容量は、ソート対象のデータセットの 1～3倍くらい？のサイズになります。どのくらいのサイズになるかは、データセットがどのような構造をしているかなどで上下します。ユーティリティファイルは、ソートの終了とともに消えてしまうので、サイズを調べるのは少々面倒です。

sortプロシジャの details オプションは、ユーティリティファイルのサイズをログに出力してくれるオプションです。このオプションをつけることで、簡単にサイズがわかります。どんな風に出力してくれるかを見てみましょう。

 71         option msglevel=i lognumberformat ;
 72         
 73         proc sort data=TEST details ;
 74           by R ;
 75         run ;
 
 NOTE: ユーティリティファイルが必要です。
 NOTE: ユーティリティファイル 1 のページサイズは 131072 バイトです。
 NOTE: データセットWORK.TESTから100,000,000オブザベーションを読み込みました。 
 NOTE: ユーティリティファイル 1 には 100000000 レコードと 3 並べ替えられた実行が含まれます。
 NOTE: ユーティリティファイル 1 は 30527 ページ (合計 3907456.00 KB) あります。
 NOTE: SASスレッドソートを使用します。
 NOTE: データセットWORK.TESTは100,000,000オブザベーション、3変数です。
 NOTE: PROCEDURE SORT処理(合計処理時間):
       処理時間           1:16.55
       ユーザーCPU時間    1:20.44
       システムCPU時間    7.35 秒
       メモリ             3165715.60k
       OSメモリ           3193028.00k
       タイムスタンプ     2017/06/13 午前11:46:02
       ステップ数                        70  スイッチ数  56
       ページフォルト回数                0
       ページリクレーム回数              712755
       ページスワップ回数                0
       自発的コンテキストスイッチ回数    71106
       非自発的コンテキストスイッチ回数  250
       ブロック入力操作回数              0
       ブロック出力操作回数              14092568

KB単位で、ユーティリティファイルのサイズを教えてくれます。

割り当てられているディスク容量が少ない環境では、SASプログラムがどの程度ディスク容量を使うかを調べなくてはなりません (使用容量100%になりかねないので)。本オプションを使うことで、最大使用容量を調べやすくなるかと思います。


ユーティリティファイルのサイズは必ず出力されるわけではなく、サイズが小さいデータセットの場合は出力されません。小さい大きいの基準は、SAS実行環境によって異なります。下記は、メモリ内でソートが行われた例です。

 70         option msglevel=i lognumberformat ;
 71         
 72         proc sort data=TEST details ;
 73           by R ;
 74         run ;
 
 NOTE: データセットWORK.TESTから1,000,000オブザベーションを読み込みました。 
 NOTE: メモリ内で並べ替えられました。
 NOTE: SASスレッドソートを使用します。
 NOTE: データセットWORK.TESTは1,000,000オブザベーション、2変数です。
 NOTE: PROCEDURE SORT処理(合計処理時間):
       処理時間           0.30 秒
       ユーザーCPU時間    0.50 秒
       システムCPU時間    0.08 秒
       メモリ             58845.48k
       OSメモリ           85788.00k
       タイムスタンプ     2017/06/13 午前11:48:14
       ステップ数                        76  スイッチ数  35
       ページフォルト回数                0
       ページリクレーム回数              14304
       ページスワップ回数                0
       自発的コンテキストスイッチ回数    3033
       非自発的コンテキストスイッチ回数  0
       ブロック入力操作回数              0
       ブロック出力操作回数              31752

もっと小さくなると、急に優しさがないメッセージが出力されます。小さい場合はユーティリティファイルを気にしなくてもいい、といえばいいのですが、、、

 70         option msglevel=i lognumberformat ;
 71         
 72         proc sort data=TEST details ;
 73           by R ;
 74         run ;
 
 NOTE: データセットWORK.TESTから10オブザベーションを読み込みました。 
 mempage=131072 alocsize=32800 isa=131072 osa=131072 xmisa=0
 holds=4096 nway=1 sortsize=3221225472 memoryuse=163872.00
 keylen=16 reclen=16 dkin=0 inrec=10 outrec=10 yieldobs=0
 nruns=1 xcbpage=131072 npages=0 diskuse=0.00
 
 NOTE: SASソートを使用しました。
 NOTE: データセットWORK.TESTは10オブザベーション、2変数です。
 NOTE: PROCEDURE SORT処理(合計処理時間):
       処理時間           0.00 秒
       ユーザーCPU時間    0.00 秒
       システムCPU時間    0.00 秒
       メモリ             791.84k
       OSメモリ           29608.00k
       タイムスタンプ     2017/06/13 午後12:33:53
       ステップ数                        82  スイッチ数  44
       ページフォルト回数                0
       ページリクレーム回数              89
       ページスワップ回数                0
       自発的コンテキストスイッチ回数    124
       非自発的コンテキストスイッチ回数  0
       ブロック入力操作回数              0
       ブロック出力操作回数              264

ユーティリティファイルのサイズを教えてくれるありがたいオプション details ですが、たしか unix版SAS にしかなかった、、、気がします(うろ覚え)。unix版ユーザーはバシバシ使っていきましょう。


コメント

コメントを投稿

このブログの人気の投稿

日付フォーマットでない文字項目をSAS日付に変換するときにログ出力されるメッセージを抑制したい - SAS

-
文字項目を数値やSAS日付に変換するとき使う input 関数。指定したフォーマットに合わない無効なデータを引数として渡してしまうと、ログで NOTE: ～の引数は無効です。などと怒られてしまいます。 メッセージを出してほしくない！というときは、input 関数の中に、? を使用することで、ログにメッセージがでなくなります。使用方法は、入力フォーマットの前に ? を記載するだけです。 input(A, ? yymmdd8.) ; ? が１個だけだと、NOTE: ～の引数は無効です。のメッセージが消えて、_ERROR_ のメッセージは出力されます。?? だと両方ログから消えます。 サンプルコード data TEST ; input A $30. ; cards ; AAA こんにちは さようなら 20140102 20140830 20140229 20120229 run ; data TEST ; set TEST ; B = input(A, yymmdd8.) ; run ; data TEST ; set TEST ; C = input(A, ? yymmdd8.) ; run ; data TEST ; set TEST ; D = input(A, ?? yymmdd8.) ; run ; ログ 43 data TEST ; 44 input A $30. ; 45 cards ; NOTE: データセットWORK.TESTは8オブザベーション、1変数です。 54 run ; 55 56 data TEST ; 57 set TEST ; 58 B = input(A, yymmdd8.) ; 59 run ; NOTE: 関数INPUT (行 58 カラム 7)の引数は無効です。 A=AAA B=. _ERROR_=1 _N_=1 NOTE: 関数INPUT (行 58 カラム 7)の引数は無効です。 A=こんにちは B=. _ERROR_=1 _N_=2 NOTE: 関数INPUT (行 58 カラム 7)の引数は無効です。 A=さようなら B=. _ERROR_=1 _N_=3 NOTE: 関数INPUT (行 58 カラム 7)の引数は無効です。 A=20140229 B=
続きを読む

データセット(.sas7bdatファイル)の文字コードを取得したい - SAS

-
イメージ
SAS環境の違いにより、SASのデータセットの文字コードが混在することがまれによくあると思います。 データセットの文字コードがSAS環境に合っていないと、文字化けが起きてしまいますし、パフォーマンスが低下してしまうので、きちんと環境に合わせる必要があります。 文字コード変換をしなくてはいけないデータセットってどれだろうと一括で調べるための準備として、データセットの文字コードを取得してマクロ変数に格納できるようになるまでが今回のお話です。 ちなみに、文字コードがSAS環境の文字コード(セッションエンコーディング)と合っていないと、下記のようなログメッセージが出て怒られます。 59 data TEST(encoding=sjis) ; 60 A = 1 ; 61 run ; INFO: データファイルWORK.TEST.DATAに他のホストにネイティブな形式が使用されているか、またはエンコーデ ィングがセッションエンコーディングと一致していません。クロス環境データアクセスが使用され るため、追加のCPUリソースが必要となり、パフォーマンスが低下します。 NOTE: データセットWORK.TESTは1オブザベーション、1変数です。 NOTE: DATAステートメント処理(合計処理時間): 処理時間 0.05 秒 CPU時間 0.00 秒 さて、データセットの文字コード取得は、proc contentsを用いることで取得できます。しかし、リスト出力のままでは、出力結果をSASプログラム上で扱うことが出来ません。 そこで登場しますのが、ods output です。 ods output により、リスト出力した結果をデータセットとして取得することができます。 data TEST1 ; A = 1 ; run ; ods output attributes=DATASET_ENCODING ; proc contents data=TEST1 ; run ; ods output close ; proc contents で指定したデータセットの文字コードが格納されている属性情報
続きを読む

Linuxコマンド: date で◯か月前 / ◯か月後を取得するときの注意

-
date コマンドは、日付を取得したり、整形して表示したり、◯日後や◯か月後、◯年前の日付を表示したりすることができます。 ◯か月前や◯か月後を使用する時が曲者で、月末に近い日に実行すると、思っていた動作をしてくれないことがあります。 $ date 2015年 9月 6日 日曜日 16:05:22 JST $ date -d "2015-08-31" 2015年 8月 31日 月曜日 00:00:00 JST $ date -d "2015-08-31 1 month" 2015年 10月 1日 木曜日 00:00:00 JST $ date -d "2015-01-31 1 month" 2015年 3月 3日 火曜日 00:00:00 JST 8月31日の1か月後が10月1日になったり、1月31日の1か月後が3月3日になったりします。月によって◯か月後の計算をきちんとしてくれるわけではないようです。 実施日の翌月末を取得するには、実施月の 1日に変換してから、2ヶ月後の1日前を指定することで取得できます。 $ date -d "`date '+%Y/%m/01' -d "\`date '+%Y/%m/01' \` 2 month"` 1 day ago" 2015年 10月 31日 土曜日 00:00:00 JST 指定した日付の翌月の月末を取得する場合は、以下のように書きます。 $ date -d "`date '+%Y/%m/01' -d "\`date '+%Y/%m/01' -d 2015/08/31\` 2 month"` 1 day ago" 2015年 8月 31日 月曜日 00:00:00 JST $ date -d "`date '+%Y/%m/01' -d "\`date '+%Y/%m/01' -d 2015/01/31\` 2 month"` 1 day ago" 2015年 2月 28日 土曜日 00:00:
続きを読む