改行コードを指定してファイルを読み込む termstr - SAS

- 
data test;
    infile 'test.txt' termstr=lf;
    input text $;
run;

termstr= の部分を改行コードに応じて、lf, cr, crlf のいずれかを指定します。

参考サイト

  1. Usage Note 14178: INFILE's TERMSTR= option facilitates reading files between UNIX and Windows (英語)

コメント

コメントを投稿

このブログの人気の投稿

UTF-8 環境で、Shift-JIS の固定長ファイルを読み込むのって大変という話 - SAS

-
イメージ
前回の記事、「 Shift-JIS の固定長ファイルを UTF-8 環境に読み込む (kcvt関数) - SAS 」の余談。 「 Shift-JIS の固定長ファイルを UTF-8 環境に読み込む (kcvt関数) - SAS 」 にて、kcvt 関数を用いて、ファイルを読み込んでみました。 テスト用に用いたファイルでは、文字コード変換が必要な項目は１項目だけだったので、まだ良かったのですが、もし変換しなければならない項目が１０項目、２０項目、、、とあると、その項目の数だけ、length ステートメントと kcvt 関数を書かなければなりません。 これはとても面倒くさいです。 filename ステートメント、または infile ステートメントにて使用できる encoding= オプションを用いれば読め...ません。 このオプションは、CSV ファイルや TSV ファイルのように、区切り文字(セパレータ)があれば使えますが、固定長ファイルでは理想通りには使うことができません。 前回の記事のテストコードを流用して、固定長ファイルの読み込み時に encoding= を使うと、どうなるのか試しに使ってみます。 テストコード - encoding=sjis を追加 filename IN "/folders/myfolders/test.txt" ; data TEST ; infile IN recfm=F lrecl=28 encoding=sjis ; input @001 CUSTOMER_ID 5. @006 NAME $20. @026 AGE 2. ; run ; 実行ログ 56 filename IN "/folders/myfolders/test.txt" ; 57 58 data TEST ; 59 infile IN recfm=F lrecl=28 encoding=sjis ; 60 input @001 CUSTOMER_ID 5. 61 ...
続きを読む

データセット(.sas7bdatファイル)の文字コードを取得したい - SAS

-
イメージ
SAS環境の違いにより、SASのデータセットの文字コードが混在することがまれによくあると思います。 データセットの文字コードがSAS環境に合っていないと、文字化けが起きてしまいますし、パフォーマンスが低下してしまうので、きちんと環境に合わせる必要があります。 文字コード変換をしなくてはいけないデータセットってどれだろうと一括で調べるための準備として、データセットの文字コードを取得してマクロ変数に格納できるようになるまでが今回のお話です。 ちなみに、文字コードがSAS環境の文字コード(セッションエンコーディング)と合っていないと、下記のようなログメッセージが出て怒られます。 59 data TEST(encoding=sjis) ; 60 A = 1 ; 61 run ; INFO: データファイルWORK.TEST.DATAに他のホストにネイティブな形式が使用されているか、またはエンコーデ ィングがセッションエンコーディングと一致していません。クロス環境データアクセスが使用され るため、追加のCPUリソースが必要となり、パフォーマンスが低下します。 NOTE: データセットWORK.TESTは1オブザベーション、1変数です。 NOTE: DATAステートメント処理(合計処理時間): 処理時間 0.05 秒 CPU時間 0.00 秒 さて、データセットの文字コード取得は、proc contentsを用いることで取得できます。しかし、リスト出力のままでは、出力結果をSASプログラム上で扱うことが出来ません。 そこで登場しますのが、ods output です。 ods output により、リスト出力した結果をデータセットとして取得することができます。 data TEST1 ; A = 1 ; run ; ods output attributes=DATASET_ENCODING ; proc contents data=TEST1 ; run ; ods output close ; proc contents で指定したデータセットの文字コードが格納されている属性情報 ...
続きを読む

Shift-JIS の固定長ファイルを UTF-8 環境に読み込む (kcvt関数) - SAS

-
イメージ
読み込む固定長ファイル(Shift-JIS) 1～ 5バイト：顧客ID 6～25バイト：顧客名 26～27バイト：年齢 28バイト：改行コード(LF) 00001さとう　たろう 27 00002こばやし　さなえ 54 00003みたらい　しょう 22 00004やぶき　かける 24 00005はやし　けんた 21 テストコード filename IN "/folders/myfolders/test.txt" ; data TEST ; infile IN recfm=F lrecl=28 ; input @001 CUSTOMER_ID 5. @006 NAME $20. @026 AGE 2. ; run ; Shift-JIS 環境に読み込むときは、上記のような感じでいいのですが、UTF-8 環境に読み込ませるときちんと読み込めません。 テストコード (修正) data TEST ; infile IN recfm=F lrecl=28 ; length NAME $30. ; input @001 CUSTOMER_ID 5. @006 NAME $20. @026 AGE 2. ; NAME = kcvt(NAME, 'sjis', 'utf8') ; run ; kcvt関数で、Shift-JIS の値を UTF-8 に変換します。第1引数に変換する項目、第2引数に変換前の文字コード、第3引数に変換後の文字コードを記載します。 これで文字コードを変換することができますが、input ステートメントの前に、length ステートメントで項目の長さを長くしておく必要があります。Shift-JIS は1文字1～2バイトで表現されますが、UTF-8は1文字1～4バイトで表現されます(IVSを入れれば、7, 8バイトもありますが)。なので、長さをそのままにしておくと文字切れが発生してしま...
続きを読む