CSV形式ファイルの処理方法とデータの整形について

このQ&Aのポイント
  • CSV形式ファイルの処理方法とデータの整形について質問させていただきます。現在、ロボットに組み込まれたGPSからのデータをEEPROMに保存し、パソコンでサルベージする際に、不必要なバイナリデータを削除する方法やデータの整形方法について教えていただけないでしょうか。
  • CSV形式ファイルの処理方法やデータの整形についてのヒントや有用なウェブページを教えていただきたいです。現在、GPSデータをEEPROMに保存し、サルベージする際に不要なバイナリデータを削除する方法やデータの整形方法にお困りです。
  • CSV形式ファイルの処理方法とデータの整形に関してお尋ねします。現在、ロボットのGPSデータをEEPROMに保存し、そのデータをパソコンでサルベージする際に、不要なバイナリデータを除外する処理やデータの整形方法についてアドバイスをいただきたいです。
回答を見る
  • ベストアンサー

csv形式ファイルの処理

こんにちは。 CSV形式ファイルの処理を行う際の処理の方法について質問させていただきます。 現在、ロボットに組み込まれたGPSからのデータをEEPROMに保存し、動作終了後に、そのデータをシリアル通信を用いてパソコンでサルベージしています。 その際に、1レコードを "START:"で始め":END|"で終了するようにしています。 また、それらを保存しているファイルにはEEPROM内の全てのデータを吐き出させるようにプログラムを組んでいるため、不必要なバイナリデータも含まれています。 ここで、これらのデータを整形し直した上でアプレット等を用いて移動点のプロットを行いたいと考えています。 現在は、StringTokenizer を用いて組んでいますが、不要部分の削除(主に最初と最後の方)の処理を上手く作ることができません。 そこで、それらを上手く処理する方法、もしくはヒントとなるようなwebページがあれば教えていただけないでしょうか。 BufferedReader br = new BufferedReader(new FileReader(csv)); // 最終行まで読み込む while (br.ready()) { String line = br.readLine(); StringTokenizer st = new StringTokenizer(line, SEPARATOR); while (st.hasMoreTokens()) { // 1行の各要素をタブ区切りで表示 String stnxt = st.nextToken(); textarea.append(stnxt+"\r\n"); } } また、現在はそれらデータの移動点のプロットをappletで行うことを予定しておりますが、それ以外の方法で良い方法などがありましたら、教えていただけると幸いです。

  • Java
  • 回答数1
  • ありがとう数1

質問者が選んだベストアンサー

  • ベストアンサー
  • hrm_mmm
  • ベストアンサー率63% (292/459)
回答No.1

バイナリーデータを含むなら、FileReaderではなく、FileInputStreamを利用した方がよいでしょう。 バイナリーデータ部分のサイズ固定なら、その分をskip()で読み飛ばせばよいのでは? バイナリーデータ部分のサイズが決まらないのなら、byte配列に読み込んで、そのデータの並びをチェックすることになるかと思います。 「この文字が始めて出現したらあとは必要なデータ」などの規則性があると、区切りやすいですけど。 そのあとの部分は、new String(byte[] bytes, int offset, int length) でString型に変換すれば、StringTokenizerで処理可能となります。

参考URL:
http://www.atmarkit.co.jp/fjava/javatips/023jspservlet014.html
hydrangeas0722
質問者

お礼

回答ありがとうございます。 >「この文字が初めて出現したらあとは必要なデータ」などの規則性 この部分に関しましては、仕様変更が可能ですので、やってみようと思います。 たとえば、[start]などの文字を書き込むことで対応可能だと思われます。

関連するQ&A

  • CSV読み込み 文字化け

    失礼いたします。 以前のログを見てエンコードを設定してみたのですが、出力が文字化けします。ローカルファイルを読み込んでコンソール出力しているだけなのですが・・・。 分かる方、よろしくお願いします。 -------------------ソースはここから import java.io.BufferedReader; import java.io.File; import java.io.FileInputStream; import java.io.FileNotFoundException; // import java.io.FileReader; FileReaderからInputStreamReaderに変更済み import java.io.IOException; import java.io.InputStreamReader; import java.util.StringTokenizer; public class ReadCSV { public static void main(String[] args) { try { File csv = new File("C:\\AP.csv"); // BufferedReader br = new BufferedReader(new FileReader(csv)); BufferedReader br = new BufferedReader(new InputStreamReader(new FileInputStream(csv),"EUC_JP")); // BufferedReader br = new BufferedReader(new InputStreamReader(new FileInputStream(csv),"MS932")); while (br.ready()) { String line = br.readLine(); StringTokenizer st = new StringTokenizer(line, ","); while (st.hasMoreTokens()) { System.out.print(st.nextToken() + "\t"); } System.out.println(); } br.close(); } catch (FileNotFoundException e) { キャッチ処理 }

    • ベストアンサー
    • Java
  • CSVファイルの、列だけ取得したい

    FileReader filereader = new FileReader(FileName); BufferedReader bufferedreader = new BufferedReader(filereader); String line; int i = 0; while((line = bufferedreader.readLine()) != null) { int j = 0; StringTokenizer stringTokenizerTest = new StringTokenizer(line, ","); while(stringTokenizerTest.hasMoreTokens()) { item[j][i]=stringTokenizerTest.nextToken().toString(); j++; } i++; } filereader.close(); このような記述で、CSVの中身を全て取得することは出来るのですが、 ある一列だけ取得する方法がわかりません。 具体的には、コンボボックスにCSVのある一列だけ表示させたいです。 (その後、重複なしの値のみにフィルタリングしたい) 現在は苦し紛れに、 combo1.setModel(new DefaultComboBoxModel(new String[] { item[1][3], item[1][4], item[1][5], item[1][6], item[1][7], item[1][8], item[1][9], })); などと、配列を使ってピンポイントで値を取得していますが これでは使えないので・・ アドバイスよろしくお願いいたします。

    • ベストアンサー
    • Java
  • CSVファイルを , で句切って出力する

    同じ質問になってしまってすみません。 困り度を2ではなく3にしたかったので再掲示してしまいました。 よろしくお願いいたします。 次のような課題が出たのですが教えていただきたく書き込みしました。 皆様のお力をお貸しください。 (1)適当なフォルダにファイルを用意する(ファイルにはCSV形式で文字列が書いてある) (2)最初に文字列をキーボードから入力させる(文字列は半角で5文字まで、それ以外ならば繰り返し入力させる) ※ 指定したファイルがない場合は堤外を出力(try,catch) (3)フォルダのファイル読み込み、(2)で入力した文字列が含まれているCSVのカラムをファイルに出力(ファイルは新規作成 public class Match { public boolean matchString (String[] args) { // マッチング対象の文字列です。 String str = "​http://iwamode.net/index.html";//​ Pattern p = Pattern.compile("^https?://"); // 正規表現のコンパイル Matcher m = p.matcher(str); // 正規表現エンジンの生成 if (m.find()) { // java.util.regex.Matcher#find()メソッドは部分一致するかを判断します。 System.out.println("「http://」または「https://」から始まる文字列です。"); } else { System.out.println("「http://」または「https://」から始まる文字列ではありません。"); } Pattern p2 = Pattern.compile("\\.com"); Matcher m2 = p2.matcher(str); if (m2.find()) { return true; } return false; } } ----------------------------------------------------------- try{ File csv = new File("Kadai10.csv"); // CSVデータファイル BufferedReader br = new BufferedReader(new FileReader(csv)); // 最終行まで読み込む while (br.ready()) { String line = br.readLine(); // 1行をデータの要素に分割 StringTokenizer st = new StringTokenizer(line, ","); while (st.hasMoreTokens()) { // 1行の各要素を区切りで表示 System.out.println(st.nextToken() + ","); } System.out.println(); } br.close(); } catch (FileNotFoundException e) { // Fileオブジェクト生成時の例外捕捉 e.printStackTrace(); } catch (IOException e) { // BufferedReaderオブジェクトのクローズ時の例外捕捉 e.printStackTrace(); } -------------------------------------------------------------- System.out.println("半角5文字までの文字列を入力してください"); BufferedReader r = new BufferedReader(new InputStreamReader(System.in)); String str = r.readLine(); if(str.length() <= 5 && str.matches("[0-9a-zA-Z]")) { 上記の3つの部分ソースを使いプログラムを完成させたいんですがどのようにしたらいいでしょうか?

    • ベストアンサー
    • Java
  • CSVファイルを列ごとに読み込む処理について

    はじめまして。 よろしくお願いいたします。 プログラミングに興味をもち、JAVAに触れている者です。 現在eclipseでCSVファイルを列ごとに読み込んで表示する、というプログラムを作成しているのですが、コンパイルエラーを除去することができません。 エラー内容は 「処理されない例外の型 FileNotFoundException」 です。 これを見る限りでは読み込むファイルがないということらしいのですが、CSVファイルはちゃんと作成し、作成中のプログラムのファイルがあるディレクトリに置いてあります。 原因を探したいのですが、eclipseのこともjavaのこともよくわかっていないため、まるで見当がつきません。 どうかご教示をお願いいただけませんでしょうか? 以下が作成中のプログラムです。 package ioTest; import java.io.BufferedReader; import java.io.File; import java.io.InputStreamReader; import java.io.FileInputStream; public class IOsample { public static void main (String[] args){ BufferedReader br = null; File csv = new File("sampleCSV.csv"); br = new BufferedReader( new InputStreamReader( new FileInputStream(csv))); while (br.ready()){ System.out.println(br.readLine()); } br.close(); } } レベルの低い質問で申し訳ありませんが、なにとぞよろしくお願いいたします。

    • ベストアンサー
    • Java
  • サーバー上(外部)のテキストの読み込み

    以下のようなtest.txtから二次元配列を読み込むプログラムを 今度はクライアントがapplet上からサーバーのappletプログラムがあるフォルダにあるtest.txtからデータを読み込むようにしたいのですが どうしてもセキュリティ上のエラーが出てしまいます。 画像などはgetImageでうまくいくのですが・・・ BufferedReader reader = null; String strArray[][] = new String[5][2]; String fileName = "test.txt"; int i = 0; int j = 0; try { reader = new BufferedReader ( new FileReader(fileName) ); String line; while ( (line = reader.readLine() ) != null ) { StringTokenizer st = new StringTokenizer (line ); while ( st.hasMoreTokens() ) { strArray[i][j] = st.nextToken(); j++; } j = 0;// 横のindexをリセット i++;// 縦のindexを次に } } catch ( Exception e ) { System.out.println ( e.toString() ); } ---------test.txt(例) 200 200 30 60 301 33 11 66 100 390 自分でも調べていくつもりですが期限があるためもしご存知の方がいましたら是非ご教授よろしくお願いいたします。

    • ベストアンサー
    • Java
  • HashMap.putについて

    ご質問させて頂きます。 hashMap.putの使い方が良く分かりません。 例えば、以下のようなkudamono.csvファイルがあるとします。 ------------------- A,2003/01/01,スイカ B,2003/02/01,バナナ C,2003/03/01,メロン D,2003/04/01,イチゴ ------------------- このデータをhashMap.putでセットしたいので 以下のようなクラスにしたんですが コンパイルエラーが出てしまいます。 ------------------- /*HashMap生成(クラス変数)*/ public static HashMap hashMap = new HashMap(); public static void main(String args[]) throws Exception { FileReader filereader = new FileReader("kudamono.csv"); BufferedReader bufferedreader = new BufferedReader(filereader); String line; int i = 1; int j = 0; while((line = bufferedreader.readLine()) != null) { System.out.println("Start line at " + i); StringTokenizer stringTokenizerTest = new StringTokenizer(line, ","); while(stringTokenizerTest.hasMoreTokens()) { HashMap.put(stringTokenizerTest.nextToken().toString()); j++; } i++; } filereader.close(); } } --------------- たぶんHashMap.putをする前に キーをセットしたり変数を宣言したりすると思うのですが その辺が良く分かりません。 ご教授して頂けたら幸いです。

    • ベストアンサー
    • Java
  • javaプログラミングの質問です。

    http://questionbox.jp.msn.com/qa1030602.html?StatusCheck=ON に載っている、プログラムを以下のようにQuestionというクラスで実行してみたところ、 import java.io.*; class Question{ public static void main(String Args[]){ BufferedReader reader = null; String strArray[][] = new String[4][4]; String fileName = "foo.txt"; int i = 0; int j = 0; try{ reader = new BufferedReader ( new FileReader(fileName) ); String line; while ( (line = reader.readLine() ) != null ){ StringTokenizer st = new StringTokenizer ( line ); while ( st.hasMoreTokens() ){ strArray[i][j] = st.nextToken(); System.out.print ( strArray[i][j] + " " ); j ++; } j = 0; i ++; System.out.println (""); } } catch ( Exception e ){ System.out.println ( e.toString() ); } } } Exception in thread "main" java.lang.Error: コンパイル問題が未解決です。 StringTokenizer を型に解決できません。 StringTokenizer を型に解決できません。 というエラーが出ます。 このサイトの質問者はうまくいっているようなのですが、私のコンパイラがうまく動いていないのでしょうか? java version "1.6.0_07" を使っていて、Eclipseを用いてコンパイルをしたりしています。 どなたかご指摘をどうぞよろしくお願いいたします。

    • ベストアンサー
    • Java
  • StringTokenizerについて

    JAVAの勉強をしているのですが、StringTokenizerの役割がよく分かりません。検索サイトを使って色々調べてみたのですが、「トークンを区切る」だとかよく分からない言葉が出てきて全く理解できません。以下はあるデータから項目を抽出するプログラムらしいのですが、参考としてこの例でStringTokenizerがどのような役割を果たしているのか教えて下さい。複雑で説明しにくければStringTokenizerそのものの説明でも十分です。よろしくお願いします。 BufferedReader reader=new BufferedReader(new InputStreamReader(System.in)); String line=""; try { int i=0; while ((line = reader.readLine()) != null) { int fcount=1; StringTokenizer st = new StringTokenizer(line); while (st.hasMoreTokens()) { switch (fcount) { case 2: //項目2:被説明変数Y data[i][0]=Integer.parseInt(st.nextToken()); break; case 4: //項目4:説明変数X data[i][1]=Integer.parseInt(st.nextToken()); break; default: // その他の項目 String dummy=st.nextToken(); break; } fcount++; } i++; } NofData=i;

    • ベストアンサー
    • Java
  • ファイルから複数行のトークンを文字列検索。

    input.txt から "," で区切られた文字列をトークンで分け、 左がパターン、右が検索する文字列になります。 一行の場合は while((line = brInput.readLine())!= null ) { StringTokenizer st = new StringTokenizer(line, ","); if(st.hasMoreTokens()){ pattern = st.nextToken(); text = st.nextToken(); } これでマッチするだけなのですが、複数行の場合はどうでしょうか?

    • ベストアンサー
    • Java
  • Vectorによる計算

    名前,値,値,値,値,値,値 ・・・ 中略 ・・・ 名前,値,値,値,値,値,値 以上のフォーマットのCSVファイルを読み込み、 行と列の集計結果を出力するというプログラムを作っています。 Vectorクラスを使うというきまりがあります。 行についてはできたのですが、列の計算方法がわかりません。 どのようにするといいのでしょうか? 以下は私の作成したソースです。 ご助言いただけたらと思います。 宜しくお願いいたします。 import java.util.*; import java.io.*; public class Gyosyukei { public static void main(String args[]) { try{ BufferedReader br = new BufferedReader(new FileReader(args[0])); Vector vc = new Vector(); String str; int retsusu = 0; while((str = br.readLine()) != null){ StringTokenizer st = new StringTokenizer(str,","); int gyosum = 0; for(int i =0;st.hasMoreTokens(); i++){ String token = st.nextToken(); vc.addElement(token); if(i > 0){ int num = Integer.parseInt(token); gyosum += num; } } System.out.println(gyosum); } } catch(IOException e){ } catch(ArrayIndexOutOfBoundsException ae){ } } }