PHPにて行が多い場合のCSVファイル取込
- PHPにて行が多い場合のCSVファイルをデータベースに書き込みを行う場合は、どのように行うのが一般的なのでしょうか。
- CSVファイルの取込処理に関して、行数が多い場合にはファイルの分割を行う必要があります。
- また、ファイルの分割だけでなく、データの書き込み処理も効率的に行うための工夫が求められます。
- ベストアンサー
PHPにて行が多い場合のCSVファイル取込
CSVアップロード機能が構築されておりますが、 CSVファイルを while($data = fgetcsv($fp, 10000, "\t")){ で1行ずつ、取得し、データベースに書き込みが 行われております。 20000行ではなかなか落ちることがありませんが、 40000行の場合、Gateway Time-outになる場合があります。 Gateway Time-outにならないためにも、 ファイルの分割を行う必要もあるかとも考えております。 PHPにて行が多い場合のCSVファイルをデータベースに書き込みを行う場合は、 どのように行うのが一般的なのでしょうか。 サーバはヘテムルを利用しており、サーバは変更できません。 ご教授のほど、よろしくお願い致します。
- toema
- お礼率60% (43/71)
- PHP
- 回答数2
- ありがとう数2
- みんなの回答 （2）
- 専門家の回答
質問者が選んだベストアンサー
私も非同期実行にするのが正攻法だと思いますが、手軽（手抜き？）に set_time_limit(0); でタイムアウトを延ばすのも試してみてはいかがでしょうか？ http://php.net/manual/ja/function.set-time-limit.php
その他の回答 (1)
exec関数などで非同期実行にするのが良くあるパターンです。 Google などで検索すれば色々情報が出てくるので調べてみてください。 ※heteml だとバージョンの関係で動かすのに工夫がいるような感じですが http://d.hatena.ne.jp/go_nash/touch/20141029/1414597399 http://www.mousouchiku.net/blog/2009/08/14-212509.php
お礼
ご回答ありがとうございます。 参考にいたします。
関連するQ&A
- PHPでCSVファイルの特定行のみ表示
PHPでCSVファイルを読み込ませるにあたり、「クエリで指定した特定の1行だけ」を取りだしたいと考えています。 下記だと、1行目からクエリで指定した特定行までの抽出が可能です。 hoge.php?repert=5 → 1から5行目までが表示される。 従い、下記から特定行より上の行を削除すれば、当方が考えている「クエリで指定した特定の1行だけ」を取りだすことになりますが、その方法がわかりません。 ご教示いただきたくお願いいたします。 <?php $repeat = $_GET['repert']; $fp = fopen("file2.csv", "r"); $count = 1; while ($data = fgetcsv($fp, 10000)) { if ($count > $repeat) { break; } print <<<EOD $data[0]・$data[1]・$data[2]<br> EOD; $count++; } fclose ($fp) ?>
- ベストアンサー
- PHP
- PHP5でCSVの指定行データだけを取得するには？
PHP初心者です。 下記のような方法で全てのデータを取得する方法があると知りました。 $fp = fopen("url.csv", "r"); while ($data = fgetcsv($fp, 1)) { foreach ($data as $d) { print $d . "<br>\n"; } } しかし指定行、例えば10行目等だけを取得する方法がわかりません。 CSVは１列で１０００行ほどあります。 恐れ入りますが具体的なソースを教えてくださいませ。
- ベストアンサー
- PHP
- 【PHP】CSVファイルの特定行を書き出す
PHPでCSVファイルを読み込み、特定行のみを別のCSVファイルに書き出したいと思います。 作りたいものは、 http://example.com/file.php?repert=5 とすると、「002.csvファイルの5行目のみ」を「003.csv」に書き込むというものです。 下記で作りましたが、 Parse error: syntax error, unexpected end of file in C:\xampp\htdocs\file.php on line 32 になります。 指摘された32行は ?> の行です。 ググると改行コードのトラブルのようでしたのでCR+LF CR LF と試しましたが、改善されません。 どこが不味いかご教示戴けませんでしょうか? 宜しくお願い致します。 <?php $repeat = $_GET['repert']; $inFile = '002.csv'; // 抽出元ファイル $outFile = '003.csv'; // 結果ファイル $inFp = fopen($inFile, 'rb'); $outFp = fopen($outFile, 'w'); while ($data = fgetcsv($fp, 10000)) { if ($count == $repeat) { { $outLineArray = array( 0 => $data[0], 1 => $data[1], 2 => $data[2] ); fputs($outFp, implode(",", $outLineArray) . ""); } } fclose($inFp); fclose($outFp); exit(); ?>
- 締切済み
- PHP
- PHPで、CSVファイルを、指定した行数だけ出力するには？
同じようなトピックは、いくつかありましたが、あと一歩、わからないので質問させてください。 CSVファイルをPHPを使って読み込み、出力させる場合で、 CSVファイル data.csv --------------------------- データ1,説明,詳細 データ2,説明,詳細 データ3,説明,詳細 データ4,説明,詳細 データ5,説明,詳細 … データ100,説明,詳細 --------------------------- 上記のように100行あったとします。 この時、 PHPファイルを、 --------------------------- <?php $fp = fopen("data.csv", "r"); while ($data = fgetcsv($fp, 10000)) { $num = count ($data); print <<<EOD $data[0]・$data[1]・$data[2]<br> EOD; } fclose ($fp) ?> --------------------------- と書くと、100行目まで普通に出力してしまいます。 もし、10行目までを出したい場合は、どう記述すればよいのでしょうか？ 上記のPHPソースに少し書き加える形で解決できればと思うのですが・・・ 色々試しましたが、私の力だけでは無理でした。
- ベストアンサー
- PHP
- 外部のCSVファイルをPHPで読み込み、出力させたい
下記の質問を参考に外部のCSVファイルをPHPで読み込み、出力させるphpを書きました。 http://oshiete1.goo.ne.jp/qa1615206.html data.csvは "データ01" "データ02" "データ03" ・・・ といったように100行書いてあります。 ＜１ページ目に記述したphp＞ <?php $fp = fopen("data.csv", "r"); $repeat = 10; $count = 1; while ($data = fgetcsv($fp, 10000)) { if ($count > $repeat) { break; } print <<<EOD $data[0] EOD; $count++ ; } fclose ($fp) ?> ２ページ目には１１行目からのデータを出力したいと思い、 $data[0]の部分を$data[11]に変えたり、 $repeat = 20; $count = 11;にしたりしたのですが、 両方ともうまくいきませんでした。 ２ページ目にcsvの１１行目からのデータを出力するにはどうすればいいのでしょうか？ 私がしたいことは、１ページ目にcsvの１～１０行目を、２ページ目にcsvの１１～２０行目を出力したいとおもっております。 上記のphp以外の記述でも構いませんので、どなたかお分かりになる方がいらっしゃいましたら是非教えて下さい。 よろしくお願い致します。
- ベストアンサー
- PHP
- CSVファイルを読み込み表示すると行頭がおかしくなります
・CSVファイルを読み込み表示すると行頭がおかしくなります。 -【 CSVファイル(test.csv) 】------------------- 1,単一,必須 2,…,… ----------------------------------------- ・例えば上記のCSVを読み込んで、 PHPで表示すると以下のように表示されます。 -【 ブラウザ表示 】-------------------------- 1 P一 K須 2 … ----------------------------------------- ・というように最初の文字が正常に表示されません。 ・ちなみに数字(半角?)はちゃんと表示されました。 ・プログラムは下のような感じになります。 ・どこを編集すればよいでしょうか？ -【 PHP 】--------------------------------- <?php if( $fp = fopen( 'test.csv', 'r' ) ){ $data = fgetcsv( $fp ); while( ( $data = fgetcsv( $fp ) ) !== FALSE ){ echo $data[0] . ' ' . $data[1] . ' ' . $data[2] . '<BR>'; } } ?> ----------------------------------------- -【 仕様 】--------------------------------- [OS]: CentOS5 [Server]: Apache_2.2.10 [PHP]: PHP_5.2.6 -----------------------------------------
- ベストアンサー
- PHP
- CSVで指定した行から出力をする方法
CSVから、30件データを取得するために最下部のようなコードを書きました。 しかし、「次のページ」等でもう３０件（つまり31行目から）データを出力させたい場合は、どこをどのように修正すればいいのでしょうか。 $fp = fopen("exmple.csv", "r"); $repeat = 30; $count = 1; while ($data = fgetcsv($fp, 10000)) { if ($count > $repeat) { break; } print($data[0]. $data[1]. $data[2]); $count++; } ご回答お願いします。
- ベストアンサー
- PHP
- クライアントのcsvファイルの読込について
いつもお世話になっております。 Ｑ１）クライアントＰＣ内のCSV(c:\folder\file.csv)を読込みたいのですが、一度サーバーにアップロードさせないと駄目なのでしょうか？ 尚、クライアントは複数の拠点にあります。 -------------------------------------------------- 現在、PHPが稼動しているサーバー上のCSV(c:\folder\file.csv)は、 下記のような記述で処理できるのですが、 $csv_f = "c:\folder\file.csv"; // CSVファイル＆パス $fp = fopen($csv_f, "r"); // CSVファイル:OPEN while ($data = fgetcsv($fp)) . . クライアントＰＣ内のCSV(c:\folder\file.csv)を読込む方法をご存知の方いらしたらご教授下さい。 ＜理想形はこうです＞ １．クライアントＰＣ内のCSV(c:\folder\file.csv)を読込んで処理。 ２．処理後、c:\folder\file.csvは、c:\folder\file_old.csvという 名前にリネームする。 ----------------------------------------- 以上、よろしくお願いいたします。
- ベストアンサー
- PHP
- PHPでCSVファイルの任意の行だけを編集したい
簡易掲示板の管理画面を作成しようと思っていますが、 うまくいかずに悩んでいます。 入力フォームで送られてきた内容をcsvファイルに書き込み、 それを表示するという掲示板なのですが、 管理画面ではそのcsvファイルを操作して、 任意の書き込みを修正・削除できるようにしたいと考えています。 以下、ＰＨＰコードです。 if($mode == "edit"){ foreach($csv as $val){ list($li_no, $li_date, $li_comment) = split("\t",$val); if($li_no == $info_no){ $csv[$info_no] = "$id\t$date_y/$date_m/$date_d\t$comment\t\n"; fputs($fp,$csv[$info_no]); fclose($fp); } } }else{ $dat = "$id\t$date_y/$date_m/$date_d\t$comment\t\n"; $fp = fopen('$csv' , 'w'); fputs ($fp, $dat); for ($i=0; $i<1000;$i++){ fputs ( $fp,$csv[$i]); } fclose($fp); } 編集用のフォームで$info_noを飛ばして、 CSVファイル内の$li_noと一致した場合、 $li_noの行を書き換えという処理をしているつもりなのですが、 なぜか、他の行がすべて消えて、 編集した行だけがファイル内に残ります。 いろいろと検索して試してはみたのですが、 どうもうまくいきません。 どなたか教えてください。 お願いします。 これ以外の方法で簡単にできる方法があれば そちらも教えていただけたら幸いです。
- ベストアンサー
- PHP
- PHPでcsvファイルを一覧表示するにはどうすれば良いのでしょうか？
<?php //ファイルを開く $fp = fopen('maillog.csv', 'r') or die('ファイルが開けません'); //テーブルを出力 echo '<table border="1">'; while ($field_array = fgetcsv($fp, 10000, ',', '"')) { echo '<tr>'; foreach ($field_array as $value) { echo '<td>'.htmlspecialchars($value, ENT_QUOTES).'</td>'; } echo '</tr>'; } echo '<table>'; //ファイルを閉じる fclose($fp); ?> プログラムだと、全ての項目が表示されてしまうので 少ない項目（３～４つ）で表示できるにはどうすれば良いのでしょうか？ また、各項目毎のタイトルも付けたいのですが お願いします。
- 締切済み
- PHP
お礼
ご回答ありがとうございます。 参考にいたします。