パターンマッチングの限界？（最大文字数）

質問

perl正規表現のパターンマッチングでは,対象文字列が長すぎると正しくマッチしないというような,perlの仕様あるいはバグが存在するのでしょうか？
■状況
CGIフォームから入力された文字列に機種依存文字(EUC未定義文字)が含まれていないかチェックするため,以下のようなスクリプトを書きました。テストでは,ほとんどの場合は正常に動作しましたが,定義文字＝パターンマッチするはずの文字に,未定義文字が含まれていると誤判断されてしまうケースがありました。いろいろ試してみたところ,どうも文字数32,768バイトを超えた場合に限られるようだ,というところまで判りました。
ドキュメントなどを見ても,そのような仕様については見つからず,どなたかご存知ないでしょうか。
あるいはスクリプトに不備があればご指摘いただけたらと思います。
よろしくお願いいたします。

if (&is_undef($input_text)) { print "未定義文字が含まれています。"; }
…

sub is_undef {
my ($text, $character_strict);
$text = $_[0];

# EUC-JP文字（定義文字）
$character_strict = '(?:[\x20-\x7E]|' # ASCII
　. '[\xA1\xB0-\xCE\xD0-\xF3][\xA1-\xFE]|' # 1,16-46,48-83区
　. '\xA2[\xA1-\xAE\xBA-\xC1\xCA-\xD0\xDC-\xEA\xF2-\xF9\xFE]|' # 2区
　. '\xA3[\xB0-\xB9\xC1-\xDA\xE1-\xFA]|' # 3区
　. '\xA4[\xA1-\xF3]|' # 4区
　. '\xA5[\xA1-\xF6]|' # 5区
　. '\xA6[\xA1-\xB8\xC1-\xD8]|' # 6区
　. '\xA7[\xA1-\xC1\xD1-\xF1]|' # 7区
　. '\xA8[\xA1-\xC0]|' # 8区
　. '\xCF[\xA1-\xD3]|' # 47区
　. '\xF4[\xA1-\xA6])'; # 84区

$text =~ s/\r//g;
$text =~ s/\n//g;
$text =~ s/\t//g;
if ($text =~ /^$character_strict*$/) {
　return;
} else {
　return 1;
}
}

回答No.3

noname#205944 · ベストアンサー

なるほど、
$input_text = 'A' x 32769
を食わしたら
Complex regular subexpression recursion limit (32766) exceeded
と出ますね

やはり、32766バイトが一度にできる限界なのではないでしょうか
となると、分けるしかなさそうですね

Perlのバージョンは
5.008007

Linux(Redhat7)でも、結果は同じでしたよ

どうやら、前回は適当に大きいファイルを丸ごと食わしていたのですが　少し足りなかったようです

お礼

ご回答ありがとうございます。
環境に依存するわけではないのですね。
きちんとした（？）警告メッセージが出るかSegmentation faultが起きるかは、バージョンの違いなのかもしれませんね。
しかしこのような要件（何かの原稿を処理するだとか）は少なくない気がするのですが、いろいろドキュメントを探しても見あたらないし、知られていないようなのが気になるところ。

とにかく今回の問題は解決しました。ありがとうございました。

回答No.2

noname#205944

あまり詳しくはないのですが
ASCIIは
'(?:[\x00-\x7F]|' # ASCII
それと半角カタカナもありです
'\x8E[\xA1-\xDF]|' # 半角カタカナ

CGIではなく、コマンドで実行したときにも起こりますか？
私も、やってみましたが　特に何事もなくマッチングしていますよ
しかし、ちょうど32,768バイトというところが気になりますね

参考URL：

http://www.din.or.jp/~ohzaki/perl.htm

お礼

ご回答ありがとうございます。

まずEUCの定義文字部分についてのご指摘ですが、説明不足ですみません。「機種依存文字」と書いてしまいましたが、単純に「入力して欲しくない文字」ということで、ASCIIの一部と半角カタカナも除外したかったのです。

で、本題ですが、コマンドラインから起動しても結果は同じでしたが、Segmentation faultが起きていることが判りました…。ということはperlのバグ？
edamsさんは問題なかったとのことですが、ようするに上記スクリプトのif文の前に
$input_text = 'A' x 32769;
とか書いて実行してもprintメッセージが出ない、ということですよね？
考えられるのは環境の違いですが、もしよろしければperlのバージョンを教えていただけないでしょうか。
ちなみに当方でテストした環境は
5.006
5.00503
5.008004
です（ $] の値）。

回答No.1

BLUEPIXY

全く、自信なしですが
submit のGETによる制限ということはないでしょうか？
あとは、スタックに積む文字列の長さに限界があるのかも、
関数にリファレンス渡しでやってみるとか

お礼

上記、「お礼」とすべきところ間違えてしまいました。失礼しました。

補足

ご回答ありがとうございます。
ただ、ご指摘の、そもそも長い文字列を渡せていない？という疑問は私も感じたので、受け取った文字列のバイト数を表示するようにして確認したので、どうもこれはなさそうです。
今いろいろな環境（perlのバージョン）による違いがあるのか試していますが、今のところ同じ現象です。
とりあえず上記のif文の個所を以下のようにして対処していますが、どうも釈然としません…。
1 while ($text =~ s/^$character_strict+//);
if ($text eq '') {
　return;
} else {
　return 1;
}