正規表現

質問

Java 5.1
java.util.regex.Pattern
java.util.regex.Matcher
を用いてHTMLのTABLEを抽出したいのですが、ヒットしません。正規表現のパターンはどうしたらいいのでしょう？

パターン：
< *table.*?>[\s.]*?< */table *?>
検索対象：
…
<table border=1 width=200>
<tr><th>AA</th><th>BB</th></tr>
<tr><td>CC</td><td>DD</td></tr>
<tr><td>EE</td><td>FF</td></tr>
</table>
…
で、TABLEタグを含むTABLE全体を期待したのですが全くヒットしませんでした。
ちなみに
＊　<table …>と</table>単体ではヒットします。
＊　ソースから改行文字を取り除いて一行テキストとした場合にはヒットします。
これらのことから、改行文字がマッチしていないことが原因かと思うのですが、パターンの正規表現についてご教授願います。

回答No.5

sakusaker7 · ベストアンサー

納得していただけたようでうれしいです。

> 全ての文字か \s に含まれる文字のいずれかのくり返しというのをあらわすのに
> (?:.|\s)*?
> \p{javaDefined}*?
>よりもスマートな表し方は思い当たりますか？

結局のところ、改行を始めとした空白文字(\s)をすべて含んだ
任意の文字を、DOTALLなしでということですよね?

であれば、
[\s\S]
なんてのができます。
冗談のようなパターンですが、ちゃんとお望みの文字群に
マッチすると思います。

お礼

なるほど空白文字と空白文字以外の文字ですべての文字ですか、
一見、矛盾しているかのようで、無駄が無く、感心します。
少しトリッキーなところがまた楽しませてくれます。
[\s\S]、使わせて頂きます。

何度も回答を頂き、ありがとうございました。
大変良い勉強になりました。

回答No.4

sakusaker7

> ＊ 私が質問で書いたパターンには \S と . ドットが[ ]の中に書いてあります。
> ＊ 質問の時点ではDOTALLを適用していません。
> 続いて同様のパターン、検索対象でDOTALLを適用して再度試みたところ成功しました。
> この時点で[ ]の中身には \s と . の両方が含まれて居ますが、

ここなのですが、ブラケット([])の中では、ほとんどのメタキャラクタは
その特殊な意味を失います。
それは '.'も同じです。ブラケットの中では
任意の一キャラクタではなく、単なるピリオドにしかなりません。

ですから
import java.lang.*;
import java.util.regex.*;

class Regtest {
public static void main(String[] args) {
Pattern p = Pattern.compile("[\\s.]+", Pattern.DOTALL);
Matcher m = p.matcher(" . aaa \nd..ef \rxyz");
while (m.find()) {
System.out.println("'" + m.group() + "'");
}
}
}

こういうプログラムで実験してみると、

>javac -version Regtest.java
javac 1.5.0_10
>java Regtest
' . '
'
'
'..'
'

のような結果になり、上記の説明通りになっていることが
わかります。

先の回答にも書きましたが、このようになりますので
[ \s . ] は、空白(とされる文字群)かピリオドにマッチするものであり、
任意の文字ではありません。

可能ならマッチを行う部分を切り出して提示してもらえませんか?
再現できる同等のコードでもかまいません。

ref.
Pattern (Java 2 Platform SE 5.0)
http://java.sun.com/j2se/1.5.0/ja/docs/ja/api/java/util/regex/Pattern.html
実際には、異なるメタキャラクタのセットは、文字クラスの外部ではなく内部に存在することに留意してください。たとえば、正規表現 . は、文字クラス内部ではその特殊な意味を失いますが、表現 - は範囲を示すメタキャラクタになります。

1.4の対応する部分にはこの説明はありませんが、
動作は1.4→1.5で変ってはいないはずです。

補足

たびたびありがとうございます。

>ここなのですが、ブラケット([])の中では、ほとんどのメタキャラクタは
>その特殊な意味を失います。
>それは '.'も同じです。ブラケットの中では
>任意の一キャラクタではなく、単なるピリオドにしかなりません。

ドットは[ ]の中では特殊な意味を失う...驚きです。
これまでの検証で[ ]の中のドットが、すべての文字をあらわすからこそ、タグ以外の部分にマッチしていると思い込んでいました...。
お恥ずかしい限りです。
これで問題が一気に解決すると思います。

パターンを
(< *table.*?>)[\s.]*?< */table *?>
としてDOTALL適用しgroup(1)を出力したところ。

<table border=1 width=200>
<tr><th>AA</th><th>BB</th></tr>
<tr><td>CC</td><td>DD</td></tr>
<tr><td>EE</td><td>FF</td></tr>

が出力され、tableタグのオプション用に書いた.*?が効きすぎて全体とマッチしていたことがわかりました。

教えていただいたことを踏まえてパターンを考え直し、
< *?table[^<]*?>(?:.|\s)*?< *?/table[^<]*?>
としたところ、DOTALLを適用しなくとも期待する結果を得ることができました。

ちなみに質問に回帰するのですが、
全ての文字か \s に含まれる文字のいずれかのくり返しというのをあらわすのに
(?:.|\s)*?
\p{javaDefined}*?
よりもスマートな表し方は思い当たりますか？

回答No.3

sakusaker7

正規表現を読み間違えていたのでその訂正から、
[ \s . ] (わかりやすくするために余計な空白を入れています)
とあったとき、これは空白文字かピリオドにマッチします。
ですので、Pattern.DOTALLで質問にあるマッチが成功するようになったというのは
おかしな話です。

確かに \s には改行(\n \r)は含まれます。
が、上で述べたように状況がちょっと不明確なところがありますので、

・本当にDOTALLフラグをつけたことで<table>から</table>までのテキストが取れるようになったのか
・質問にある正規表現に写し間違いなどはないか

の補足をお願いします。

補足

自分の質問を読み返してるとドットが見えにくいですね...
すみません。

＞本当にDOTALLフラグをつけたことで<table>から</table>までのテキストが取れるようになったのか
tableタグを含む文字列にマッチするようになりました。

＞質問にある正規表現に写し間違いなどはないか
コピーペーストですので恐らく大丈夫です。しかし、制御文字、改行文字などの不可読文字はコピーペーストや、質問投稿の間では変わっている可能性も有ります。
ちなみに質問にかいたパターン、検索対象をコピーペーストで戻して実行しても結果に差異はありませんでした。

以下は状況確認です。
＊ 私が質問で書いたパターンには \S と . ドットが[ ]の中に書いてあります。
＊ 質問の時点ではDOTALLを適用していません。

ここでフラグを何も適用しない(DOTALLを適用しない)ので
「ドットは行末記号以外の文字が対象」ということで改行は含まれず、改行文字が含まれる \s も含めました。
この指定で「可読文字」といくつかの「特殊な文字」、「改行」の繰り替えしにマッチするということになると思います。

しかし、予想とは裏腹にマッチしませんでした。

続いて同様のパターン、検索対象でDOTALLを適用して再度試みたところ成功しました。
この時点で[ ]の中身には \s と . の両方が含まれて居ますが、ドットを全ての文字(行末記号を含む)としてみなすという意味のDOTALLを適用したので . のみでも事足りて \s は無意味になっています。

タグの間を
[ \s . ]から . *? (ここでの空白文字は実際にはありまえん)
に置き換えてDOTALL適用有り無し夫々で夫々実行しましたが結果に差異はありません。

つまり、DOTALLを適用したことでtableタグの間にどんな文字(制御文字、改行文字など)があってもヒットするようになったということです。

これらから単なる[ . ]と[ \s ]の両者には含まれずDOTALL適用をした後の[ . ]に含まれる何らかの文字があるためにマッチしないという結論に至ったわけです。

というわけでその何らかの文字が何であるか、その文字を表す方法は何かということが質問です。

回答No.2

sakusaker7

エスケープ文字、ですか?
改行コードを表すのは '\n' ですけど

[\s.]*?
を
[\s\n.]*?
とするとかいう話でしょうか?

お礼

回答ありがとうございます。
ドキュメントを見ると、\s には[ \t\n\x0B\f\r]らが含まれているので単に改行文字だけならヒットするはずなのです...なぜという感じで...
ちなみに
\n
\r
\s
\p{Cntrl}
\p{Space}
\p{javaWhitespace}
\p{javaSpaceChar}
\p{javaISOControl}
\p{Cf}
\p{Cc}
\p{Zl}
等を、[エスケープ文字...文字クラス...]*?
と書き連ねて試したのですがだめでした。
\p{javaDefined}
を試した場合にはヒットしたのでJavaで定義されている何らかの文字が邪魔をしていて、探索方法(行単位に分けて探索している)などの問題でヒットしないわけではない。というところまでは分かったのですが、その文字が何なのかまではつかめていません。

補足

お礼が補足になってなかったので追記します。
おそらく同じ事で悩んだ方がいると思いまして、解決されていればその文字コード、エスケープ文字、など教えていただきたいということです。

回答No.1

sakusaker7

Patternオブジェクトを生成するときにPattern.DOTALLを追加してください。
これで '.' が改行にもマッチするようになります。

お礼

ありがとうございます。Pattern.DOTALLでマッチしました。
ドキュメントを見るとエスケープ文字で改行などを指定できるとありますが、エスケープ文字で対応する場合には何を書けばいいのでしょうか？