日本語ドメインか16進数かで別物になる

質問

サーチコンソールに下記のように出てしまいます。

参照元ページ
https://www.就～.tokyo/html/link.html

ユーザーが指定した正規 URL
https://xn～.tokyo/html/link.html

日本語ドメインなので、日本語のドメイン名と、16進数のドメイン名が別物として認識されているようです。
もちろん、ドメイン名は全く同じで違いは16進数かそうでないかだけです。

参照元ページ
https://www.就～.tokyo/html/link.html

ユーザーが指定した正規 URL
https://xn～.tokyo/html/link.html

この場合もリダイレクトなのですか？

もちろん
https://xn～.tokyo/html/link.html
でアクセスしてもちゃんと同じページが出てきます。

なぜ同じなのに日本語ドメインか16進数かで別物と検索エンジンは思ってしまったのでしょうか？

どうすれば同じに出来ますか？

回答No.3

superside0

インデ ックス未登録の場合は、
https://seolaboratory.jp/40191/
を参考にされてはどうでしょうか。

今回の場合、link.htmlにcanonicalタグが記述されていて、それを削除したことで
インデックスはされた、ということのようですから
そのcanonical記述に誤りがあったのが原因ということになるでしょう。

プロパティーがない？というのは、どういう操作でそうなったのかよくわかりませんが
Googleでは　反映されるまでに　結構時差があるので、まってから
再度確認されてはどうでしょう。

>そもそも私はwwwなしでドメインを取得しているのになんで他のページに勝手につけ
るのかも理解できません。

www.{取得したドメイン}　　というは、そのドメインに付属するサブドメインです。
（ドメインの持ち主は、そのドメインに所属する　サブドメインは、
　なんでも自由に作ることができます）

ドメインを取得したとき、そのドメインのリセラー（またはレンタルサーバー業者）が
そのドメインのサブドメインとしてwwwつきもDNSのゾーン定義に登録してくれていて
また、Webサーバー側にも、wwwありなしのどちらでもアクセスできるように
設定してくれたのでしょう。（大抵のレンタルサーバーはそうなので）

wwwつきが邪魔なら、DNSのゾーン設定から削除するか
Webサーバーの設定でwww付きを除外しまえば、アクセスされなくなります。

この場合、当然wwwつきではアクセスされなくなりますので
もし、使って長いドメインで既存のブックマークやリンクがwww付きになっているので
あれば、それはリンク切れするようになります。
もしこれが嫌ならば、
.htaccessでの301リダイレクトかcanonicalタグでwwwなしに正規化するしかないですが、
日本語ドメインということなので、日本語ドメイン特有の仕組みを理解したうえで、
正しく正規化を行わないと　リダイレクトが無限ループしたり、
今回のようにGoogoleから弾かれたりしますから、注意が必要です。

補足

もう一度まとめました。

URL がプロパティ内にありません
現在選択しているプロパティ内で URL を検査するか、プロパティを切り替えてください

このように出てきて、フェチしてもクロールしてくれません。

日本語ドメインです。
https://就～.tokyo/html/link.html

Punycode
https://xn～.tokyo/html/link.html

ユーザーが指定した正規 URL
なし

Google が選択した正規 URL
https://xn～.tokyo/html/link.html

下記でインデックスされています。
https://就～.tokyo/html/link.html

www無しでインデックスされているのに、
https://xn～.tokyo/html/link.htmlでフェチしても
上記のメッセージが出ます。

wwwありでやるとフェチ出来ますが、登録されていませんという
メッセージのままです。

なぜ、Google が選択した正規 URL
https://xn～.tokyo/html/link.html
でフェチしてもうまくいかないのでしょうか？

回答No.2

superside0

.htaccessで301リダイレクトしていませんか。
もしくは、 canonicalタグで正規化を行っておりませんか？

なお、もともとは　wwwありなしをGoogle上のみで正規化するの話だったのが
サーバー上でのリダイレクトで正規化する話になって
今度は、wwwありなしじゃなくて日本語ドメインとPunycodeの話に変わって
それなら、　リダイレクトしてはだめって話になって、
ころころと主題が変わってますが、
なにをやるとしているのか、どこまでやったのか
きちんと整理して順序立て、再度質問されてはどうでしょう。

お礼

link.html
には確かにカノニカルがありましたが、今日削除して、
今フェチしましたがやはり登録されていませんと
サーチコンソールに出てきます。

サーチコンソール上には下記のようなメッセージがあります。

Google が選択した正規 URL
https://xn-/html/link.html
ユーザーが指定した正規 URL と同じ

しかし
https://xn-/html/link.html
でフェチすると下記のようにでます。

URL がプロパティ内にありません
現在選択しているプロパティ内で URL を検査するか、プロパティを切り替えてください

htacsessにはありません。

また他のページはすべて、問題なく登録されています。
このページだけです。

補足

Google が選択した正規 URL
https://xn-/html/link.html
ユーザーが指定した正規 URL と同じ

上記のアドレスで
site:xn-/html/link.html
としたところインデックスされています。

しかし
https://xn-/html/link.html
でフェチすると下記のようにでます。

URL がプロパティ内にありません
現在選択しているプロパティ内で URL を検査するか、プロパティを切り替えてください

なぜインデックスされているのに、フェチ出来ないのでしょうか？

他のページは出来ます。

回答No.1

superside0

まず、本題の前に…
質問中の「16進数のドメイン名」という表現は正しくなくて
xn--～.tokyo というドメインのことならば、　「Punycodeのドメイン名」の　誤りです。

もし、URLが
”あいう”→"%E3%81%82%E3%81%84%E3%81%86"
のように文字列をURLエンコードされたものあるなら
　0～9,　A～F　(10進数でいうと0～15) の数値と そのまえに%を付けたものですので
これなら16進数といえますが、
国際化ドメイン名を　Punycode　に変換した"xn--wgv71a119e"のようなものであれば、
これは、0～9,A～F(a～f)　の　範囲ではないので　16進数とは言えませんから。

さて、先の同様の質問でも、
「 日本語ドメインを　実現しているのはDNSでなく　ブラウザの仕事」
というニュアンスのアドバイスがあったと思いますが
日本語ドメインの場合、　アンカーやブラウザのURLにとして表面上は日本語で
見えていても、ブラウザからサーバーへのアクセスでは、
ブラウザ上でPunycodeに変換されて、 xn-～.tokyo　のほうで実際には行われるので、
そもそもサーバー側で　正規化させようがありません。

もし仮に　サーバー側で、
xn～.tokyo　を 就～.tokyo　にリダイレクトしてしまうと
このリダイレクト命令を受けた　ブラウザが　　再度　就～.tokyo をPunycodeに
変換してしまって、再度xn～.tokyo　にアクセスするので
結果、無限ループになってしまいます。
つまり、先のご回答にあった「日本語URLへリダイレクトすべきでは無い」
の通りです。

反対に　就～.tokyo　を xn～.tokyoへ　リダイレクトする定義していても、
サーバーにとっては、xn～.tokyoでしかアクセスされてこないので、
このリダイレクト設定が使われることがありませんので、無意味な設定になるでしょう。
それに、せっかくの日本語ドメインがあるのに　
xn-～.tokyoという　視認性の悪いドメイン名のほうを周知させるのだと
日本語ドメインを持つ意味がなくなります。

> なぜ同じなのに日本語ドメインか16進数かで別物と検索エンジンは思ってしまったのでしょうか？

（繰り返しですが、この質問中にある”16進数”は、Punycode　の誤りです）

日本語ドメインの場合、
インターネット上のDNSで日本語が扱えないという制限があるため、
DNSの仕組みだけでは日本語ドメイン名が使えなくて、
ブラウザ側でURLに日本語ドメイン名があれば、Punycodeへ変換されてから
DNSで正引きされてサーバーにアクセスされます。
よって、見かけ上の仮想的URLと　実際の通信で使われるURLが異なることに
なるので、そうなってしまうのでしょう。

> どうすれば同じに出来ますか？

Googleでは。　日本語ドメイン名と、　Punycodeでのドメイン名とは、
同じURLとして認識してくれてPageRankの分散が発生することはないそうです。
よって、統合（正規化）する必要は、そもそもないでしょう。

どうしても、表示上、２つのURLがあるのが　嫌なのであれば、
別途、普通の英語のドメイン名（xn--じゃなくて、意味のあるローマ字のドメイン名）
を取得して、　日本語ドメインのほうをPunycodeから　新規英語ドメイン名にリダイレクトして　
将来的は日本語ドメインのほうを捨てる　というのはどうでしょう。

日本語ドメインだと　SNSの共有などでリンクされないこともあるので
そういう意味でも、日本語ドメインをメインで使用するのを、やめるのがよいかもしれませんね。
メールアドレスも、～@xn--～.tokyo なんてふうに、分かり難くなることもないですし。

お礼

サーチコンソールに重複コンテンツになっていると表記されていました。
今日はなぜか消えています。

以下
https://www.就～.tokyo/html/link.html
でフェチした時のサーチコンソールのメッセージ

URL が Google に登録されていません
このページはインデックスに登録されていませんが、エラーではありません。インデックス未登録の理由については、下記の詳細情報をご覧ください。

参照元ページ
https://www.就～.tokyo/html/link.html

ユーザーが指定した正規 URL
https://xn～.tokyo/html/link.html

Google が選択した正規 URL
ユーザーが指定した正規 URL と同じ

何度フェチしても
https://xn～.tokyo/html/link.html
が正規となっているので、インデックスしてくれないです。

補足

このページだけwwwなしのアドレスでインデックスされている事がわかりました。

https://就.tokyo/html/linkbe.html

しかし、上記でフェチしてもプロパティがないというメッセージになります。
wwwなしだとフェチ出来ません。
理由はなぜでしょうか？

そもそも私はwwwなしでドメインを取得しているのになんで他のページに勝手につけるのかも理解できません。