robots.txtの書き方

質問

同じような質問を見ても良くわからなかったので、質問させていただきます。

HPを制作し、robots.txtを使ってロボット除けをする場合、

--------------
User-agent: *
Disallow: /
--------------

"--------------"内の文を書く事は分かりましたが、
とあるHTML説明サイトでは

--------------
User-agent: *
Disallow: /

--------------

の様に"Disallow: /"の下を一行空けておかないと効果がないと
書かれていました。
けれどほかのサイトではそのような説明はないし、
『直接このページを保存して～』の様にすでに文を打ってある
.txtページをリンクして書いてあったので見てみると、
行を空けていなかったのです。

一体どっちなのでしょうか？
それとも空けても空けなくても良いのですか？

HTMLファイルではなくtxt.ファイルの内容なので、場所違いかとも思いましたが、
こちらに書かせていただきました。

回答No.1

randman · ベストアンサー

「古いUNIXは、末尾が改行ではないテキストファイルを読み込まない」という話を聞いたことがあります。これを懸念してのことではないでしょうか。

ちなみに、私は慣習的に末尾に改行を入れています。単にその方が美しく見えるからですが、どちらでもいいはずです。

お礼

そういう理由があったんですか!
では改行しないといけないと言うわけではないんですね。
とはいいつつ、自分も見栄えがいいので改行したいと思います。(笑)
回答有難うございました。