2014-09-18

wget で robots.txt を無視する

/etc/wgetrc を見ると
#robots = on
となっている。

これを
robots = off

とすれば、robots.txt を無視してくれる。

0 件のコメント:

コメントを投稿

.htaccessで403を404で返す

久しぶりにリライトルールを書いたよ。 ドキュメントルートに.htaccessを置く場合の記述↓ # 403.html は実体がなくてよい。この設定をすることで、あっても使われなくなる。 ErrorDocument 403 /403.html # 独自の404ページをドキュメ...