2014-09-18

wget で robots.txt を無視する

/etc/wgetrc を見ると
#robots = on
となっている。

これを
robots = off

とすれば、robots.txt を無視してくれる。

0 件のコメント:

コメントを投稿

そもそも添付ファイル名の規約ってRFCでどうなってるの?

Outlookから送ったメールの添付ファイル名が、iPhoneで「 =?utf-8?Q?...?= 」と無残に文字化けしてしまう現象。その元凶を紐解くと、1990年代から続く 「RFC規格のねじれ」 と、Microsoftによる 「独自の割り切り」 という深い闇に突き当...