2014-09-18

wget で robots.txt を無視する

/etc/wgetrc を見ると
#robots = on
となっている。

これを
robots = off

とすれば、robots.txt を無視してくれる。

0 件のコメント:

コメントを投稿

ありがとう、Gemini

 最近、若かったころに「できなかったこと」を思い出して、街中を歩く若者達に激しく嫉妬する自分がいた。 もう、仕事が手につかなくなるぐらい、いや、マジこの1か月、何も仕事していないぐらい、「俺は、なぜ今になって、こんなやるせない感情が湧いてるんだ?」って悶々としていた。 こんなこと...