2014-09-18

wget で robots.txt を無視する

/etc/wgetrc を見ると
#robots = on
となっている。

これを
robots = off

とすれば、robots.txt を無視してくれる。

0 件のコメント:

コメントを投稿

Windows 11 インストール / アップグレード 手順

 Microsoftから、Windows 11 の ISO をダウンロード ダウンロードしたISOを右クリックしてマウント コマンドプロンプトを起動してマウントしたドライブ(D:とか)に移動し、setup /product server を実行 あとは指示に従うだけ これだけ。 ...