ウェブページのファイルの一括ダウンロード
サンプルデータの取得などで,ウェブページにリストアップされているファイルを一括ダウンロードしたいことがある.こんなときは,wgetコマンドを用いて,以下の2つの操作
- 再帰的にファイルを取得する回数を1回に指定
- ファイルの拡張子の指定
を行えばよい.
例えば,国立気候データセンター(National Climatic Data Center; NCDC)が公開している気象データを取得するには,以下のコマンドを実行する.
$ # 2013年のデータの取得(拡張子が"gz"のファイルが対象) $ wget -r -l 1 -A gz -w 5 -nd ftp://ftp.ncdc.noaa.gov/pub/data/noaa/2013/
便利!!
参考文献