ウェブページのファイルの一括ダウンロード

サンプルデータの取得などで,ウェブページにリストアップされているファイルを一括ダウンロードしたいことがある.こんなときは,wgetコマンドを用いて,以下の2つの操作

  • 再帰的にファイルを取得する回数を1回に指定
  • ファイルの拡張子の指定

を行えばよい.

例えば,国立気候データセンター(National Climatic Data Center; NCDC)が公開している気象データを取得するには,以下のコマンドを実行する.

$ # 2013年のデータの取得(拡張子が"gz"のファイルが対象)
$ wget -r -l 1 -A gz -w 5 -nd ftp://ftp.ncdc.noaa.gov/pub/data/noaa/2013/

便利!!

参考文献