やりたいこと
IBM CloudのICOS(IBM Cloud Object Storage)に作成したバケット内の全ファイルをローカルにダウンロードする。
環境情報
$ aws --version aws-cli/1.19....
やり方
--recursiveを利用することで以下のように複数ファイルを一括でダウンロードする。また、不要な拡張子やファイルが有る場合は--exclude "*.txt"のように付与することで除外する。
$ aws --endpoint-url https://s3.jp-tok.cloud-object-storage.appdomain.cloud s3 cp s3://testlog/year=xxxx/month=xx/day=xx/ . --recursive Completed 570.0 MiB/7.5 GiB (6.2 MiB/s) with 25 file(s) remaining
尚、ダウンロードが完了したファイルは標準出力にて逐次以下のように表示される。
download: s3://testlog/year=xxxx/month=xx/day=xx/xx.json.gz to ./xx.json.gz download: s3://testlog/year=xxxx/month=xx/day=xx/yy.json.gz to ./yy.json.gz ...
以下、補足です。
補足
以下のようにプロファイルを準備すれば
バケット配下で確認できるファイルを一気にダウンロードできます。
aws --endpoint-url https://testlog/year=xxxx/month=xx/day=xx/
尚、処理の途中でもCtrl+cでキャンセルができ、押下すると以下のようにして処理が終了しました。
cancelled: ctrl-c received
以上です。
