S3 に保存された CloudFront のログを見やすく整形するツーライナー

要するに TSV や CSV は column コマンドで見やすくなる&# の行はちょっと特殊なので加工が必要。

aws s3 cp s3://XXX/YYY/ZZZ/ ./log/ --recursive --exclude='*' --include '*.2022-10-27-*'
zcat log/*.gz |
  sed -r '/^#Version/d;/^#Fields:/{s/\s/\t/g;s/^#Fields:\s+/#/}' |
  LANG=C sort |
  uniq |
  column -s $'\t' -t |
  less -S