Bash 重複行の削除 2017年2月9日 ohto コメントする 元の出力の方を後でちゃんと変えるべきなのだが、実験データを出力した際に精度が足りず、データのX軸がいくつか重複してしまった。そんなデータでも、ざっくりでもよいからとりあえず解析すべく、重複するデータを削除して整理したい。その時のコマンド。 awk ‘!a[$1]++’ data.txt なお、 awk ‘!a[$0]++’ data.txt とすると、行全体で重複を判定できる。