重複行の削除

元の出力の方を後でちゃんと変えるべきなのだが、実験データを出力した際に精度が足りず、データのX軸がいくつか重複してしまった。そんなデータでも、ざっくりでもよいからとりあえず解析すべく、重複するデータを削除して整理したい。その時のコマンド。
awk ‘!a[$1]++’ data.txt

なお、
awk ‘!a[$0]++’ data.txt
とすると、行全体で重複を判定できる。

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です