linux 資料基礎分析

2024-04-25 工作雜記 linux 資料分析

  • grep: 過濾資料
grep 要過濾出的資料 exampleFileSource.log > exampleFile.log 
  • cut 切除每行前 60 個字元
cut -b 60- exampleFile.log > exampleFile.2.log
  • sort: 類似 sql distinct 效果
grep 要過濾出的資料 exampleFile.2.log | sort --unique

分析 message IP

grep "martian source" messages | grep -oE '([0-9]{1,3}\.){3}[0-9]{1,3}' >> messages-IP.log
sort messages-IP.log | uniq -c | sort -nr