2011年8月21日

Bash快速鍵

  1. ctrl + r: 進入歷史命令搜尋模式 
  2. ctrl + l: 清除螢幕,效果等同於clear
  3. ctrl +a: 游標移至行首
  4. ctrl +e: 游標移至行尾
  5. ctrl +u: 剪下游標之前的內容
  6. ctrl +k: 剪下游標之後的內容
  7. ctrl +y: 貼上內容 
  8. ctrl +t: 交換游標前兩個字元的順序
  9. ctrl +w:刪除游標之前的內容
  10. ctrl +z: 將目前process suspend。可用jobs看目前有那些process在後台執行,用fg %1將第一個process放至前台。用bg %2將第二個process放在後台執行。
  11. ctrl +x -> ctrl +e: 執行環境變數EDITOR所指定的文字編輯器。
  12. !!:重複上次的命令
  13. !$:重複上次命令的參數。Ex: ls - als在下次使用時可直接用ls !$,也可用來當做上一層目錄。
  14. alt+.:重複上次命令的參數

實用的Linux命令

  1. pgrep -u root:抓取uid為root process pid,等同於ps -ef|egrep '^root'|awk '{print $2}'
  2. pstree: 將process依樹狀結構印出
  3. split: 將大檔案分割成小檔案,split -b 2m largefile LF_,合併時使用cat LF_* > largefile
  4. nl: 能夠顯示行號的命令, nl log.txt|head
  5. ldd:印出指定檔案所需要的dynamic library。ldd /usr/java/jre1.5.0_11/bin/java會印出java需要那些dynmaic library。
  6. lsof: 印出被打開的文件。lsof|grep TCP 可印出正被打開的TCP port。

2011年8月20日

標準輸出入與重新導向

在Unix(Linux)當中,系統將標準輸入輸出分成三個:標準輸入(stdin)、標準輸出(stdout)、以及標準錯誤輸出(stderr),它們的fd (file descriptor, 檔案描述子) 分別是 0,1,2。在標準情形下,這些FD與以下設備關聯:

  • stdin(0): keyboard 
  • stdout(1): monitor 
  • stderr(2): monitor 

而在shell當中「>」的意思其實是,將「>」左邊輸出的東西重新導向到右邊去。當「>」左邊未指定任何東西時,它會讀取左方程式的標準輸出(也就是fd=1)重新導向給右邊的東西,但是也可以指定要重新導向的fd (也就是說「>abc.txt」會等於「1>abc.txt」)。所以可以想見 2>&1 的意思應該是把 fd=2,也就是標準錯誤輸出重新導向給&1。而這邊的 &1 指的其實就是 fd=1。因此以下的結果:
/tmp/test.sh > test.log
如果不使用2>&1的方法,則test.log中只會儲存test.sh的執行結果,而test.sh的錯誤只會顯示在營幕中,反之,若使用了2>&1方法,則執行結果與錯誤訊息都會存在test.log當中。所以由此可知,如果只想儲存錯誤訊息,可用 2> file的方式。

小結一下,2>&1就是將標準錯誤併到標準輸出一起輸出,而1>&2就是將標準輸出併到標準錯誤當中一起輸出。

在crontab中常常見到以下的寫法:
renice -20 cat /home/yoursrcdspath/srcds.pid >/dev/null 2>&1

/dev/null是 Unix 底下的垃圾筒+黑洞。它不帶任何意義,所有丟進去的東西都會被吃掉然後不見,反正你不想看到的東西丟給 null 就對了。
根據「man bash」裡 REDIRECTION 段落裡的說明,重新導向的順序是由左至右。也就是說「>/dev/null 2>&1」會先處理「>/dev/null」再處理「2>&1」。所以其意思就是將標準輸出和標準錯誤全部都丟到/dev/null中,眼不見為淨。

sed簡易筆記

sed為串流編輯器,可直接編輯檔案的資料流(stream),其工作模式為比對每一資料列,若符合樣式,即執行指定的動作。

要注意sed並不會修改檔案的內容,而是讀取檔案後,修改其內容再送到標準輸出。

#sed 'pattern cmd' files
sed syntax

  • #sed '1,4d' thisfile
    刪除thisfile的第1~4列,剩下的顯示出來
  • #sed '/http/d' thisfile
    刪除thilsfile中含有http字串的所有列,剩下的顯示出來
  • #sed '/[0-9]\{3\}/d' thisfile
    刪除thisfile中含有3個數字的所有列,剩下的顯示出來
  • #sed '/^$/' thisfile
    刪除thisfile中的所有空白列,剩下的顯示出來 
  • #sed '/http/!d' thisfile
    刪除thilsfile不含有http字串的所有列,剩下的顯示出來
  • #sed -n '/http/p' thisfile
    印出thisfile中含有http字串的所有列(-n是抑制預設全部印出的選項)
  • #sed -n 's/http/web/gp' thisfile
    將thislfile中所有的http字串改為web, s為取代(substitute)的命令, g表示全域(global),不加g時,只會更換第一個找到的http字串
  • #sed -n 's/http//gp' thisfile
    將thisfile中所有的http字串刪除 
  • #sed 's/^...//' thisfile
    將thisfile中每一行的前三個字元刪除 
  • #sed -n 's/\(http\)/\1s/gp' thisfile
    使用\1將符合http字串的部份存起來,再抓出來使用,所以上面是將每一列中的http字串換成https字串
  • #sed -n '/AAA/ s/123/456/p' thisfile
    找到在thisfile中有AAA的資料列後,再將該列的123換成456
  •  #sed -n '/AAA/,/DDD/ s/123/456/p' thisfile
    找到在thsifle中AAA列至DDD列的所有資料列中,將123換成456
  •  #sed -n '2,4 s/123/456/p' thisfile
    將thisfile中第2~4列的123換成456 

 

 

 

 

 

 

awk簡易筆記

awk是種可以處理資料,且產生格式化報表的語言,在shell程式當中廣泛的被使用。awk的工作方式是讀取資料檔,將每一列資料視為一筆記錄(record),每筆記錄以欄位分割符號分成若干個欄位(類似csv),然後輸出各個欄位之值。

#ps auxw|awk '{print $2}'
以上指令印出 ps auxw 指令中,每一列資料的第二欄(pid) 

awk處理記錄的方法,是將指定的pattern套用到每一筆記錄當中,若記錄符合指定的pattern,則執行指定的action。action與pattern任一個可以省略,如果只有pattern,表示只要對符合pattern的記錄作用。如果只有action,表示要處理所有的記錄。

awk常用的格式

  • awk 'pattern' files: 把符合apttern的資料列全部列出
  • awk '{action}' files: 對每一列都執行action的動作
  • awk 'pattern {action}' files: 對符合pattern的資料列,執行action的動作

#awk '/http/' web.log
顯示web.log中含有http pattern的資料列 

#awk '/http/ {print $1, $2}' web.log
顯示web.log中含有http pattern的第一欄及第二欄的資料

#awk -F: '/^admin/ {prnt $3, $4}' /etc/passwd
用-F指定欄分割符號為:,印出admin為開頭的第三欄及第四欄的資料 

Example:

#ifconfig|grep 'inet addr:'|grep Bcast|awk '{print $2}'|awk -F: '{print $2}'
取得網路卡的ip address