Linux Filesystem Hierarchy Standard

在網路上看到有高手整理好的FHS結構圖，非常的好用：

關於資料夾的相關解說，也可以在FHS的網站找到詳細說明。

IPv6格式整理

最後在學校的電腦突然出現了IPv6的IP，不過一些網路服務原本是以IPv4的設定為主，改到IPv6後會有問題，於是決定一次把問題整理清楚。
IPV6 位址共128bytes，分成8 區以:隔開格式如下
2001:0288:75d8:0000:0222:15ff:fe5b:4525

• 其中每一個數字均為16進位(4位元)，每一區為16 位元
• 每一區塊前置的0 可以省略，相連的0:0:0 等不管幾個相連都可以簡寫為::
• 但::的寫法一個位址只能有一個(以相連的0 最多的優先)
  • 001:0db8:85a3 :0000:1319:8a2e:0370:7344等同於2001:0db8:85a3::1319:8a2e:0370:7344 
  • 2001:0DB8 :0000:0000:0000:0000 :1428:57ab等同於2001:0DB8::1428:57ab 
• ::1 代表 localhost(lo)
• :: 代表any(相當於ipv4 的0.0.0.0
• ff0 開頭的位址為多點位址
• ff02::1 一般電腦的廣播位址
• ff02::2 路由器廣播位址
  • ping6 –I eth1 ff01::1 ping 一般PC 有那些
  • ping6 –I eth1 ff02::1 ping 路由器有那些

IPv6位址的類型
IPv6有Unicast、Multicast 和 Anycast 三種類型。 IPv6不再使用IPv4的廣播(Broadcast)方式來通信，而是使用Multicast或者Anycast替代廣播。
而IPv6 的 Unicast 如同 IPv4 的 Unicast 傳送模式，用在單一節點對單一節點的資料傳送。 Unicast有下列型態：

• Global(Scope:global)： Global的IPv6 位址，就如同 IPv4 的公開位址(Public Address)，在全世界具有唯一性，其它節點不會有相同的位址。 
• Link- Local(Scope:link)：位址僅用在單一個連結上 (同一個子網路中)，不可被繞送到其他連結或網際網路上。 它的功用如同 IPv4 的 APIPA 位址(169.254.X.X)，僅在一個特定的網路區段使用，這類位址的封包不能通過路由器。
• Site-Local(Scope:site)：位址可以跨連結，在網點間繞送，但不可被繞送到網際網路。Link-Local及Site-Local位址的概念就像是IPv4中的私有位址，對主機間及路由器間自動建立暫時性的通信非常有用。

Link-local單點位址(Scope:link):
主機平台的 IPv6 有啟用，則每一網路介面都會自動配得一個 Link-local 單點位址，此位址以fe80::/64 開頭。此ip 位址可由網卡算出。
例如某一網卡mac 位址為00-0F-EA-41-59-47，最左邊一定是00，寫成2 進位變成0000 0000，再將由左邊算起第7 個bit(稱為global bit 一定是0)改成1，於是00 就會變成02，於是變成02:0f:ea:41:59:47。再將mac 位址拆成2 半,中間加入fffe變成020f:eaff:fe41:5947，於是ipv6 位址就會變成fe80::20f:eaff:fe41:5947，即為網卡的local 單點位址。

IPv6的首碼
在 IPv6 位址的 128 bits 之中，前幾個 bits 為首碼。另一種常見的 IPv6 位址表示法是「IPv6 位址 / 首碼長度」。至於首碼長度到底是多少 bit 呢?這必須視位址是屬於Unicast、Multicast 或 Anycast而定。
Unicast的首碼及位址格式

• Global的前 3 bits 為首碼，內容固定是「001」。最後的 64 bits 為 Interface ID。Interface ID 的功用如同 IPv4 的 Host ID 。 
• Site-Local的前 10 bits 為首碼，內容固定為「1111111011」, 間隔 38 bits 的 0 之後, 接著 16 bits 的「子網路位址」( Subnet ID )，最後才是 64 bits 的介面位址。 
• 因為這種位址的前 10 bits 之後的 6 bit固定補0，所以整個16bit是「1111111011000000」，以十六進位來表示，就是FEC0，因此有人就說 Site-Local IPv6 位址的首碼為FEC0。這種說法是額外多加入六個bit的0！因為實際首碼只有 10 bits。但就結果來看並沒有錯，且加入6bit以後，用FEC0來表示首碼，要比用1111111011清楚許多。 
• Link-Local也是用前 10 bits 為首碼，內容固定為「1111111010」，接著是連續 54 bits 的 0，最後的 64 bits 也是介面位址。如同在 Site-Local 一樣，Link-Local IPv6 的首碼暫且可以用 FE80來表示。 

Multicast的首碼及位址格式

• Multicast前 8 bits 為首碼，內容為「11111111」，最後 112 bits 為「群組位址」

Anycast的首碼及位址格式

• Anycast的首碼長度不是固定長度，首碼之外均為 0。 

證交所加權指數開盤價收盤價

今天在證交所抓台灣加權指數的資料時，發現一件很有趣的事，
在[交易資訊]->[TWSE自行編製指數]->[每15秒指數盤後統計]，可看到加權指數與各類股指數每15秒(早期為1分鐘)的指數值。
而在[交易資訊]->[TWSE自行編製指數]->[發行量加權股價指數歷史資料]，可看到加權指數的開盤價，收盤價，最高價，最低價。
對照兩筆資料，可發現收盤價是13:30:00最後一筆資料值，這沒什麼問題，但是開盤價確不是開盤後第一個值，而是開盤後第一筆資料成交之後的值，即開盤價為09:00:15的值。

Magic system request key

Wiki的介紹：http://en.wikipedia.org/wiki/MagicSysRqkey

簡單的說就是能夠執行linux kernel低階命令的按鍵組合，在當機或是system freeze時很有用。
有數種執行Magic Sysrq的方法：

1. alt+PrtSc(SysRq)+b (QWERY的鍵盤為立即重新開機) 
2. echo b > sysrq-trigger
3. 使用daemon sysrqd, listen TCP port 4094，可遠端接收命令
4. serial console中，在break命令後加上Magic Sysrq。Ex: ctrl-a f可執行break cmd，所以ctrl-a f b可立即重新開機。

使用/禁用Magic Sysrq的方法：

• disabled: echo 0 > /proc/sys/kernel/sysrq
• enable: echo 1 > /proc/sys/kernel/sysrq
• 若要設定部份功能禁用，可參考wiki。

wget實用技巧

• wget -r -np -nd http://www.google.com.tw/doc
  可下載doc資料夾下的所有文件，-r為recurisve, -np為不走訪parent directory, -nd為不在本機建立新的資料結構
• wget -r -np -nd --accept=iso  http://example.com/centos-5/i386/
  只下載i386資料夾下副檔名為iso的檔案
• wget -i filename.txt
  下載列在filename.txt中的文件
• wget -c http://example.com/really-big-file.iso
  -c選項為續傳的功能
• wget -m -k (-H) http://www.example.com/
  對網站做鏡像處理，若圖片在不同網站，可用-H來處理 

Bash快速鍵

1. ctrl + r: 進入歷史命令搜尋模式 
2. ctrl + l: 清除螢幕，效果等同於clear
3. ctrl +a: 游標移至行首
4. ctrl +e: 游標移至行尾
5. ctrl +u: 剪下游標之前的內容
6. ctrl +k: 剪下游標之後的內容
7. ctrl +y: 貼上內容 
8. ctrl +t: 交換游標前兩個字元的順序
9. ctrl +w:刪除游標之前的內容
10. ctrl +z: 將目前process suspend。可用jobs看目前有那些process在後台執行，用fg %1將第一個process放至前台。用bg %2將第二個process放在後台執行。
11. ctrl +x -> ctrl +e: 執行環境變數EDITOR所指定的文字編輯器。
12. !!:重複上次的命令
13. !$:重複上次命令的參數。Ex: ls - als在下次使用時可直接用ls !$，也可用來當做上一層目錄。
14. alt+.:重複上次命令的參數

實用的Linux命令

1. pgrep -u root:抓取uid為root process pid，等同於ps -ef|egrep '^root'|awk '{print $2}'
2. pstree: 將process依樹狀結構印出
3. split: 將大檔案分割成小檔案，split -b 2m largefile LF_，合併時使用cat LF_* > largefile
4. nl: 能夠顯示行號的命令， nl log.txt|head
5. ldd:印出指定檔案所需要的dynamic library。ldd /usr/java/jre1.5.0_11/bin/java會印出java需要那些dynmaic library。
6. lsof: 印出被打開的文件。lsof|grep TCP 可印出正被打開的TCP port。

標準輸出入與重新導向

在Unix(Linux)當中，系統將標準輸入輸出分成三個：標準輸入(stdin)、標準輸出(stdout)、以及標準錯誤輸出(stderr)，它們的fd (file descriptor, 檔案描述子) 分別是 0,1,2。在標準情形下，這些FD與以下設備關聯：

• stdin(0): keyboard 
• stdout(1): monitor 
• stderr(2): monitor 

而在shell當中「>」的意思其實是，將「>」左邊輸出的東西重新導向到右邊去。當「>」左邊未指定任何東西時，它會讀取左方程式的標準輸出(也就是fd=1)重新導向給右邊的東西，但是也可以指定要重新導向的fd (也就是說「>abc.txt」會等於「1>abc.txt」)。所以可以想見 2>&1 的意思應該是把 fd=2，也就是標準錯誤輸出重新導向給&1。而這邊的 &1 指的其實就是 fd=1。因此以下的結果:
/tmp/test.sh > test.log
如果不使用2>&1的方法，則test.log中只會儲存test.sh的執行結果，而test.sh的錯誤只會顯示在營幕中，反之，若使用了2>&1方法，則執行結果與錯誤訊息都會存在test.log當中。所以由此可知，如果只想儲存錯誤訊息，可用 2> file的方式。

小結一下，2>&1就是將標準錯誤併到標準輸出一起輸出，而1>&2就是將標準輸出併到標準錯誤當中一起輸出。

在crontab中常常見到以下的寫法：
renice -20 cat /home/yoursrcdspath/srcds.pid >/dev/null 2>&1

/dev/null是 Unix 底下的垃圾筒+黑洞。它不帶任何意義，所有丟進去的東西都會被吃掉然後不見，反正你不想看到的東西丟給 null 就對了。
根據「man bash」裡 REDIRECTION 段落裡的說明，重新導向的順序是由左至右。也就是說「>/dev/null 2>&1」會先處理「>/dev/null」再處理「2>&1」。所以其意思就是將標準輸出和標準錯誤全部都丟到/dev/null中，眼不見為淨。

sed簡易筆記

sed為串流編輯器，可直接編輯檔案的資料流(stream)，其工作模式為比對每一資料列，若符合樣式，即執行指定的動作。

要注意sed並不會修改檔案的內容，而是讀取檔案後，修改其內容再送到標準輸出。

#sed 'pattern cmd' files
sed syntax

• #sed '1,4d' thisfile
  刪除thisfile的第1~4列，剩下的顯示出來
• #sed '/http/d' thisfile
  刪除thilsfile中含有http字串的所有列，剩下的顯示出來
• #sed '/[0-9]\{3\}/d' thisfile
  刪除thisfile中含有3個數字的所有列，剩下的顯示出來
• #sed '/^$/' thisfile
  刪除thisfile中的所有空白列，剩下的顯示出來 
• #sed '/http/!d' thisfile
  刪除thilsfile不含有http字串的所有列，剩下的顯示出來
• #sed -n '/http/p' thisfile
  印出thisfile中含有http字串的所有列(-n是抑制預設全部印出的選項)
• #sed -n 's/http/web/gp' thisfile
  將thislfile中所有的http字串改為web, s為取代(substitute)的命令, g表示全域(global)，不加g時，只會更換第一個找到的http字串
• #sed -n 's/http//gp' thisfile
  將thisfile中所有的http字串刪除 
• #sed 's/^...//' thisfile
  將thisfile中每一行的前三個字元刪除 
• #sed -n 's/\(http\)/\1s/gp' thisfile
  使用\1將符合http字串的部份存起來，再抓出來使用，所以上面是將每一列中的http字串換成https字串
• #sed -n '/AAA/ s/123/456/p' thisfile
  找到在thisfile中有AAA的資料列後，再將該列的123換成456
•  #sed -n '/AAA/,/DDD/ s/123/456/p' thisfile
  找到在thsifle中AAA列至DDD列的所有資料列中，將123換成456
•  #sed -n '2,4 s/123/456/p' thisfile
  將thisfile中第2~4列的123換成456 

 

 

 

 

 

 

awk簡易筆記

awk是種可以處理資料，且產生格式化報表的語言，在shell程式當中廣泛的被使用。awk的工作方式是讀取資料檔，將每一列資料視為一筆記錄(record)，每筆記錄以欄位分割符號分成若干個欄位(類似csv)，然後輸出各個欄位之值。

#ps auxw|awk '{print $2}'
以上指令印出 ps auxw 指令中，每一列資料的第二欄(pid) 

awk處理記錄的方法，是將指定的pattern套用到每一筆記錄當中，若記錄符合指定的pattern，則執行指定的action。action與pattern任一個可以省略，如果只有pattern，表示只要對符合pattern的記錄作用。如果只有action，表示要處理所有的記錄。

awk常用的格式

• awk 'pattern' files: 把符合apttern的資料列全部列出
• awk '{action}' files: 對每一列都執行action的動作
• awk 'pattern {action}' files: 對符合pattern的資料列，執行action的動作

#awk '/http/' web.log
顯示web.log中含有http pattern的資料列 

#awk '/http/ {print $1, $2}' web.log
顯示web.log中含有http pattern的第一欄及第二欄的資料

#awk -F: '/^admin/ {prnt $3, $4}' /etc/passwd
用-F指定欄分割符號為:，印出admin為開頭的第三欄及第四欄的資料 

Example:

#ifconfig|grep 'inet addr:'|grep Bcast|awk '{print $2}'|awk -F: '{print $2}'
取得網路卡的ip address

 

Scipy求eigenvalues

簡單的求eigenvalues範例:

1. #-*-coding:utf-8-*-
2. '''
3. Created on 2011/4/15
4. @author: Hung-Hsin Chen
5. simple example for solving eigenvalues
6. '''
7. import numpy as np
8. from scipy import linalg
9.  
10. #A=[[1 2 3] [4 5 6] [7 8 9]]
11. A = np.arange(1,10).reshape(3,3)   
12. eigvals, eigvecs = linalg.eig(A)
13.  
14. #eigen vector is column vector
15. for i in range(0,3):
16.     print eigvals[i], eigvecs[:,i]
17.  
18. #A*X = lambda * X
19. print np.dot(A, eigvecs[:,0].transpose())
20. print eigvals[0]*eigvecs[:, 0]

Linux們的對話

每次看到這個對話都覺得很經典，乾脆就轉貼上來了.

有一天，Arch,Ubuntu,Debian,Fedora,Gentoo約好要一起試車。他們約在城外的一間速食店見面。
Ubuntu是一個新秀，他車上永遠有一大多酷炫的裝飾，和最新的技術。
Debian是個老實的守舊派，他兩年前當大家都在用引擎2.6的時候，他還在用引擎2.2。不過聽說這兩年他也換成引擎2.6了。
Fedora繼承爺爺留給他的車子之後，努力的改造一番之後倒也沒有辜負爺爺的給的跑車。他爺爺曾經是跑車界的第一人，也留給Fedora一些別人沒有的技術。
Gentoo是個古怪的實踐家，他車上除了一般配備之外，他還有一套可以輕鬆換掉輪子的工具，他甚至有一套可以修理這套工具的工具(Bootstrap)。
Archlinux是Gentoo的堂弟，他也和他堂哥一樣，只是他很多東西可以買現成的就買現成。必要時候才會拿起工具包敲敲打打。

他 們集合後，從城外出發，一開始領先的Gentoo和Archlinux，因為他們車上沒有太多累贅的配備，跑起來特別快。 Fedora,Debian,Ubuntu稍稍落後一小段。後來快到城內時下起雨來，大家紛紛換成雨胎，Gentoo首先察覺到下雨，他一停下來，大家也 跟著停車換輪胎。

Fedora,Debian,Ubuntu,Archlinux換上預備的輪胎就上路。
Gentoo還在拿起工 具打造他專屬的雨胎。

Fedora,Ubuntu,Archlinux所用的雨刷是兩個月前最新的技術，他會針對雨勢大小調整速度，但是未經完整測試的結 果就是，遇到閃電就會失常而阻擋視線。幸好Debian用的是手動控制的雨刷，沒有問題的繼續前進。
到了城裡，遇到紅燈，大家紛紛停下來。漫長的紅燈大家等得有點不耐煩，這時看到Windows騎著腳踏車橫越馬路。
Windows說：你們還在開過時的跑車嗎？為何不試看看腳踏車？你看我騎得不也很平穩？而且自從我加了輔助輪(WINXP)之後我已經不常跌倒(Crash)了。況且連我這樣的小孩子都會騎得很好，而在IIS牌的紅綠燈下，你們只是眼睜睜的看著我騎過去。
語畢，Windows走了之後，Gentoo問：他剛剛講什麼？
Ubuntu和Fedora預設有裝samba，稍微可以和Windows溝通，但也說不上來。
Ubuntu說：好像是在謝謝我們讓他過去…..吧。
Archlinux,Debian：好有禮貌的小孩！

綠燈亮了，他們紛紛出城。出了城外，他們發現開始下雪。下雪已經超出他們常識之外，因為這個地方很少下雪。

Fedora和ubuntu打電話回原廠尋求解答。
Debian和Archlinux開始詢問google。
Gentoo拿起工具，開始想要把他的雨胎纏上鍊子。
Archlinux看著表哥，也學著要把雨胎纏上鍊子，只是帶很少工具，所以花了比較多時間。
隨至Archlinux和Gentoo再出發之後。

Ubuntu也收到原廠外派更新組件車的服務。
Fedora也從使用者群組得到雪胎套件。
Debian由於現有輪軸不相容雪胎，所以用雨胎硬上。

這是一場試車活動，沒有起點和終點。
大家只是想從別人身上再次確認自己玩車的方式是自己想要的。
當然，這只是一場試車活動，如有雷同…存屬巧合。:p

Intel MKL

剛剛在搜尋資料的時候看到這一篇文章Using Intel MKL in your Python program，裡面說明了如何在python當中使用MKL來做數值計算，兩者可以一起使用放合體技，真是太棒了。

而在Intel MKL link advisor這篇文章中，使用者可以依照自已的需求，填完表格後，就會產生link時所需要的參數，可以直接使用或是寫在Makefile中，也是很方便的做法。

在Compiling 64-bit R 2.10.1 with MKL in Linux中，提到了如何使用MKL來compile R，這對於加速數學計算是很有幫助的。

Intel compiler in Ubuntu linux with Eclipse + CDT

Intel有提供非商業用途的開發工具下載，因為本身有時會使用c/c++開發軟體，於是就下載Intel C++ Composer XE 2011 for Linux來使用看看，下載位置:Intel non-commerical software
我的作業環境：

• Ubuntu Linux 10.04, 64-bit
• Eclipse 3.6.1 + CDT 7.0

抓完套件之後，將套件解開，執行install.sh後按照步驟即可安裝完成，最後會將整個軟體安裝在/opt/intel的資料夾當中。其中intel已經將設定環境變數等功能寫成sh檔，只要執行/opt/intel/bin/compiler.sh(csh)就可以將環境變數自動設定完成，因為每次使用都要設定很麻煩，所以我將source /opt/intel/bin/compilervars.sh intel64這個命令設定在${HOME}/.bashrc當中，只要登入就自動執行。

設定intel compiler到CDT當中也很簡單，將/opt/intel/composerxe-2011.1.107/eclipse_support/cdt7.0/資料夾中的所有資料使用cp -r *到eclipse的安裝目錄當中即可。

之後只要開啟eclipse就可以使用intel的開發工具。

Linux drop cache功能

要觀察Linux 運作時的虛擬記憶體，可以使用vmstat或是觀察/proc/meminfo兩種方式皆可。

vmstat -S m
watch cat /proc/meminfo

在Linux kernel 2.6.16以後，新增drop caches的機制，只要利用讀寫 proc 檔案就可以清除 cache 記憶體檔案:
release page cache:

echo 1 > /proc/sys/vm/drop_caches

release dentries and inodes:

echo 2 > /proc/sys/vm/drop_caches

release page cache, dentries and inodes:

echo 3 > /proc/sys/vm/drop_caches

Linux中光碟轉iso格式

簡單一個命令就可以完成此功能:

dd if=/dev/cdrom of=XXX.iso