auto-refresh pdf in windows

在linux桌面下，用latex寫論文，編譯後產生pdf，使用okular開啟pdf文件，每次重新編譯時，okular會自動更新pdf內容。

而在windows下要做到同樣auto-refreash pdf，目前我是用pdf x-change reader可做到相同功能，在cmd環境下，輸入c:\Program Files\Tracker Software\PDF Viewer\PDFXCview.exe" /A "nolock=yes=OpenParameters" ,pdf。

即可在每次latex編譯，自動更新pdf內容。

python == and is operators

在python當中，== operator是用於比較兩個變值之值是否相等，而is operator是比較兩個變數是否為相同物件。

比如說

a=[1,2,3]
b=[1,2,3]
a == b # True
a is b # False

通常我在寫程式的時候，如果比較的對象是None, True, False時，我會習慣用is operator，但是最近發現這種寫法在True, False時不一定能成功，讓我非常的驚訝，即我的程式中出現以下情況：
a=func(...) # a is False
if a is False:
   # do something
在 a is False這一行竟然結果為False而非True，必須將判斷式改為a==False才會為True。

using numpy in cython

最近大量的使用cython+numpy的方式在寫程式，有許多小細節值得注意。

在官方的文檔中，http://docs.cython.org/src/tutorial/numpy.html
基本使用方法如下：

cimport numpy as cnp
ctypedef cnp.float64_t FLOAT_t

@cython.wraparound(False)
@cython.boundscheck(False)
def myfunc(cnp.ndarray[FLOAT_t, ndim=2] f):
pass

• numpy所定義的c version data type都是python version後面加_t，支援的type如連結。
• wraparound(False)關閉負值索引
• boundcheck(False)加速array元素的存取，但是會無法使用負值的index且不做bound check。
• 其它可用的選項可查詢：compiler directives
  cnp.ndarray[FLOAT_t, ndim=2]將不使用python的慢速索引，而直接使用c的buffer。
• 如果在function中，array沒有使用到numpy的broadcasting或是相關的函式，而只有單純的存取元素時，可使用memoryview的方式定義變數。

ipython parallel callback

使用apply_async()函式後，會回傳AsyncResult_object，因此原本我設想可以如同multiprocessing模組中的apply_async函式使用callback function來處理執行完成物件的訊息，

但是在ipython parallel的apply_async似乎不支援callback的用法，所以後來我在stackoverflow找到了一個簡單的處理事件完成的解法如下：

c = Client()
dview = c[:]
asyncs = [dview.map_async(f, [arg]) for arg in args]
while asyncs:
    for async in asyncs[:]:
        if async.ready():
            asyncs.remove(async)
            print async.result[0]

tmux resolution

在tmux執行程式，經常會遇到解析度的問題，比如說在A電腦的解析度是1366*768，而在B電腦的解析度是1920*1080，如果在A電腦登入遠端主機使用tmux後，再使用B電腦登入遠端主機使用tmux attach時，會發現tmux邊緣會有一大片空白。

解決方法是B電腦使用tmux時，使用tmux attach -d，(detach the client)，然後tmux就會依B電腦的解析度正確設定。

optimization solver

今天在測試J. Duchi, S. Shalev-Shwartz, Y. Singer, and T. Chandra, "Efficient projections onto the l 1-ball for learning in high dimensions," in  Proceedings of the 25th international conference on Machine learning, 2008, pp. 272-279.

這篇論文中的projection in simplex演算法，將該算法的結果，與直接用pyomo求解比較，該問題是quadratic programming(因為objective function is to minimize Euclidean distance between original vector and projected vector, 而constraint為convex set)。

使用pyomo求解時，solver使用了cplex, gurobi, and ipopt三種，cplex, gurobi與algorithm的結果一致，而使用ipopt時，答案居然有很大的誤差，看來商用軟體還是比較穩定。 

ipython parallel import

如果平行處理時需要import package時，可使用以下方式：

rc = Client(profile='ssh')

rc.block = True

dview = rc.direct_view()

dview.use_dill()

with dview.sync_imports():

   import numpy as np

# update dict

dview['np'] = np

dview['MyDerive'] = MyDerive

如果有自已定義的package(e.g. ipro)時，必須在每台機器設定PYTHONPATH，以保證可以直接在python當中import pro。

ipython parallel serialization

平行處理時，不論使用direct view或是loadbalance view, 物件序列化都是一個很麻煩的問題，後來找解法時，發現可以使用dill處理。

因為只有direct view支援use_dill() function, 如果loadbalace view也要使用dill時，可使用以下方法 (stackoverflow)。

rc = Client()
rc.direct_view().use_dill()
lv = rc.load_balanced_view()

如果要使用自定義的class時，還要考慮Data movement via DirectView, 否則無法呼叫class instance method,
class MyObject(object):

    def __init__(self, val):
        import os
        import platform
        self.name = platform.node()
        self.pid = os.getpid()
        self.val = val

    def run(self):
        return "{}, myobject {}_{}".format(self.val, self.name, self.pid)


def MyObjectrun(val):
    obj = MyObject(val)
    return obj.run()


def test_parallel():
    rc = Client(profile='ssh')
    rc.block = True
    print "nodes: {}".format(len(rc.ids))
    rc.direct_view().use_dill()

    rc.direct_view()['MyObject'] = MyObject
    lview = rc.load_balanced_view()
    res = lview.apply_sync(MyObjectrun, 10)
    print res

ipython parallel

• automatic setting: ipcluster
• manual setting: ipcontroller and ipengine

因為我們使用多台機器計算，所以使用ipcontroller and ssh方式設定。

設定profile

• $ipython profile create --parallel --profile=ssh
• 會在/home/chenhh/.ipython/profile_ssh/中建立許多設定檔

執行ipcontroller

• $ipcontroller --profile=ssh --reuse
• 必須指定profile=ssh才會讀取profile_ssh中的設定，否則預設讀取profile_default中的設定。
• --reuse指定重複使用json檔，否則每次執行ipcontroller時會生成新的json檔。
• 會在/home/chenhh/.ipython/profile_default/security/資料夾下生成ipcontroller-client.json與ipcontroller-engine.json兩個設定檔。 
• 將engine的設定檔以scp方式傳給engine
• scp /home/chenhh/.ipython/profile_ssh/security/ipcontroller-engine.json ./
• 而engine使用以下命令執行
• ipengine --file=./ipcontroller-engine.json

ipcontroller_config.py設定 

HubFactory

• c.HubFactory.ip = u'*' 
• #listen to all interface，此設定對應到ipcontroller-engine.json中的location內容。

IPControllerApp

• c.IPControllerApp.work_dir = u'/home/chenhh/.ipython/profile_ssh'
• c.IPControllerApp.profile = u'ssh'
• c.IPControllerApp.reuse_files = True

engine

• $ipython profile create --parallel --profile=ssh
• 使用scp chenhh@192.168.1.1:/home/chenhh/.ipython/profile_ssh/security/ipcontroller-engine.json /tmp 將檔案複制到/tmp資料夾下。
• $ipengine --file=/tmp/ipcontroller-engine.json --ssh=chenhh@192.168.1.1  --profile=ssh
• 注意一個ipengine只會對應到一顆cpu, 如果要使用多個cpu時，上述指令多執行幾次即可。

ipython

• from IPython.parallel import Client
• rc = Client(profile="ssh")
• 指定profile後，即可使用

debug

我的controller主機使用的zmq版本是4.0.4，而engine中，有一台的zmq版本是2.0.2，所以該台主機在連線時，一直出現heartbeat timeout。

解決方法：

• 首先將engine的zmq-dev版本更新為libzmq3-dev:amd64的版本。
• pip uninstall pyzmq
• 然後抓取pyzmq的source code, python setup.py install後，使用ipython。
• import zmq
• zmq.zmq_version_info(), 檢查版本是否正確，正確後即解決此問題。

TEJ股價調整方式

調整後股價＝原始股價×調整因子
調整因子＝當日之後所有〝調整係數〞累乘
調整係數＝除權參考價／（除權前收盤價－現金股息）

django manual release query objects

之前在寫程式的時間，會在程式當中直接使用django的ORM，但是在查詢大量資料後，發現記憶體被吃完了，原因是如果不是使用網頁的方式執行ORM, 必須自行手動使用 

https://docs.djangoproject.com/en/dev/faq/models/#why-is-django-leaking-memory

from django.db import reset_queries
reset_queries()

來清除query object cache, 使用後，記憶體的使用量就變正常了。

MPICH3.1安裝

• 已成功安裝在Ubuntu 14.04, Gentoo與Mint 16上，大部份機器使用icc/icpc與iort，部份機器使用gcc/gfortran。
• 所有軟體均安裝在/opt/mpich資料夾下。

安裝步驟：

1. 下載mpich3.tar.gz至/tmp目錄下並解壓縮
2. cd /tmp/mpich-3.1/
   ./configure --prefix=/opt/mpich 
3. make -j4 2
4. sudo make install (要注意sudo的environment會重設的問題)

設定PATH: 

• sudo vim /etc/bash.bashrc
• sudo export PATH="$PATH:/opt/mpich/bin"
• 確認PATH設定成功：mpicc

設定LDCONFIG:

• sudo touch /etc/ld.so.conf.d/mpich.conf
• sudo echo "/opt/mpichbin" >> /etc/ld.so.conf.d/mpich.conf
• sudo ldconfig
• 確認ldconfig設定成功：ldconfig -p|grep mpich

sudo的PATH重置問題

sudo在執行的時候預設會重置PATH環境變數
而不是使用root的PATH環境變數.

例.以root帳號開啟終端機(需先修改PATH讓他跟預設不同)
$env
PATH=/root/cbin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/X11R6/bin

$sudo env
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/X11R6/bin

看出差別了嗎?
root帳號有我自己加進去的/root/cbin
而用sudo去執行就沒有,因為他會重置成/etc/login.defs裡面的設定

方法1:在.bashrc設定alias,在sudo時帶入PATH環境變數(僅套用至目前帳號) 
$nano ~/.bashrc
加入以下這行
alias sudo='sudo env PATH=$PATH'

方法2:直接修改login.defs(影響全系統)
$nano /etc/login.defs

在這兩行修改成自己想要的
ENV_SUPATH      PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
ENV_PATH        PATH=/usr/local/bin:/usr/bin:/bin:/usr/games

方法3:關閉重置環境變數的設定(影響全系統) 
$visudo
打開sudo設定檔,加入或修改以下這行
Defaults    !env_reset


方法4:設定保留PATH環境變數的設定(影響全系統) 
$visudo
打開sudo設定檔,加入或修改以下這行
Defaults    env_keep = "PATH"

snmp安裝，設定

情前提要
再使用網路管理軟體前，需要先取得系統各個資訊，以此為目我們需要安裝一些套件，下列為套件名稱 

1. snmp 
2. snmpd
3. snmp-mibs-downloader

套件介紹

1. snmp這是一個通訊協定可以取得系統的資訊
2. snmpd可以透過此套件直接下達指令驗證取得資訊
3. snmp-mibs-downloader 如果只用上述兩種軟體下達指令，會得到數值排列的訊息，為了更好了解這些數值排列的意思就有所謂的mib套件，就如同IP有DNS一樣的意思

使用的系統
system ubuntu 12.04 LTS

安裝方式
apt-get install snmp snmpd snmp-mibs-downloader

確認後就可直接安裝

確認安裝版本
dpkg -l | grrp snmp


檔案配置
下列為需要配置的檔案
/etc/snmp/snmpd.conf
/etc/snmp/snmp.conf
/etc/default/snmpd

配置方式
/etc/snmp/snmpd.conf
設定snmpd.conf，這是有關連線、監控方式有關，為了簡化操作，我們只配置三行
首先將原始檔案更名，作為備份用
mv /etc/snmp/snmpd.conf /etc/snmp/snmpd.conf.bk
建立相同檔名
vi /etc/snmp/snmpd.conf
寫入下列三行
#讓外部是否有連進來的權利，public是關鍵字串，就像是通關密語
rocommunity  public
#設定你的名稱，這裡的名稱不是hostname，是位置
syslocation  varnish
#聯絡人
syscontact  admin@chin.com.tw


/etc/snmp/snmp.conf
這是要設定的是跟mib有關，需要註解一行即可
#mibs :
註解這行是因為要讓snmp抓到的是名稱


/etc/default/snmpd
這裡配置剛剛設定的snmpd.conf，以及可以設定可以連線的網域/網址
可以將原本的 SNMPDOPTS註解掉加入這行

SNMPDOPTS='-Lsd -Lf /dev/null -u snmp -I -smux -p /var/run/snmpd.pid -c /etc/snmp/snmpd.conf  0.0.0.0'

加入也是要了解這些的作用有哪些，主要加入下列一行，加入snmpd.conf 配置檔 ，可存取的來源位置
-c /etc/snmp/snmpd.conf  0.0.0.0

驗證程序
可以透過指令的方式確認是否有啟動snmp 服務

snmpwalk -v 2c -c public localhost system

指令說明
snmpwalk 取得所有SNMP物件
-v 2c 設定版本
-c public 設定通行指令
localhost 位置(ip也可以)
system 以MIB字串方式顯示

Gentoo編譯scipy(with intel MKL)

在gentoo安裝好mkl後，依照官方的說明
http://software.intel.com/en-us/articles/numpyscipy-with-intel-mkl
依序安裝numpy, scipy,
在numpy的部份順利完成，但是在scipy的部份，安裝完後使用
import scipy時，出現

ImportError: /usr/lib64/python2.7/site-packages/scipy/sparse/sparsetools/_csr.so: undefined symbol: __intel_sse4_strlen

原因如下,C/C++ 有完整的「編譯 -> 連結 -> 執行」三個階段, 各階段都可能發生 undefined symbol。在解決惱人的 undefined symbol 前, 得先明白整個編譯流程:

1. 編譯 .c / .cpp 為 .o (object file) 時, 需要提供 header 檔 (用到 gcc 參數 -I)。事實上, 在編譯單一檔案時, gcc/g++ 根本不在意真正的 symbol 是否存在, 反正有宣告它就信了, 所以有引對 header 即可。這也是可分散編譯的原因, 程式之間在編譯成 .o 檔時, 並沒有相依性。
2. 用 linker (ld 或 gold) 將 *.o 連結成 dynamic library 或執行檔時, 需要提供要連結的 library (用到 gcc 參數 -L 指定目錄位置, 用 -l 指定要連什麼函式庫)。不同於前一步, 此時 symbol 一定要在。
3. 執行的時候, 會再動態開啟 shared library 讀出 symbol。換句話說, 前一個步驟只是檢查是否有。檢查通過也連結成 executable 或 shared library 後, 若執行時對應的檔案不見了, 仍會在執行期間找不到 symbol。若位置沒設好, 可能需要用 LIB_LIBRARY_PATH 指定動態函式的位置, 但不建議這麼做, 最好在執行 linker 時就指定好位置。

就看 undefined symbol 發生在那個階段, 若是編 object file 時發生, 就是沒和編譯器說 header 檔在那, 記得用 -I 告訴它。若在 linking 時發生, 就要同時設好 -L 和 -l。不過難就難在要去那找 undefined symbol 的出處。

因為我的問題是發生在執行時間，所以屬於第３類。
首先使用nm _csr.so或是objdump -x _csr.so確認連結。

而 __intel_sse4_strlen定義在
/opt/intel/lib/intel64/libirc.so
/opt/intel/lib/intel64/libiomp5.so

#使用ldconfig -p確認mkl設定（需root權限）
＃ldconfig -p|grep mkl
 libiomp5.so (libc6,x86-64) => /opt/intel/composerxe/lib/intel64/libiomp5.so
libirc.so (libc6,x86-64) => /opt/intel/composerxe/lib/intel64/libirc.so

#檢查檔案的格式
$file _csr.so

_csr.so: ELF 64-bit LSB shared object, x86-64, version 1 (SYSV), dynamically linked, not stripped

#使用ldd -r查看缺少的symbol
$ldd -r _csr.so

linux-vdso.so.1 =>  (0x00007fff207ff000)
        libpython2.7.so.1.0 => /usr/lib64/libpython2.7.so.1.0 (0x00007f3757ffe000)
        libstdc++.so.6 => /usr/lib/gcc/x86_64-pc-linux-gnu/4.5.3/libstdc++.so.6 (0x00007f3757cf4000)
        libm.so.6 => /lib64/libm.so.6 (0x00007f3757a72000)
        libgcc_s.so.1 => /usr/lib/gcc/x86_64-pc-linux-gnu/4.5.3/libgcc_s.so.1 (0x00007f375785c000)
        libc.so.6 => /lib64/libc.so.6 (0x00007f37574d2000)
        libpthread.so.0 => /lib64/libpthread.so.0 (0x00007f37572b5000)
        libdl.so.2 => /lib64/libdl.so.2 (0x00007f37570b1000)
        libutil.so.1 => /lib64/libutil.so.1 (0x00007f3756ead000)
        /lib64/ld-linux-x86-64.so.2 (0x00007f37587e8000)
undefined symbol: __intel_sse4_strlen   (./_csr.so)
undefined symbol: _intel_fast_memset    (./_csr.so)
undefined symbol: _intel_fast_memcpy    (./_csr.so)
undefined symbol: __intel_sse4_strncmp  (./_csr.so)
undefined symbol: __intel_sse4_strcpy   (./_csr.so)
undefined symbol: __intel_sse4_strncpy  (./_csr.so)
undefined symbol: __intel_sse4_strcat   (./_csr.so)

解法方法：
首先在編譯scipy時，使用以下的指令：

1. python setup.py config --compiler=intelem --fcompiler=intelem build_clib --compiler=intelem  --fcompiler=intelem build_ext --compiler=intelem --fcompiler=intelem install >>build.log
   將編譯時期的log寫進build.log中
2. cat build.log|grep _csr.so, 可得到
   c++ -shared build/temp.linux-x86_64-2.7/scipy/sparse/sparsetools/csr_wrap.o -L/usr/lib64 -Lbuild/temp.linux-x86_64-2.7 -lpython2.7 -o build/lib.linux-x86_64-2.7/scipy/sparse/sparsetools/_csr.so
   copying build/lib.linux-x86_64-2.7/scipy/sparse/sparsetools/_csr.so -> /usr/lib64/python2.7/site-packages/scipy/sparse/sparsetools
   由於已知道是linking的時候有問題，所以在scipy目錄下，將上述編譯指令改成：
   c++ -shared build/temp.linux-x86_64-2.7/scipy/sparse/sparsetools/csr_wrap.o -L/opt/intel/lib/intel64 -L/usr/lib64 -Lbuild/temp.linux-x86_64-2.7 -lpython2.7 -lirc -o build/lib.linux-x86_64-2.7/scipy/sparse/sparsetools/_csr.so
3. 完成編譯後，將編譯完成的檔案拷貝到系統目錄下(需root權限)
   cp build/lib.linux-x86_64-2.7/scipy/sparse/sparsetools/_csr.so /usr/lib64/python2.7/site-packages/scipy/sparse/sparsetools
4. 全部完成後，使用import scipy.sparses(scipy.stats)來確認問題解決。

除了_csr.so之後，還有幾個檔案_csc.so, _coo.so, _dia.so, _bsr.so, _csgraph都是用上述方法解決。

_bsr.so除了-lirc外，還需加上-lsvml.

快速取出matrix diagonal element方法

n = 1000
c = 20
a = np.random.rand(n,n)

a[np.diag_indices_from(a)] /= c # 119 microseconds
a.flat[::n+1] /= c # 25.3 microseconds

#取出off diagonal的方法

 np.delete(a, a.ravel()[::n+1])

iptables保存

iptables的設定在在每次重開機之後就會消失

所以設定完後可以用iptables-save將設定檔存起來，如：

sudo iptables-save > /etc/iptables-rules

但是存起來之後，他並不會幫你在每次重開機都讀那個檔

所以還要再設定，修改/etc/network/interfaces，最後面加上：

pre-up iptables-restore < /etc/iptables-rules

fast rolling window

假設有兩個array S1 (size m), S2 (size n), m>n，要計算S2相對於S1的滑動函數值(如mean或是std等)，一般的做法是使用loop實作，但是python的迴圈速度相當的慢，所以建議使用numpy strides的功能來加速，在測試當中，計算stdev大約能夠加速100倍，程式碼如下：

def rolling_window(a, window):

    shape = a.shape[:-1] + (a.shape[-1] - window + 1, window)

    print shape

    strides = a.strides + (a.strides[-1],)

    return np.lib.stride_tricks.as_strided(a, shape=shape, strides=strides)

def test_rolling_window(winsize=3):

    import time

    t = time.clock()

    observations = np.random.randn(1000)

    np.std(rolling_window(observations, winsize), 1)

    print "strided %.6f secs"%(time.clock()-t)

    t = time.clock()

    for idx in xrange(winsize, len(observations)):

        np.std(observations[idx-winsize: idx])

    print "loop %.6f secs"%(time.clock()-t)

原理在此篇文章當中有詳細的描述 ：
http://chintaksheth.wordpress.com/2013/07/31/numpy-the-tricks-of-the-trade-part-ii/

numpy multiply broadcast by column

假設array a的size為(2,5)，array c的size為(2,)，如果要做elementwise multiplication時，我的做法:
(a.T*c).T
但是這個做法需要寫到兩次transpose，式子變長時不易理解。

後來在trace別人的code時，看到了以下的寫法:
a*c[:, np.newaxis]
即可達到相同的效果，且較容易理解。

[Theano] 在Eclipse中使用GPU執行程式

首先在{HOME}下建立.theanorc檔案，內容如下：
 [global] floatX = float32
 device = gpu0 
 [nvcc] fastmath = True 
存檔後，退出至{HOME}中。 
輸入nvcc指令測試cuda套件是否已經安裝完成。 

然後到eclipse隨便建立一個python檔，import theano後，執行該程式， 此時可能會出現以下錯誤：
 ERROR (theano.sandbox.cuda): nvcc compiler not found on $PATH. Check your nvcc installation and try again.

 這是因為eclipse的pydev套件使用的PATH變數與linux中不同，
用以下指令修正：
 window->preferences->PyDev->Interpreter-Python->Environment->New-> Name: PATH, Value: ${env_var:PATH}:/usr/local/cuda-5.0/bin 

設定完成後，可在python檔使用
 import os 
print os.environ['PATH'] 
 確定環境變數修改完成。