定义 长度为 m 的字符串对应的 suffix tree 是一个“有向的 tree”（所谓有向指跟随从 root 出发的 path）：

• 每条边上有 label（字符串里面的几个字符）且从一个节点出发边的 label 没有相同的首字母；
• 每个非 root 节点至少有两个子节点；
• 它有 m 个 leaf，每条从 root 到 leaf 的 path 上所有边组成字符串对应于这个字符串的一个suffix，这样我们可以对每个 leaf 进行编号，对应着字符串从第 i 个字符开始的 suffix；

这个定义存在的问题是如果字符串的某个后缀与其另一个后缀的前缀匹配，则会出现问题：因为前者是后者的前缀，两个 suffix 会共用一个 path，这导致前者对应的不是一个 leaf。解决这个问题一般通过引入特殊字符（不在 alphabet 里面）作为字符串的终止符（比如 C/C++ 的字符串终止符为 0×00），这样前面说的情况短的 suffix 加上这个特殊字符是不可能作为另一个 suffix 的前缀的，这样比如 xabxa 里面的 xa 是 xabxa 这个后缀的前缀，加入 $ 这个终止符后 xa$ 就不是 xabxa$ 的前缀了，这样对应的节点肯定是在 xa 之后接上 $ 和 bxa$。

如果有 suffix tree 如何做 string matching 呢？

• 首先对待搜索字符串 T 进行处理建立 suffix tree，这个可以在 时间内搞定（后面会介绍做法）；
• 长度为 n 的搜索串 P 在 T 中当且仅当它出现在 T 的某个 suffix 中，因此，我们只需要看看 P 是不是出现在某个 root path 就行了，如果没有表示 P 没有被找到，如果有则所有共享这个 prefix 的 path 都是搜索结果；
• 由于每个 root path 都有对应 suffix 的编号，我们就能知道 P 出现在 T 的什么位置了；

这样我们可以在 的时间内找到所有 P 出现的位置。

那么如何建立一个 suffix tree 呢？比较土的想法就是通过 recursion，对于长度为 m 的字符串，我们去掉第一个字符，把问题规约成 m – 1 长度的字符串。我们知道：

• 如果长度为 1，获得 suffix tree 就是单边，两个节点（root 和一个 leaf）的树；
• 如果我们有了一个 m – 1 字符串对应的 suffix tree，新增加一个字符，这会新增加一种 suffix：
  • 如果该字符不是任何 m – 1 个 后缀的 prefix（也就是说没出现在后面 m-1 个字符中），那很简单，直接增加一个 node，对应的边是整个新的字符串就行了；否则
  • 我们将整个新的字符串沿着 m-1 个字符的 tree 走下去，因为第一个字符出现过，所以肯定能走下去，一直碰到某个无法匹配的位置，这时我们把对应边上的 label 截断，放置一个新的 internal node，然后将原先剩余的部分连接到这个 internal node 到原先 child node 的边上（这部分保持原先的 path 不变）；产生一个新的 leaf node，将新的 internal node 与之相连，对应边是长度为 m 的字符串剩余的部分。

但是这个算法的时间复杂度为 。另外，我们也可以将这个过程“正”过来，首先创建一个仅含有两个 node 的 suffix tree，边为整个字符串，然后我们将剩下的 suffix 一个一个插入这个 tree，

• 如果首字母不匹配，我们就直接创建新的 leaf，并与 root 连接；
• 如果匹配，则找到最长的匹配，然后截断这个 edge 上的 label，创建新的 internal node：将新的 internal node 与原先的子 node 连接，边上为截断后剩余的 label；创建新的 child node，将此时 suffix 对应剩余部分作为连接 internel node 到此 child node 的边的 label；

实现的时候后者可以两种情况写在一起：计算 share 字串（prefix）的长度，在 share 部分创建一个新的 internal node（如果需要的话），后面的产生新的 leaf 都是一样的。

如果想把这个算法 improve 到线性，我们需要 Ukkonen’s algorithm（其他的选择有 Weiner’s algorithm，McCreight’s algorithm）。

换一个角度，suffix tree 本质上就是一个将 suffix 用 trie 结构存储的索引，这个索引对很多问题都有帮助。因此实现的时候可能需要实现一个 generic 的 trie，然后在此基础上获得 suffix tree。不知道这个东西（以上各个算法）是否设计成为一个 generic algorithm 存在还是得设计成别的什么。trie 作为一个 container 或者 underlying 数据结构。

另外一种类似的数据结构是所谓 suffix array，简单的说我们可以将所有的 suffix 组成一个数组，sort 一下（按照字典序），我们为每个 suffix 保持它的编号，以及与前一个 suffix 共同的元素个数。对应也有一些更加快捷的生成方式，这是依赖 suffix tree 获得的。

搜了一下，似乎 boost 里面很早就有人试图引入 suffix tree，但是没见到后文了。网上能找到的一些实现如比较早的，C 的版本感觉局限性比较大（libstree 与这个），有两个 C++ 的但是估计不是利用 template 写的（SuDS 的 cst 与这个）。

——————
And Abram said to Lot, Let there be no strife, I pray you, between me and you, and between my herdsmen and your herdsmen; for we be brothers.

• 的 regularizer 的相关研究，如 LAR、SCAD、Dantzig selector、FS 等等。
• spline、wavelet、SURE 以及相关的泛函分析方面的结论。
• Vapnic 的 SRM；
• GBDT 的原始文献，实现细节等
• Bayesian neural nets
• SVM 的实现
• FDA、MDA 这类降维算法
• associate rule 的实现
• 主曲线相关文献
• Gaussian graphical model 及其相关
• multiple testing
• FDR 与 Benjamini-Hochberg procedure

后面我们将一个一个的通过文献来说明这里面的神奇之处。

——————–
And there was a strife between the herdsmen of Abram’s cattle and the herdsmen of Lot’s cattle: and the Canaanite and the Perizzite dwelled then in the land.

新人登场

交杯酒

倒香槟

点蜡烛

再次恭喜两人啦~

——————
And the land was not able to bear them, that they might dwell together: for their substance was great, so that they could not dwell together.

无向图模型与 Bayesian belief network 有着不同的统计性质，比较重要的有其定义的等价表述，另外还有表示定理（Clifford-Hammersly 定理）告诉我们一般意义下的无向图模型对应的基本形式。ESL 在这方面介绍的不是特别详细。并且主要注重介绍连续变量下并且只有二阶关系的情况（因此是简化的模型，如 3-clique 分解成为三个 2-clique 的乘积其实是对模型的简化），这也称为 pairwise Markov graphs，比如 multivariate Gaussian 可以看成一个无向图模型，其变量间的相关性（二阶）就能刻画对应的条件独立性（对这种情况不相关等价于独立）。

比较重要的结论是通过协方差矩阵 的逆 可以刻画这个 graph 的边是否存在（如果 对应元素为 ，则对应的边不存在）。这样对于 MLE 估计来说，如果已知 graph structure，就会引入 上的约束，这往往通过 Lagrange multipliers 来进行求解。求解过程最后仍然是规约到线性回归问题，但是带有线性约束。

如果 graph structure 本身也是未知的，一种可能的策略是在 negated log-likelihood 上加上 的 regularizer，利用 lasso 将非零的 元素选择出来。这样我们就获得了需要的 graph structure。利用 LARS 这类方式可以获得整个 regularization path，这样我们就可以看到随 regularization coefficient 的变化导致图的边的增加过程。

对离散变量来说，经典的 undirected graphical model 就是 Boltzmann machine，这是一个 clique，其简化的版本有所谓的 restricted Boltzmann machine。Geoffrey Hinton 提出了所谓的 contrastive divergence 给出了一种训练 RBM 的方案。对于 BM 自己，一般策略有 simulated annealing，IPF（iterative proportional fitting），或者近似的策略如 mean field approximation 或者 Gibbs sampling。

这一章应该是非常理论化的，不过看完觉得写得比较概述，后面看一些相关 paper 可能比较有帮助。

高维问题

这部分讨论的是样本维数大于样本数这种情况下使用的一些策略。第一个策略就是使用 regularization 避免过多的 feature 参加了 fitting，如 regression 问题我们引入的 degree of freedom 就是一个很好的例子，控制模型的 degree of freedom 就能从某种程度避免以上问题。可以选择的 regularizer 一般是 或者 ，后者可以利用类似 LARS 的方法进行求解。

另一种策略是使用 supervised principal components，这实际上是直接用单 feature 对目标进行回归，只有作用足够明显的（系数绝对值足够大）feature 参加到最后的 principal components 里面。

另外一种从统计方法来说，选择 feature 是一个所谓 multiple testing 问题，使用的一个准则可以是 FWER（family-wise error rate），但是这并不容易操作，可以操作的有所谓 FDR（false discovery rate），这通常使用 Benjamini-Hochberg 过程（基于 p-value 的方法）来进行测试。

最后一种策略是比较有意思的，不过作者似乎都是为了求解 bioinformatics 问题设计的策略。这部分也相对比较偏 theory，同样需要看一些相关的 paper。

至此这本书基本重新读完，某些章节还是欠了不少债的。下面开始还债啦…

—————–
And Lot also, which went with Abram, had flocks, and herds, and tents.

经测量火车行程为 118km。

与火车相比似乎走的更接近直线，但是注意这里很早就离开了高速公路（绿色线条），从京珠高速的泉口站下来，然后途径官塘和中伙，到达新站，靠近赤壁火车站。

本地的 4 路车行程，可见公交车为了拉客多绕了几个弯子...

北京到武汉有四趟 Z 车，两趟停武昌，两趟停汉口，如果你需要在两边换车，可乘 10 路车，路线如上。另外汉口站有 610 到高铁站。

嗯... 不解释了...

——————–
To the place of the altar, which he had make there at the first: and there Abram called on the name of the LORD.

• holux M241 的背光灯能否关掉？拆了肯定是 ok 的，就是不知道怎么 hack 一下那个 firmware… 主要的问题是在火车上不知道为啥背光灯会不停的闪烁，刚刚上火车的时候似乎没看到闪烁，但是时间长了似乎就开始闪烁了，也不清楚什么原因，感觉不像是搜星出现问题，因为即使没有显示 GPS searching 的时候也会闪烁。
• 带有 GPS 坐标的 jpg 文件是否有一个 firefox 之类的插件能够让对应的信息变成一个小地图 show 在照片边上呢？当用户的鼠标悬停的时候显示出来。尽管 firefox 的 Exif Viewer 可以显示一些相关信息，但是非要开一个新窗口，这个 UI 太傻了… 前面两次上传的照片均有 GPS 坐标，有机会可以试试看哈…
• M241 记录距离似乎只能显示 999.99km 以内的，不知道能不能把这个限制突破掉？
• iPad 越狱之后怎么避免 installous 安装的程序（ipa）不被 itunes 删除？
• 另外一个就是 iFile 浏览 ~/Applications 的时候怎么能把程序名字显示出来而不是那串类似 UUID 的东西？现在只会到 terminal 里面去 find，但是实在是太傻了。这个还是挺有用的功能，前面找了两个 RMVB 用 AcePlayer 从 SMB 里面下载的，结果却无法播放，只能用 QQ 影音播放，这时可以直接 cut and paste 就可以了。
• iPad 上各种应用里面最顶级的 app 是什么？这个问题比较 broad，其实 iPad 上面有一些应用感觉还是 killer application 的，写程序肯定不是（也许学习 lua 还行？），不过感觉就算写程序，也可以拿去面试用的 -,- 这个是不是太邪恶了… 个么稍微列几项看看：presentation，video/music player，pdf reader，RSS 以及 social，放松用的小游戏，bluetooth 应用（如通过 M241 获得 GPS 坐标进而实现导航 or 显示搜星的信息等），邮件，密码管理，菜肴。
• iPad 上到底能不能装 gcc，我依照某文装了一个，结果似乎不好用 -,-
• iPad 似乎可以作为一个 wifi AP 用还是怎么，现在似乎没法装 mywi…
• iPad 上 cydia 似乎默认使用的几个 repository 都是收费的？那是不是说 jailbreak 只是打开了另外一条“安装收费软件的路径”，然后某些邪恶源将这些收费软件进行破解？
• GF2 的 firmware hack 啥时候出来？可能只是时间问题？

——————
And he went on his journeys from the south even to Bethel, to the place where his tent had been at the beginning, between Bethel and Hai;

记得很小的时候跟 bb 跑到这边来玩。

今天空气能见度还比较高。

与往年拍的陆水河的差别是现在尽管是枯水期，河水仍然有一定的高度，往年拍出来都是河中间的各种砂石形成的小岛什么。

感觉不像是苔藓，或者不是记忆中的？也许是被晒干了？

虽然下过很多天了，但是还是有一点点积雪剩了下来。

觉得 SP90 还是很不错的镜头，这个感觉层次感不错，几个色带分明。不知道是不是可以研究下怎么用此头挂机。

这是在墙上的一绺苔藓。

远处还是有一些看不清楚，比起前两天还是好多了。

几年前还在这里游泳...

小朋友居然怕高 -,-b

跟姥爷牵牵手还不耐烦的小朋友。

嘻嘻，小朋友都很喜欢蛐蛐呢~ 就是 180 不知道为啥逆光表现有些让人失望

很肥啊！

本来想抢个背影的...

前几天还有雪的...

——————
And Abram was very rich in cattle, in silver, and in gold.

• 先是在公司里面第一次尝试，结果结束后，点开 absinthe 却打不开页面，说是要去点开某 VPN；结果点了 N 次，均没结果。
• 回到家之后类似方法在另一台 iPad 上成功搞定，整个过程不到 5min。
• 觉得是不是 Win 版的越狱软件更牛 b，然后继续用破解这个 iPad 的程序处理我的 iPad，继续无果
• 然后怒了，直接 restore 了我的 iPad，但是后来为了跟 mm 聊天装了个 skype，才开始破解，居然还是无果；
• 最后干脆继续 restore，啥都没做直接 jailbreak，成功了。

感觉整个过程挺奇怪的。anyway 弄好了之后出现了 absinthe 点开 iPad 崩溃，重启变成了 cydia。cydia 其实是一个类似 deb 包管理的工具，与 aptitude 等类似。因此很重要的就是搞到一些 repository，也不知道哪些软件源比较合适，于是在网上随便搜索了一次。首先装的是一个 installous，通过它可以安装许多被 crack 的软件。installous 和 cydia 的区别感觉是前者安装的程序可以通过正常的方式删除（比如在界面上长按然后点叉），后者安装的比如 iFile、Remote terminal 这类工具都是不能直接删除的。

比较奇怪的是第一次和 macbook 上的 itunes 同步的时候好像 itunes 删掉了所有通过 installous 安装的程序导致我非常恼火。也不知道第二次同步会不会再出现类似的事情。下面是一些 jailbreak 之后安装的工具，现在还没搞清楚怎么用，但是觉得有时间可以玩玩。

• remote terminal 提供了一个 bash，不过似乎不支持我的蓝牙键盘上的 ctrl。一个基本的设想是通过 iPad 上面的基本环境，装一些编译器之类的东西，这样是不是可以在上面写程序了？
• codea，据说是写程序的，原来叫 codify，装了一个，好象是基于 lua 的编程，不懂ing…
• goodreader 和 pdf-notes，个人比较喜欢 pdf notes 的阅读和 goodreader 的网络传输能力。
• 另外似乎和 AcePlayer 类似有个 goodplayer，不知道优缺点；
• omnigraffle 终于装了一个，以后可以尝试用它画图了…

别的什么也不知道有什么了，大家赶紧推荐软件吧… 似乎 iphone 上面相关的 hack 多一些。

——————
And Abram went up out of Egypt, he, and his wife, and all that he had, and Lot with him, into the south.

由于过年的鞭炮导致梅花上面落满了灰尘，脏兮兮的...

腊梅 again

据说是晚桂，但是没闻到什么味道。

180 这种镜头拍全身景深控制也很牛啊...

——————
And Pharaoh commanded his men concerning him: and they sent him away, and his wife, and all that he had.

最近北京空气质量真是差的可以，基本天天都是雾里云里。今天似乎放晴了，可能是因为风大吧！

希望前面这么折腾的一段时间产生的消极影响尽快褪去，该干啥干啥 -.-b 这种感觉就跟被什么东西抽干了一样，实在不愿意继续这样了。

哎，前面这周写个简单的程序都搞了很久，可见效率多低下了 nnd…

anyway… be focused, try hard and relax

BTW：最近又上了一下 dreamtimes，原先传上去的两张依旧没有买家，于是新传了三张，其中一个 review 的意见是请把 CCD 上的灰产生的 stain 弄掉然后 resubmit，这是说 post processing 做得不到家么？我倒… 要这样很可能 SP90 这个便宜的镜头是能在那上面传上照片的“唯一”镜头了。其他的镜头似乎到现在都谬产生明显经济效益的可能性，哈哈。从另外个角度来说，以后也许应该随身带着 SP90，专攻微距。其实微距这种一般算是苦力活，器材到位之后，剩下的就是耐心和机缘了。

也许其他的镜头主要解决了一些别的问题，比如旅游、开会什么的。其实 50mm 的镜头也曾经产生一些隐形的经济效益，比如签证照片，有机会的话，大规模的拍摄一次，也算能捞一笔这个费用吧。照理说现在焦段覆盖的也足够广了，可以看看哪些焦段收益率可以发掘下了哈…

不过商业图片社的意见的确都很到位，哎挂上去几张看看有谬中奖的可能好了，mm 说的器材见涨，水平不见长看起来基本上是对的，除非真的有人买单…

——————
Why said you, She is my sister? so I might have taken her to me to wife: now therefore behold your wife, take her, and go your way.

想得我肠儿寸断
望得我眼儿欲穿
好容易望到了你回来
算算已三年
想不到才相见
别离又在明天
这一回你去了几时来
难道又三年

左三年
右三年
这一生见面有几天
横三年
竖三年
还不如不见面
明明不能留恋
偏要苦苦缠绵
为什么放不下这条心
情愿受熬煎

tears~

——————-
And Pharaoh called Abram and said, What is this that you have done to me? why did you not tell me that she was your wife?

Santa Cruz 海滩

180 度接图

唯一一张能看的夜景...

这也是一个 180 度接图。

门口说只有 g 家人才能进 -,-b

——————-
And the LORD plagued Pharaoh and his house with great plagues because of Sarai Abram’s wife.

松了一口气，因为决定差不多已经做掉了，后面的就是为此努力了。最近事情还是不少的，计划大体如下：

• 算法方面的一些东西，一个是 suffix tree 及其应用，另一个是近似算法，两本书，感觉一天弄明白一个小的 topic 挺合适的；
• 尽快搞定 ESL 和计算广告学，然后开始做习题以及接触一些线上实现；
• 疯狂 coding 吧 -,-b

嗯… 回到正轨。

—————–
And he entreated Abram well for her sake: and he had sheep, and oxen, and he asses, and menservants, and maidservants, and she asses, and camels.

大约 10 公里的路程，大巴走了 1h。

今年感觉没有什么码农专用节目，比较失望。饭菜也比较一般，我们这桌基本是上一份干掉一份。

人比去年多多了，可是大部分都不认识了。

灯紫酒红

每个观众都发了一些小道具，比如发光的棒子和闪光的星星。

这位同志在昏暗的场所看小说看得津津有味。

穿过舞台烟雾的追光灯

——————
The princes also of Pharaoh saw her, and commended her before Pharaoh: and the woman was taken into Pharaoh’s house.

但是多数 STL 算法都会使用一对 iterator 表达 range 这个概念，事实上 range 比起 iterator 有一些自己的特点。

• range 有时候并不需要依赖于特定的容器，而 iterator 表示 range 限定只能对容器使用 algorithm；

对应于 iterator 的组织方式，boost.range 也包括了类似的 concept，并可以用 boost.concept_check 进行 compilation time 检查。最基本的是所谓 single pass range，它提供基本的定义如 range_iterator<T>::type 和 range_iterator<const T>::type，并可以用 begin 和 end 获得对应范围（都是左闭右开）的 iterator。对此 range 的 refinement 是 forward range 对应着 forward iterator，此时可以 ++ 获得下一个元素，因此对应的产生了所谓距离，对应于 range_difference<T>::type 和 range_size<T>::type。然后添加了 — 的 bidirectional iterator 对应 bidirectional range 增加了 reverse_range_iterator<T>::type 与 reverse_range_iterator<const T>::type，也因此支持 rbegin() 与 rend()。对 random access iterator 来说支持 +，而对应的 random access range 来说增加了 size 的语义。

就其组织来看 boost.range 提供了一些 range，另外更重要的是提供了所谓的 adaptor，并在 range 的基础上实现了基于 range 的 algorithm。

adaptor 的作用在于将 iterator 变成 range 的 interface，它们可以对 STL 的容器作用产生对应的 range，作者提供了一种基于 operator| 的语法风格，可以更加简洁的表达 range。通过 adaptor 之间的组合，我们实际上是在原先的 iterator 上套上 boost.iterator 里面类似的 iterator 实现如 reverse、unique 等操作，这样更有效率、更灵活也更安全。boost.range 提供了以下 adaptor：

• adjacent_filtered 将相邻同样的 iterator 过滤掉的 range；
• copied(n, m) 获得从第 n 个起一共 m 个的 range；
• filtered(pred) 获得符合 pred 的 range；
• indexed 返回的 iterator 支持 index() 方法，如对 std::vector 返回的 index 是下标，对别的关联容器是 key；
• indirected 是假定 range 对应的对象本身是类似指针的东西，需要先通过 operator* 之后才能使用；
• map_keys 和 map_values 返回关联容器的对应部分
• replaced(o, n) 将 o 换成 n
• replaced_if(pred, n) 将满足 pred 的替换成 n
• reversed 反向
• sliced(n, m) 从第 n 个到第 m 个；
• strided(n) 从第 0 个开始，步长为 n；
• type_erased 是一个 template，一般并不需要显式调用，因为可以用 any_range 进行隐式转换，主要为了强调转换的 range 类型时使用；
• tokenized 可以利用一个 regular expression 将对应容器里的“字符”组织成为 token，作用和 regex_token_iterator 是一样的；
• transformed(fun) 将利用 fun 进行转换获得新的值；
• uniqued 将进行去重（de-dup）

提供的 range 类型有 any_range、counting_range、istream_range 与 irange（整数类型的）。提供的算法与 STL 的 algorithm 类似，可以分为下面几类：

• mutating algorithm（会改变原 range 的内容）：copy(_backward)、fill(_n)、generate、(inplace_)merge、nth_element、partial_sort、(stable_)partition、random_shuffle、remove(_if, _copy, _copy_if)、replace(_if, _copy, _copy_if)，reverse(_copy)、rotate(_copy)、(stable_)sort、swap_ranges、transform、unique(_copy)；
• non-mutating algorithm（不改变原 range 的内容，返回值）：adjacent_find、binary_search、count(_if)、equal(_range)、for_each、find(_end, _if, _first_of)、lexicographical_compare、(lower_, upper_)bound、(max_, min_)element、mismatch、search(_n)；
• set algorithm 包括 includes、set_union、set_difference、set_intersection、set_symmetric_difference；
• heap 操作包括 push_heap、pop_heap、make_heap 和 sort_heap；
• permutation 操作包括 (next_, prev_)permutation；
• numeric 类型的操作包括 accumulate、adjacent_difference、inner_product 与 partial_sum

我们可以通过下面简单的程序看看使用 range 与标准的 iterator 之间的区别。

#include <boost/range/irange.hpp>
#include <boost/range/algorithm/copy.hpp>
#include <iostream>
#include <algorithm>
#include <iterator>
#include <vector>

int
main (int, char**) {
  boost::copy (boost::irange<int> (0, 5),
               std::ostream_iterator<int> (std::cout, " ")) ;
  std::cout << std::endl ;

  auto r = boost::irange<int> (0, 5) ;
  std::copy (boost::begin (r), boost::end (r),
             std::ostream_iterator<int> (std::cout, " ")) ;
  std::cout << std::endl ;

  std::vector<int> v ;
  boost::copy (boost::irange<int> (0, 5), std::back_inserter (v)) ;

  return 0 ;
}

——————
And it came to pass, that, when Abram was come into Egypt, the Egyptians beheld the woman that she was very fair.