讨论几个 model

嗯,最近一些 paper 上面的关于 CTR 的 model,稍微介绍下。

类似 LDS 的一个 model

假定观测到的 click 和 view 对应的 CTR 是 \lambda_t,我们对其进行变换,y_t = \log \frac{\lambda_t}{1 - \lambda_t},我们有如下的 Bayesian belief nets,

dynamic Linear Growth model

这个 model 与 HMM 有一些类似,观测 y_t = o_t + \mu_t + \epsilon_t,其中 o_t 是 time-of-day 的 bias,是预先给定的常数,然后 \epsilon_t 是 0 均值方差为 Vw_t 的噪声,其中 w_t = (c_t + 1/2)^{-1} + (v_t + 1/2)^{-1},而 \mu_t = \mu_{t - 1} + \beta_t + \delta_t^\mu,其中 \delta_t^\mu 是 0 均值方差为 \sigma_{\mu_t}^2 的噪声。

这个模型为什么能反应 growth,我们不妨考虑令 \beta_0 = -1,如果没有噪声 \delta_t^\beta 的存在,则 \mu_t 是分布在 \mu_0 + t \beta_0 附近的一个正态分布,这可一看成是一个有下降趋势的 CTR 估计。我们增加了噪声后,增长率就不再是一成不变了。似乎对应 \mu_t\beta_t 的方差参数应该是 shared(去掉下标 t)。这时给定一组数据时,我们应该有办法使用 EM 算法进行对参数的估计,比较感兴趣的应该是给定参数后对 \mu_t 的预测,按照现在这种形式就是利用 \beta_{t-1} 的 mean 和 \mu_{t - 1} 的 mean 的和进行估计了。

dynamic Poisson-Gamma model

这个可以认为就是 Poisson-Gamma model 的简单推广(与此类似可以用所谓的 Bernoulli-Beta model)

dynamic Poisson-Gamma model

这个 model 一般假定观测到的 click 数目 c_t 来自一个 Poisson 分布,其参数是 \lambda_t v_t。而这个 \lambda_t 是一个 Gamma 分布,对应 \lambda_0 \sim \text{Gamma}(\cdot \mid \alpha, \beta),而之后给定了 \lambda_{t-1} 的后验分布(设参数为 \alpha_{t-1}, \beta_{t-1})之后,\lambda_t 仍然是一个 Gamma 分布,且对应的先验是参数为 w\alpha_{t-1}, w\beta_{t-1} 的分布。

这个时候我们给出的每个时刻的 CTR 估计可以认为是每个 \lambda_t 的后验 mode/mean 之类的,这比起某些情况来说增加了遗忘因子 w \in [0, 1]。这个模型感觉也是 EM 来 training 的。

这两天把这些东西梳理一下,虽然是一些基本的模型,也大致清楚推导的方式,但是没自己推过,终究不知道一些细节。

——————-
Peradventure there be fifty righteous within the city: will you also destroy and not spare the place for the fifty righteous that are therein?

Advertisements
讨论几个 model

一个有关“讨论几个 model”的想法

发表评论

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / 更改 )

Twitter picture

You are commenting using your Twitter account. Log Out / 更改 )

Facebook photo

You are commenting using your Facebook account. Log Out / 更改 )

Google+ photo

You are commenting using your Google+ account. Log Out / 更改 )

Connecting to %s