碰到一个没解决的问题。 用tensorflow 分布式异步更新模式训练模型, 模型中带正则项, 每个batch的损失函数为
\[\lambda \|W\|_1 + \frac 1 {N_j} \sum_i^{N_j} {\rm logloss}(x_i,y_i, W) \]
发现迭代稳定后， 正则项大小\(\lambda \|W\|_1\)与worker个数\(n\)成正比。 相当于求解
\[ \lambda \|W\|_1 + \frac n {N_j} \sum_i^{N_j} {\rm logloss}(x_i,y_i, W) \]

原因没想清楚， 留着后面思考。