回复11楼:这是CS传统艺能好嘛，写论文说我的方法能beat已有的某个方法，其实就是在自己建模的时候拿已有方法的表现当baseline。建模的时候往上靠，一般都可以差不多达到类似效果。但是要大幅领先是很难的。于是可以只在某个数据集上调一调，用这个训练集的表现放在结论里，说我的方法优于已有方法。
这个哥们一样，搞了一个原有模型表现差不多的新模型，在过测试的时候，肯定针对测试集调过了，就是对测试集overfitting,泛化表现就不行。过审核的时候给公司看测试集的微调过参数的表现，然后要上线了，改回总体表现还可以但是不突出的参数。
能拿很多奖金，其实应该是看模型表现好才给的，倾向于是背锅了。

:
你说的这些在真正建模的时候是不存在。in sample and out of sample 是分开的。如果连cross validation都没做，那根本算不上建模。不相信这么大的公司没有这些protocol. 这是太基础的问题。任何modeler 都知道该怎么做。peer review 也不可能过。最大的可能就是他的测试数据都是伪造的。