noam_decay

    Noam衰减方法

    noam衰减的numpy实现如下：

    参数：

    • d_model (Variable|int) - 模型的输入、输出向量特征维度。类型可设置为标量Tensor，或int值。

    返回：衰减的学习率

    代码示例：

    2. warmup_steps = 100
    3. lr = fluid.layers.learning_rate_scheduler.noam_decay(