题目
学习率过大会导致神经网络训练出现什么问题?()A. 训练过程过慢B. 陷入局部最小值C. 参数更新发散,无法收敛D. 泛化能力过强
学习率过大会导致神经网络训练出现什么问题?()
A. 训练过程过慢
B. 陷入局部最小值
C. 参数更新发散,无法收敛
D. 泛化能力过强
题目解答
答案
C. 参数更新发散,无法收敛
解析
本题考查神经网络中学习率对训练过程的影响这一知识点。解题思路是需要理解学习率的作用以及不同学习率大小对神经网络训练的影响,然后分析每个选项是否符合学习率过大时的情况。
对各选项的分析
- A选项:
- 学习率是控制参数更新步长的超参数。当学习率过大时,参数更新的步长会很大。
- 这意味着在每次迭代中,参数会发生大幅度的变化,模型会更快地朝着梯度方向更新,理论上训练速度应该是变快而不是变慢。所以A选项错误。
- B选项:
- 陷入局部最小值通常是由于学习率过小导致的。
- 当学习率过小时,参数更新的步长很小,模型可能会在局部最小值附近徘徊,难以跳出局部最优解。而学习率过大时,模型不会陷入局部最小值,因为它的更新步长太大,会跳过很多局部最小值。所以B选项错误。
- C选项:
- 学习率过大时,参数更新的步长过大。
- 在每次迭代中,参数会朝着梯度方向进行大幅度的更新,可能会导致参数在最优解附近来回跳动,甚至会使参数的值越来越大,最终导致参数更新发散,无法收敛到一个稳定的解。所以C选项正确。
- D选项:
- 泛化能力是指模型在未见过的数据上的表现能力。
- 学习率过大主要影响的是模型的训练过程,导致无法收敛,而不是泛化能力过强。通常,模型无法收敛会导致泛化能力变差。所以D选项错误。