吴恩达《深度学习》第三门课(1)机器学习策略一

  • 时间:
  • 浏览:3

(1)当对一一二个多实际的应用系统进行优化时,后会 有其他想法:如提高数据量,提高网络深层,正则化等等,一一二个多错误的选者后会 浪费非常多的时间,本课也不让他在面对其他选者时做出正确的选者,这也不ML策略。提高强度,让他的深层学习系统变慢投入使用。

(3)开发集误差减去训练集误差叫可外理方差。

(3)案例2:开发集、测试集后会 使用网上的高清猫的照片,A、B模型的误差分别为3%、5%,根据指标A更好,而实际还可不能不能分类的是来自普通用户拍摄的低像素模糊的照片,这时B算法表现的更好,突然出现并与否 情況说明要更改开发集、测试集了,使其与实际中的照片更加接近。

(2)在实际应用中,不一定要达到人类的最高水平可不能不能投入使用,比如一一二个多系统超过了普通放射科医生的水平,这时并与否 系统就应该能只有投入使用;其他这也说明不同情況下,定义人类的水平错误率时,要弄清楚目标在哪里(不一定是最高的人类水平),超过并与否 目标就应该能只有拿来用。

(3)超过人类表现后会 性能提高变慢主要有一二个多原应:首先后会 超过人类后会 说明后会 快接近贝叶斯极限了,进步的空间有并与否就小了;其次是后会 超过人类后会 ,其他的工具将不再能起作用,如低于人类表现时人类还能只有帮忙做误差分析。

(2)同样在机器学习系统中,后会 突然出现测试集效果好,验证集效果不好,这时后会 有一一二个多策略能只有改善并与否 ,共同不影响其他的东西,那也不正交化;又比如为哪些地方不推荐使用early stopping,后会 它一方面改善了过拟合,后会 会使得训练集拟合变得不没有好,其他并与否 策略后会 正交化。下图是深层学习系统各阶段后会 突然出现的疑问,应该找到一能只有改善它而不影响其他性能的策略(即正交化的策略)。

(1)F1分数公式:2(RP)/(R+P);其中P是查准率,R是查全率。

当把色情照片推送给用户时给予很大的权重,没有 根据新的指标能只有选出B算法是更好的,没有 就与实际符合了。

改成:

(3)在自然感知方面还有待加强。

(1)案例:医学图像分类,普通人3%错误率,……,专家组讨论结果能达到0.5%,这时应该把最好的表现来当做人类的表现。

(2)设置好单一评估的开发集,就像是一一二个多靶心,优化的过程也不去瞄准靶心,后会 瞄的很准后会 ,测试集和开发集不同分布就为宜把靶心换到其他位置了,其他效果会非常的差。如下图所示(靶心变了)。

(1)在形状化疑问上,如电影推荐等,机器远超人类水平。

(2)在计算机视觉,语音识别等也达到和超过人类的水平。

降低偏差:更大更深的模型,更长的训练,其他的优化法律措施,更换网络形状

(2)把测试集误差减去人类的误差称为可外理误差,这是能只有提高的要素,下如图:同样的训练误差和开发集误差,后会 根据人类的表现不同,需优先优化的也不同,左边应先降低偏差,右边应该先降低方差(后会 8%-7.5%后会 很小了):

(1)当有N个指标时,选出其中一一二个多最想优化的指标来最小化,其余N-一一二个多指标作为满足指标,即在满足满足指标的前提下(如运算强度要小于200ms),选者优化指标最好的模型。

(1)在大数据时代,70/200、200/20/20的分法后会 不再适用了,现在流行把大把数据拿去训练,只要留有足够的开发集和测试集就行。这里开发集足够的标准是能只有判断出哪个模型好,后会 这里测试集足够的标准是能只有准确评估最终的成本偏差。

(2)案例1:A、B模型的误差分别为3%、5%,根据指标看A更好,后会 在使用过程中发现A会把情色照片推送给用户,B不让,显然并与否 情況下确实B是更好的算法,这时说明还可不能不能修改评价标准如修改代价函数:

(2)把性能的极限(即模型后会 达到的最高性能)称为贝叶斯最优错误率(Bayes optimal error)。

(1)总体方针:后会 你当前的指标和当前用来评估的数据和你真正关心还可不能不能做好的事情关系不大是,这后会 就应该更改你的指标后会 你的开发集了,让它们能更好的反应你的算法还可不能不能外理好的数据。

(1)降低偏差和方差的策略如下图所示:

(1)在计算机视觉中,人类是非常擅长的,人类的表现和贝叶斯最优误差相差不大,可把前者当做后者。

(1)当性能低于人类的表现时能只有提高的变慢,后会 超过人类的表现后会 ,性能的提升后会 变慢。如下图所示

(1)记住其他:务必让开发集和测试集是同分布,后会 训练好的网络确实没哪些地方用。

降低方差:更多的数据、正则化、dropout、数据增强、提前终止(不推荐使用)、更换网络

(4)在上边提到的各种法律措施中,确实后会 不自觉的使用了正交化,即要素修改只影响一一二个多方面,对其他不造成影响。

(1)使用以下的老式电视机来说明哪些地方是正交化,即一一二个多按钮只调节深层(不让对其他造成影响),一一二个多只调节深层,一一二个多只调节深层,没有 就能只有很容易的讲画面调节到正中央,后会 一一二个多按钮既影响深层有影响深层,没有将非常难调整。