韩国三级hd中文字幕 深度学习如炼丹,你有哪些迷信做法?网友:Random seed=42适度好


发布日期:2022-05-11 20:35    点击次数:69

韩国三级hd中文字幕

每个机器学习领域的筹划者都会面对调参流程的锻练,当经常说来容易做来难。调参的背后经常是连明连夜的论文筹划与 GitHub 查阅,并需要做大批的实验,不仅耗时也破钞大批算力,更深深地伤害了雄壮工程师的头发。

有人不禁要问:调参是门玄学吗?为什么模子明明调教得很好了,关联词成果离我的遐想总有些偏差。

近日,reddit 上一则帖子激发了网友热议,「机器学习调参领域有哪些迷信的概念或做法呢?」

原贴地址:

https://www.reddit.com/r/MachineLearning/comments/rkewa3/d_what_are_your_machine_learning_superstitions/?sort=confidence韩国三级hd中文字幕

12月13日,中国信通院公布的数据显示,2021年1-11月,国内市场手机总体出货量累计3.17亿部,同比增长12.8%,其中,5G手机出货量2.39亿部,同比增长65.3%,占同期手机出货量的75.3%。

前段时间,苹果团队就跟劳模一样,一个测试版一个小的新功能。所以这次正式版就相当于把之前所有新功能集合起来,更新内容还挺多的,并且还有不少实用的。像是查看 App 访问哪些隐私数据,手机是否更换过零件,还有 Apple Music 上线 5 元 / 月廉价服务等。那有没有必要升级 iOS 15.2 正式版,世超简单带大家过一下。

据介绍,“摇一摇”功能是指用户在打开一个软件时,开屏广告界面稍有摇晃就会自动进入广告详情页面、跳转打开广告相关软件甚至直接进入软件下载页面。

但是,效果如何呢?事实上,在iPhone 13发布之后,苹果在高端市场的地位是越来越稳固。众所周知,从mini到Pro Max,iPhone 13系列的覆盖价位是5199元到8999元。

可查看的范围包括你跟微信好友之间发送的图片、视频、以及文件等!对于那些使用公共电脑的小伙伴来说,可能一些小秘密就暴露出去了。 韩国三级hd中文字幕

对于调参的那些「窍门」

在机器学习中,超参数调整是一项必备妙技,通过知悉在检讨流程中的监测标的如赔本 loss 和准确率来判断面前模子处于什么样的检讨情景,实时调整超参数以更科学地检讨模子轻佻提高资源应用率。

每个人都会左证我方的实践训诫进行模子调参韩国三级hd中文字幕,最终,绝大多数筹划者可能得出的训诫即是:

Random seed = 0 得到坏的适度 Random seed = 42 得到好的适度 Even-valued k in k-Means = insightful segmentation

有人将这一训诫追思奉为所谓的 ML「迷信做法」,但其实否则,险些所有学者都这么做。

不外,也有网友对这一训诫追思持怀疑气派:网友 @SlashSero 缺憾地示意,这种情况以致会出当今绝顶知名的科学出书物上,尤其是在交叉考证弗成行或者易受其他参数遴选影响的机器学习应用中,因此超参数优化(HPO)弗成行。不妨望望 NeurIPS 会论说文有几许领有简直透明的代码库和易于复现的交叉考证筹划,以确认他们的职责较前年莳植了 0.5-1% 的性能。

另外,好多时候出于对筹划者的信任,但其实会导致新的深度学习模子在执行中并莫得进展出昭着优于传统模子的性能。咱们应该看到,社区存在这么一种近况:破耗大批时辰确保模子简直杀青它所进展出的性能,何况可复现和透明,这是一项枉精神思的职责。消耗计较资源不说,还有可能失去在一个发展极快的领域发表论文和取得赏赐的契机。

为了实现模子最好性能,各路网友也纷繁晒出我方的炼丹训诫:有网友觉得 Random seed 必须是 10 的倍数,最好是 1000(不外该回应遭到了他人的反驳)。

除了 Random seed 成立外韩国三级hd中文字幕,有筹划者共享了我方的一些科研小技巧。

模子的检讨流程,近乎黑盒,假依时间发生程序造作,很难察觉到,有网友提议遍地随时进行「print」是一个很好的民风,在程序第一次运行时,一定要打印所有可能的东西,「print」能让你澄澈程序进行到哪一步,有莫得堕入死轮回...... 其实,久久丫精品国产亚洲av绝大多数程序员都会这么做。

除了「print」外,有人示意日记纪录也绝顶有必要,在实验室做科研,无意为了跑一个程序,需要破耗好几天的时辰,但总有那么不欢娱的处所,要么好久抑止电的实验室已而断电,要么办事器崩了…… 是以遍地随时保存日记亦然每个程序员必备的,检察日记纪录,你能发现程序运行到哪了,疏忽揣测模子性能,还能检察造作:

还有网友晒出了我方的 dropout 训诫,觉得跳跃 20% 的 dropout 将使该模式难以复原。不外这仅仅这位网友我方的训诫,也有人示意我方接纳 90% 的 dropout,模子性能最好。

除此之外韩国三级hd中文字幕,有网友追思了批大小应该是 2 的幂次方。

以上即是网友追思的一些 ML 炼丹小技巧。

玄学论文难复现

诚然调参灵验,但网友 @ostrich-scalp 敏锐地评论道,「大多数论文的适度都是瞎掰八道,将我的功绩生计都用来实现这些职责并盼望创建醒目其事可用于分娩的模子,这是一个极大的造作。」

上头那位老哥 @SlashSero 接茬说道,「令人难以置信的是,ACM、IEEE、IAAA 和 NeurIPS 上发表的论文有几许十足仅仅出于对作家的信任。到当今为止,你可能但愿所有知名期刊和会议都条目论文作家开源和复当代码,但这种情况仅仅例外。」

昭着,机器学习是一门工夫。诚然神经相聚黑箱的情景让可说明性受限,但咱们不错在较高层面上通过训诫处理面对的问题。咱们需要加载数据,竖立框架,让系统运行起来,设定度量程序,调整参数并分析误差,进行特征工程,适度可视化等等智商。最终经过数次迭代直至推理的准确率不再莳植。

那么为什么多样玄学风物仍然抑止出现,拷问着咱们的心灵?看来,咱们对这门学科的了解还不够多。

不外请记着 NIPS 2017 大会上图灵奖得主 Judea Pearl 演讲的临了一页 Keynote:

数据科学仅当能促进对数据的书册合读时才智被称为科学。

不外也无须怕,深度学习调参总还是有技巧可循的,约莫不错追思如下。这些算不得迷信做法,仅供参考。

寻找合适的学习率。当作一个绝顶进击的参数,学习率面对不同界限、不同 batch-size、不同优化模式和不同数据集,它的最合恰好都是概略情的。咱们唯独不错做的,即是在检讨中抑止寻找最合相宜前情景的学习率; 权重运养息。比较于其他的 trick 来说使用并不是很时时。唯独那些莫得预检讨模子的领域会我方运养息权重,或者在模子中去运养息神经相聚临了那几个全迷惑层的权重。常用权重运养息算法是「kaiming_normal」或「xavier_normal」; 数据集处理,主要罕有据筛选和数据增强; 多模子会通,这是论文刷适度的终极核兵器,深度学习中一般有几种模式,比如一样的参数,不同的运养息模式;不同的参数,通过交叉考证及第最好的几组;不同的模子,进行线性会通,举例 RNN 和传统模子; 余弦退火和热重启的立地梯度着落。余弦退火即是学习率访佛余弦函数渐渐着落,热重启即是在学习的流程中,学习率渐渐着落然后已而再回弹 (重启) 然后继续渐渐着落; 尝试过拟合一个少许据集。关闭正则化 / 立地失活 / 数据推行,使用检讨集的一小部分,让神经相聚检讨几个周期。确保不错实现零赔本,若是莫得,那么很可能什么处所出错了。 ……

调参路上各有各的「路数」,妥当我方就好。

临了问一句,炼丹的你有哪些独门阴私呢?

参考相连:

https://www.jiqizhixin.com/articles/2020-10-21-3 https://picture.iczhiku.com/weixin/message1609136710592.html

【本文是51CTO专栏机构“机器之心”的原创译文,微信公众号“机器之心( id: almosthuman2014)”】  

戳这里,看该作家更多好文 

 





Powered by 亚洲av无码一区二区三区天堂古代 @2013-2022 RSS地图 HTML地图