蜈蚣辫,不要只关怀怎样优化模型,这不是机器学习的悉数,银杏

admin 5个月前 ( 04-30 00:30 ) 0条评论
摘要: 不要只关心怎么优化模型,这不是机器学习的全部...

AI 科技谈论按:机器学习范畴的学生、研讨员、企业开发者都习惯了在模型的优化上花许多功夫,似乎获得更高蜈蚣辫,不要只关心怎样优化模型,这不是机器学习的全部,银杏的准确率/AUC/mAP 等等便是机器学习研讨和运用的全部。可是很少蜈蚣辫,不要只关心怎样优化模型,这不是机器学习的全部,银杏有人去问:测验体现优异的模型就真的能很好处理实在国际的问题吗?

可解说的机器学习方向的研讨员、《可解说的机器学习》书作者 Christoph Molnar 近来就宣布了一篇博客,提示范畴内的各位警醒这种习尚,开端留意机器学习的运用中那些不应该被忽视的问题。雷锋网AI 科技谈论编译如下。

先讲一个小故事。

德国某处,一个安静的夜里。大多数人都现已沉沉睡去,但我没有。我得把机器学习模型操练完。我在和全国际和我相同对模型入神的人比拼,咱们要看看究竟谁的模型能得到最好的猜测成果。我电脑的电扇在嗡嗡地响,键盘也被我敲得咯咯吱吱。我现在的模型没拿到什么好名次,在揭露排行榜上排在中心罢了。真让人来气。模型的准确率其实还过得去,但在这个竞赛里,「还过得去」是远远不行的。比全部其他人的模型都好,才是我终究的方针。我还需求更好的特征工程、更好的学习算法。我现已有了一个建立新的特征的好点子,并且我还可以把随机森林换成增强树。操练这个模型应该只需求半个小时时刻,然后我就有必要去睡觉半路夫夫了。

好几个小时过去了,现在的时刻是清晨三点半。我总算得到了片搜新模型的猜测成果,可以冲击排行榜上的新方位了。我满怀期望地点了提交按钮。我现已很累了,「你的成果正在被点评」的提示看起来都那么含糊。我能到多少位呢,能到前 10% 吗?我开端甜美地遥想。但实在的成果很快打碎了我的幻象,这一刻我感觉到史无前例地疲乏。甭说得到更好的名次了,这个新模型的体现还不如上一个模型。代码里有 bug?过拟合了?仍是我上传错文件了?我脑中有一个又一个的问题冒出来,可是沉着通知我自己必需求躺下了。我在床上辗转反侧,然后梦见了一个不断增加、大到我永久无法了解的决策树。

蜈蚣辫,不要只关心怎样优化模型,这不是机器学习的全部,银杏 卢今锡

「我得持续改进我的机器学习模型!」掀开眼罩看一看

我自己也曾有过相似这样重复折腾机器学习竞赛用的模型直到深夜的履历,现在我现已不会再这么做了,原因有两个,1,正常的睡觉现在对我来说重要得多,2,我对机器学习的知道也有了很大改变。

当我一开端触摸机器学习的时分,我以为最重要的机器学习技能便是知道怎样操练出体现最好的模型。为了到达这个方针,我把全部的精力都用来学习更多的算法、更多的特征工程技巧、更多的算法点评办法,全部都是为了让模型的差错马上降下去。我如此地沉浸,以致于我当年乃至为随机森林写了一首诗。

今日我的观念有了很大改变。我觉得「机器学习」这四个字的含义远不仅仅是把丢失函数最小化。某种程度上,模型的拟合可以说是最简略的部分了,由于有大批的文献、教材、操练以及实用工具来帮你改进现状。并且你也总能马上得到反应(只需求在模型没有见过的数据上进行测验就行),总的来说很让人满足。我觉得,以机器学习整个范畴来讲,在模型拟合这方面现已开展得适当成熟了。可是除了拟合模型之外,咱们还需求处理许多其他很困难的问题。比方:

狗展门口。- 「我的狗操练得很好啊」-「不可!」—— 这便是数据科学家们把最新的模型整合到实在国际的时分的姿态

我自己的观念是,机器学习范畴内的人们大多数都还只关心怎样优化模型,对我罗列的这种模型实践运用中会遇到的问题知之甚少。但好消息是总的来说咱们越来越意识到这些问题的存在,也投入更多精力考虑这些问题了。系统性思想、可解说性、公平性、社会影响、数据的人物等等问题都在得到越来越多的重视。

模型的引诱

我刚开端做机器学习的那几年有一则趣事。我那时分刚参加一家创业公司,担任机器学习相关的几个运用。那时分我的编程水平不如团队里其它的成员,不过我问了许多问题,比方问他们操练用的数据和之后在运用里运用的数据是否相似。我的导师表彰超级无敌唱衰你我提了一些好问题,但我自己没了解他为什么要表彰我,明显我那时分心里更在乎的是「我怎样还没学会用 Scala 言语编程」;并且我还觉得,知道怎样构建更凶猛的猜测模型要比提出这些问题更重要。直到现在我才干彻底了解我的导师为什么要表彰我。

通过了五年时刻我才总算了解了,「拟合出最佳的机器学习模型」这件事的影响有多小。可了解这个为什么要花五年呢?简略来说,全部的机器学习教育和科研都太过于重视「最好的模型」,因而也就忽视了数据、忽视了人的要素,也忽视了猜测模型与地点环境的杂乱相互作用。

打开来说的话,让咱们通过一个设想的机器学习新人感受一下吧。她的名字叫 Anna,她现在在读电子工程的硕士,有续弦太子妃厚实的数学根底,也可以用 C 和 Python 言语写代码。她的机器学习入门第一课是吴恩达的机器学习在线课程,一起她还在看《计算学习根底(Elements of Statistical Learning)》这本书。和其它全部的教育资料相同,在线课程和书里都是一个接一个地列出各种模型,并且具体介绍模型背面的数学原理。它们简直不会说到怎样知道数据、怎样考虑社会和品德影响、怎样解说模型、模型的运用场景等等问题。她当然会看到一些运用事例,但这些事例都只不过是通过精心设计的简略抱负问题罢了。

过了一段时刻今后,她开端参加 Kaggle 上的各种竞赛。再一次地,她在 Kaggle聊斋之翁婿斗法 上也看到各种通过精心设计的猜测问题,简直是喂到嘴边了:在咱们看到的竞赛背面,Kaggle 现已把最难最累的活都做完了,先寻觅企业、数据、问题,把问题转化成猜测使命,然后考虑要用哪些数据,或许还需求做一些数据整理和兼并,再选一个模型点评规范,这些都由 Kaggle 包办了。那关于参加 Kaggle 竞赛的人来说,给他们剩余的作业除了特征工程以外,当然就只要「拟合出最好的模型」这一件事了!赢走了竞赛奖金的都是谁呢?不是模型体现优秀、有可解说性的团队,不是当他人要花几天操练的时分他们只需求几秒钟的团队,不是模型真的有时机布置在出产环境中的团队,由于这些模型的猜测准确率注定不会是最高沙罗双树的誓词的。所以 Anna 也就跟着信任,机器学习就只不过是找到猜测体现最佳的模型,并且这个信仰越来越结实。这不是恶作剧,咱们都看得到,得到了奖金和荣誉的便是那些能做出猜测体现最佳的模型的人,

所以 Anna 对机器学习的热心也跟着被点着了,她想要在下一个竞赛中拿到更好的名次!走运的是,机器学习社区很棒、很敞开,有许多评论怎样集结食惠网试模型体现的技能博客可以供她学习,也有许多最新的机器学习库可以让她从 GitHub 上克隆运用。她总算了解:机器学习便是拟合出最好的模型。

Anna 也开端意识到机器学习这个范畴有多么年青、学术界和工业界的联络又有多么严密。为了了解最前沿的技能,她开端阅览机器学习的学术论文。从哪里开端李天煜呢,嗯,当然是读引证数最高的论文了!那么哪些论文引证数高呢?当然是因风守梦研讨常见科研使命模型的论文和各种机器学习结构的论文了……

数据科学家们的一生愿望:一个模型,处理全部(就像魔戒的「一枚戒指,控制全部」)

可以说,在 Anna 的这一路上,她都时时刻刻在感受到这条最简略的信息:想要做好机器学习,你就需求深入研讨建模算法(以及一些特征工程的技巧)。而除此之外的方面,简直见不到人提起。

拟合模型不是仅有重要的环节

说了这么半响我想现已说了解了,只会赢 Kaggle 竞赛是不足以称得上机器学习专家的。村庄艳事那短缺的常识都是什么呢?以我的浅见,下面这些课题的重要性被彻底忽视了,整个机器学习范畴都需求开端留意这些问题。

这儿仅仅简略列了几项,咱们可以持续弥补。

你彻底有或许在拟合出了最好的模型之后在这几个方面犯错,然后你的模型就会变得没用,乃至变得有害。当你的操练数据和运用中的实践数据不匹配的时分,你的模型或许底子给不出正确的猜测成果。当你的高管忧虑模型是个黑盒子所以回绝运用它的时分,你得拿出白板想方设法给他们解说。假设你发现你的模型对不同肤色的人有偏倚,那你最好别运用这个模型。

只需你把问题的格式化、数据、解说、场景和布置做好,你的邱浩轩项目就可以十分成功了,你的模型猜测准确率很一般都没联络。其他方面假如做欠好,那么即使是调试好久的、在测验数据上白璧无瑕的集成模型也只能被扔进垃圾桶。

做错简略,做对很难

机器学习模型彻底可以有好的猜测体现,可是带来的影响和人们预期的相反,我给咱们讲个故事来阐明一这点。我有个朋友在一家电信公司作业,这家公司的事务之一是出售移动通讯套餐(通话+短信+流量)。他在公司的数据科学团队作业,然后公司想要猜测哪些客户最有或许不持续运用套餐,他也是这个项目的成员;做这个猜测的方针是给或许不再持续运用的客户供给性价声海盗比更高的套餐。那么,这个项目团队就着手构建了一个机器学习模型,这个模型分辩用户的才能也相乌雅心颜当不错。然后他们把高概率的用户列出来,给到另一个团队,这个团队会和这些用户逐个联络,给他们供给更优惠的套餐。

那么成果呢?撤销这家公司套餐的人更多了,而不是更少了!

过后他们才意识到,他们逐个蜈蚣辫,不要只关心怎样优化模型,这不是机器学习的全部,银杏联络那些有或许不再运用他们的服务的康寿宝鉴用户,这提示了对方不能持续运用这家公司的套餐。联络用户的行为反倒成了使得他们终究解约并转向别宋奕佳的运营商的导火线。

为什么不对劲了?从一开端他们测验把实践问题变蜈蚣辫,不要只关心怎样优化模型,这不是机器学习的全部,银杏成猜测问题的时分就出错了。他们的模型猜测了「客户 X 解约的或许性怎样」,但他们实践上需求猜测的是「当咱们联络客户 X 的时分他解约的或许性怎样」。这也可以看做是和运用场景相关的问题,他们没有细心考虑联络现已有了解约心思的人之后的结果究竟是什么。这个比方里,模型构建可以得 10 分,但问题的格式化和运用场景考虑只能得 1 分。

别以为你的队友们就靠得住

那么是不是只要初学者狐妖小红娘之神龙现世才会在用机器学习解蜈蚣辫,不要只关心怎样优化模型,这不是机器学习的全部,银杏决实在国际问题的时分犯错?当然不是。想要学习拟合模型之外的机器学习技能,最好的办法便是参加处理实在国际的问题。不过这还不算完,你有必要真的期望自己在拟合模型之外的方面也变得更凶猛。

只要经历是不行的。谷歌、亚马逊之类对机器学习有大规模长时间投入的企业,是不是就把握了模型优化之外的方方面面了呢?其实也没有。即使他们有那么多博士、有那么多资金、有那么多经历、有那么多数据、那么多技能专长,他们也还没能彻底弄清楚。实践上他们也还在犯一些很蠢的过错,由于在实在国际使命中运用机器学习便是很难。

我举几个大公司用了机器学习然后搞砸了的比方:

假如作业里没有什么反应通知你做的对不对、做的好欠好,你或许会觉得很疲乏。尤其是做学术研讨,或许你没有直接上级的时分,不确认自己现在做的作业有多大含义是挺常见的一件事。假如有个老板或许上级通知你应该做什么,感觉上会轻松一点,可是我悄悄跟你讲个真话,没人能真的弄了解。不论你做了十几年仍是几十年,不论你有多少社会履历,你都不或许从某一天开端就对这个国际上的全部走过大陕北都一览无余。

有一种处理办法是用数据衡量你的发展,这会给你供给一些反应。可以算是通向成功的目标吧。

某种程度上,用数字衡量成功是一种很棒的办法,能帮你简化作业、帮你更高效地作业。不过这些数据也过于简化了「成功」这件事,怎样或许把全部条件用简略的几个数字就表示出来呢。

其实很难说什么时分要为了达到某个数字而尽力,什么时分又不要。在我看来,假如要在「达到数字」和「难以丈量的作业」(比方研讨新的产品,而不是卖更多旧产品)做一个取舍的话,整个社会的口味都严峻倾向于达到数字的那一边。机蜈蚣辫,不要只关心怎样优化模型,这不是机器学习的全部,银杏器学习范畴也是相同。

当我觉得或人似乎在「为达到某个数字而尽力」的时分,我脑海里会显现出赛马的现象。有一匹很漂亮、很健壮的马,通过人们的操练它可以跑得很快。然后假如它在竞赛里获得了好的名次,人们就会给它奖赏胡萝卜吃(鸡巴我不太确认马是不是特别爱吃胡萝卜,不过为了便利我讲故事,咱们暂时以为马最爱吃的便是胡萝卜吧)。为了让马的留意力彻底会集在方针上,人们给马眼睛上戴了眼罩,它会遮住马对左右两边的视界,让它们只看得到前面。现在咱们便是这些赛马,咱们每个人都带着眼罩,让咱们只能「盲目」地为了点评目标而尽力。可是许多时分,假如咱们左右看看的话,或许赛道边上便是一片无人照看的胡萝卜地。

作为机器学习这个范畴内的成员,咱们现已在过错的机器学习竞赛里边比拼了太久了。咱们得摘掉头上的眼罩。所以我写了这篇博客,期望能启示更多人摘掉自己的眼罩,以及期望这个范畴的重视点可以不再局限于模型体现,而开端更多地重视数据、解说性、运用场景以及社会影响。

via :

https://bentoml.com/posts/2019-04-19-one-model/

声明:该文观念仅代表作者自己,搜狐号系信息发布渠道,搜狐仅供给信息存储空间服务。
文章版权及转载声明:

作者:admin本文地址:http://www.bazhisuanming.cn/articles/944.html发布于 5个月前 ( 04-30 00:30 )
文章转载或复制请以超链接形式并注明出处竞技宝官网_竞技宝官网app苹果版_竞技宝官网ios版