文译自:http://www.alexirpan.com/2016/07/17/ml-sleep.html,原文标题《The Machine Learning Casino》,译文供您参考。
一、机器学习理论研究
机器学习是一种能使计算机半自主地对数据进行分析,并从中学习经验的算法。
机器学习理论的研究听上去就好像做这么一件事,让我们的研究人员去深刻探索,提高计算机学习数据集的效率的方法。
事实上,机器学习理论的研究可以在我们的生活的每时每刻找到影子。就好像你在不断的进行一场赌博,只不过你的筹码是你的时间。你把你的时间花费在了一些有启发性的事物上去,而这场赌博的最终大奖看上去就是未来光明的前途。当然,即使你付出了大量的时间,你也可能遇到你无法想象而又无法理解的失败。
二、机器学习中理论与实践的关系
尽管机器学习是建立在统计学的基础之上的,但事实上机器学习也可以被更多的说成是一门实践性的科学。
然而谈到到实践性,这并不意味着这是一门轻视基础理论的学科。在机器学习里会遇到众多理论问题。例如,赌博机问题,凸优化与非凸优化,图形建模,以及信息理论的问题,当中涉及到了许多不同的学科领域。如果你要你深究机器学习,你可以在这些问题里花花时间。
这里面内容太深太广,对于普通的开发者来说,学完全部的内容并不是一件容易的事情。现实就是,人们都希望自己的算法是有保障的,但是不是每个人都愿意花时间去深究为什么他们的算法是有保障的。
好吧,在当下在APP开发火爆的环境下,人工智能的宣传满天飞。但是人们往往首先关心的只是最终的产品,然后在开发进度中逐渐才会关注基础理论的重要性。一般的开发者往往都是会从一些有启发的事情中获得灵感,通常来说,这些有启发的算法能对既已出现的情况做出相应的反应,但是这些算法仅停留在面向过程的层面,基本没有更深的内涵。
三、实验方法
那么我们想想,我们到底是怎样发现这些有启发性的事物的呢?这里介绍一个方法:
一、提出假设。
二、设计一个实验来检验这一假设。
三、进行实验并分析结果。
四、细化假设并改进实验设计。
五、重复以上流程,直到最终得出结论
在机器学习的领域,提出假设是有前途的算法,进行实验便能检验这些算法的正确性。
重点是什么?就是做做实验,直到最后你的理论被最终证明有效。
好,回过来,接下来我和大家分享一些有用的东西。
四、机器学习中的理论是否已经非常成熟了呢
当前的这门艺术的状态还是概率性的并且高度个性化的。经验上来说,概率化的方法现在已经能很好的在大数据领域等领域应用。
个性化意味着你能尝试调试不同参数并观察他们之间的差别,你有没有尝试调整过超参数?有没有尝试过清洗你的数据?或者使用一种不同的最优算法?让你的模型变得更简洁?或者说让你的模型更加复杂化?玩过Batch Normaliztion算法吗?校正过非线性失真的图像吗?我们希望能探索出一些新的方法来打破常规来解决一些实际问题。然而不幸的是,我们目前的工作还没能力达到那个程度。神经网络确实是非常神奇的,但是你一旦用它玩完那些简单的问题后,你会发现其实还有很多问题还不能解决。
机器学习中会设置一些特征参数,而且这些我们也不会说哪些参数是失败参数。这样的事可能是在其他学科中不会出现的。但是在机器学习中,事情就是这样。而且有时,完全相同的参数设定也不会得到相同的结果。你可以认为我们能做的更好,但是难以重现结果确实是一个问题。
对每一个欣赏机器证明艺术的人来说,这也是机器学习中最气死人的地方。在我们进行超参调优的时候,我们往往并没有带着专门去探索其理论基础的学习动机。但这却是你们必须做的事情,机器学习之美和现实应用有时会脱节。这里有一个段子,是一个计算机视觉教授和他的学生说的:
学生:这理论没有什么实际应用。
教授:真的没有用吗,就算真的没有什么实际应用,理论本身就已经是艺术。
学生:你说的我都懂,理论很高端,但却在实际生活中没有用。甚至连Lenna图像也不能很好的处理。
教授:(半开玩笑的说)也许我们处理一百万个图像,可能在这个过程中,我们就会发现机器学习的作用。
学生:如果连Lenna都不能处理,就更别说无数个Lenna了。
教授:哈哈哈,我也这么认为,真是倒霉啊。
我能体会他们的苦衷。
在训练了足够的机器学习模型后,你就找到问题的关键,能识别常见的无效模式。当你能正确进行模式识别,你便能开始总结出新的识别方法。然而,这种识别没法达到保证百分百成功的程度。我喜欢开玩笑的说,有一天理论学家会找到比纯粹靠经验的好方法。但是我不认为在当下能很快实现。因为这些理论上的东西真的比较难。
理论上,在监督机器学习中,已经发现了“No Free Lunch”定律。我如果这么说可能会显得不太正式,但是确实没有哪一种算法能在每一个可能的问题里打败另外一种算法。换句话说,永远不会有一个算法统治所有其他算法。当然,如果有人能证伪这一点,那当然是最好不过的事了。
五、如何在实验中获取有价值的结论
我依旧没有解释为什么机器学习的研究能应用到我们的生活当中。
我认为我已经迂回地说过了。机器学习实验的是随机性的。即使是这个领域内的大牛也不能掠过超参调优的过程。
这就让这个领域让人感觉像一个巨大的赌场,你拉动了水果机的拉杆,希望自己能中奖。有的时候,你确实能中彩,但是也不会中奖。 或许凑巧的是,有人告诉你玩的这台水果机已经十年没有开奖了,你也许应该尝试新的水果机。机器学习就好像民间传说,这里面的窍门和门道人们一代又一代相传。
我们理解了许多知识,但是水果机就是是水果机,这里面不可避免的随机性问题随随便便就能毁了你美好的一天。或者有更糟的情况,这样的“水果机”也许就隐藏在你的工作里,你的股票基金里,你的前途里。
在这样的机器学习的游戏里,要么你很幸运,要么你在尝试了许多次后你必将获得幸运。这里面唯一保证成功的途经就是做这个后者。
那就意味着实验,你需要做海量的实验。其实在进行实验的这段时间你也不需要做什么事情。你在你准备休息的时候运行实验。比如说,你准备去吃中饭。那就开始在计算机上运行你的实验吧。看看你吃完后会不会有什么新的实验结果。又或者说你准备出去玩,那你或许可以整夜的运行你的实验,在第二天再去查看你的实验结果。再比如,你不想在这个周末工作?那好吧,你的电脑可不会介意在周末上班的。我们写好代码,我们便能在无人值守的情况下进行实验,这真的是非常的棒。只要你的代码是有效的,如果你的代码出现了问题,那么好吧你需要修复出现的bug。除去修复代码的时间,你可以每时每刻都在运行你的实验。
计算机的工作就像是一个工作狂一样。你也不需要立即修改你的代码,就像你不需要一次把所有的筹码都买满水果机的下注。我很确信随着时间的增长,你最终会变得十分幸运,即使你错过了一两天,这也不会影响最终的结果。
如果有一种方法能让机器算法能有效。我也不知道会不会真的有这样的算法,我在心里还曾想过那么一秒,我如果在这个满月下献祭一只山羊,会不会就能让这项工作有效了。如果机器学习的算法真的这么简单就能有效了,我想应该有人会想出无数的方法想着怎么去献祭山羊了。
不过好事不会像山羊献祭这么简单的,因我也不想做这种没有什么意义的事情。
六、结语
在这里,你可能会想知道,为什么我有时会对机器学习感到有些厌烦。
事实上,所有的废话也会有一定的价值,实验的运行中有许多令人激动的事情在不断发生,因此,我对机器学习中出现的问题也越来越能容忍,我对此也感到习以为常了。和理论相比,运行试验就是浪费时间,但这是令人激动的垃圾时间。
我认识的计算机理论科学的朋友们可能会认为我已经疯了,我正做的这些实验简直让我近乎疯狂!哦,好吧还有什么新理论吗。
我们的这些工作,处于获取真理的边缘。如果这样繁复的工作就是我们必须要付出的代价,我必然会毫不犹豫地会选择付出。
“标枪远远领先于她,并移动的更快。殖民者还有很多许多时间来进行活动。当她到达天狼星的时候也许会在那儿发生什么,也许会十分友好。就算真的遇到不友好的事情,她也能到时候再随机应变。”
——摘自小说《RA》
作者:alexirpan 译者:语林
源|活动盒子_APP活动运营工具(huodonghezi.com)
用户习惯,就是一种无意识的行为,就是让用户不假思索的使用产品。从运营层面来看,就是让用户对活动形成习惯和期望。
饿了么刚开始做市场推广的时候,除了免配送费之外,还给了用户很大的折扣,几个人一起点餐,除去红包,满减,平均下来也就几块钱一餐饭,有时甚至还送饮料。后来,美团外卖,百度外卖纷纷入局,外卖O2O开始了疯狂的补贴大战。
经历过无数次的厮杀之后,存留下来的外卖APP们纷纷走上了正轨,但是,他们都涨价了。尽管如此,以前积累的用户也没有因为他们的涨价而离去。因为我已经习惯性的在用餐时间的前半个小时点好餐品,不需要出去日晒雨淋,就能够吃上香喷喷的饭菜。
于是,每到点餐时间,我都会掏出手机,点上一份,这一切都是无意识的行为。
用户习惯的培养,其实也是用户运营的一个方面。在用户习惯的养成上,少不了运营人员的帮助,在运营人员的帮助下,用户才能适应运营节奏。那么,运营人员在培养用户习惯上,应该怎么做呢。
1.提高运营计划周期
将运营计划从一天、几天,提高到一个月、一年的周期。
常见的活动都是围绕着一个主题策划的,为了提升一个指标,在短期内,可以是一天,也可以是一到三天的时间内做活动。
摩拜单车免费骑行活动
摩拜单车的免费骑行活动,吸引了众多用户前来使用,但是,在用户习惯还未养成之前,如果骑行需要收费,1元/半小时的摩拜单车跟0.5元/半小时的小蓝单车,你会选择哪个呢?
屈臣氏则是将活动的周期延长,将每个月10号定为会员日,所有商品享受折上折,积分还能直接当现金用,优惠力度之大,周期更加长。
屈臣氏会员日
将运营计划的周期延长之初,可能参加活动的人远没有以前那么多,效果没有以前好,但是不要紧,经过长期的积累,你的用户已经知道了在某一个固定的时间内要来参加活动。不需要大肆的宣传,也能够达到较好的活动效果。
2.利用好关键节点,做长期策略设计
对关键节点,如元旦、新年、劳动节、情人节、愚人节等,进行长期的运营策略设计。
以时间为理由做活动,比较容易获得用户的认同,比如,一号店新年的促销活动。
一号店新年活动
用户想要买买买,选择一个好的节点加点小福利,能够增强用户购买欲。但是,如果对新年这个时间点进行长期的运营策略设计,只要临近新年,用户都会回来看看,是否有便宜的东西可以购买,用户习惯不就养成了吗。
3.和产品人员、开发人员做好沟通
运营人员除了做好用户运营,也需要和产品人员、开发人员沟通好。
一个活动运营人员,如果不系统的思考活动的计划和策划,往往需要做很多重复的工作,例如,转盘和老虎机,这两个看似不同的活动,实质上是概率的问题,如果我们经过系统的考虑,和开发人员做好沟通,开发出一套由后台控制的系统,做不同活动的时候,仅需要更换UI即可。
活动盒子新建活动页面
一套活动系统可以被用到多个场景之中,支撑起多种活动,就可以被拿来复用,而且原有的活动模式已经验证成功,通过系统复用,不仅可以保证活动快速上线,也能够培养用户习惯。
4.关注竞品,看看最近有什么大动作
在做用户习惯培养时,还需要时刻观察竞品,为差异化运营做准备。
在滴滴和Uber厮杀得火热的时候,易到用车横空出世,为了分得专车市场的一杯羹,易到用车也对用户进行补贴,以下是同一时期滴滴和易到用车的打车券。
滴滴/易到用车 打车券
培养用户习惯首要的做法是赢得用户,将自己与竞品间的运营差异化,能够赢得目标用户,为培养用户习惯做准备。
总结:用户习惯的养成,不是一朝一夕就能够见效的,需要多去实践,才能找到最合适的方法,用户习惯培养好了,在下一个节点来临之前,用户就懂得回来瞅瞅是不是又有活动可以参加啦。
作者:活动盒子(huodonghezi.com),APP活动运营工具,全方位提供APP活动运营解决方案;
本文为活动盒子原创,商业转载请联系作者获得授权,非商业转载请注明出处:官网地址:http://www.huodonghezi.com/news-1121.html
刚!人工智能顶级会议 AAAI 2021 在线上开幕,作为 2021 年首个人工智能顶会,华人学者取得了大满贯。
具体表现为:两名中国来自微软亚洲研究院的中国学者获得了杰出 SPC 奖,其在众多资深程序主席中脱颖而出。这两位的名字是 Xiting Wang 和吴方照。
https://www.aminer.cn/profile/xiting-wang/5625328c45cedb3398592763
根据 AMiner 主页,我们得知 Xiting Wang 毕业于清华大学,其研究兴趣包括可解释的推荐,文本挖掘和视觉文本分析。吴方照也是毕业于清华大学,目前是微软亚洲研究院社会计算 (SC) 组的高级研究员。
此外,中国学者还获得了一篇杰出论文,题目为 “Self-supervised Multi-view Stereo via Effective Co-Segmentation and Data-augmentation”,翻译为中文为 “通过有效的协同分割和数据增强实现多视角立体的自我监督。” 作者 Hongbin xu 来自深圳市计算机视觉与模式识别重点实验室。
论文主要研究内容是:最近的研究表明,基于视图合成的自监督方法在多视图立体 (MVS) 上取得了明显的进展。然而,现有的方法依赖于不同视图之间对应的点具有相同的颜色的假设,这在实践中可能并不总是正确的。这可能会导致不可靠的自监督信号,损害最终的重建性能。为了解决这个问题,作者提出了一个以语义共分和数据增强为指导,集成了更可靠的监督框架。
论文地址:
http://34.94.61.102/paper_AAAI-2549.html
拿下了两篇最佳论文亚军。第一篇 “Self-Attention Attribution:Interpreting Information interactions inside transformer” 的一作名为 Yaru Hao,来自北京航空航天大学,二作名为董力,来自微软研究院。这篇论文说,当前基于 Transformer 的一些模型,大多将其成功之处归功于多头自我注意机制,这种机制从输入中学习 token,并对上下文信息进行编码。先前的工作主要致力于针对具有不同显著性度量的单个输入特性的贡献模型决策,但它们未能解释这些输入特征如何相互作用以达到预测。因此,这篇论文提出了一种自注意力归因算法来解释 Transformer 内部的信息交互。并以 BERT 为例广泛进行研究。
论文地址:
https://www.aminer.cn/pub/5ea2b8bf91e01167f5a89d92/self-attention-attribution-interpreting-information-interactions-inside-transformer
第二篇 “Dual-Mandate Patrols: Multi-Armed Bandits for Green Security”,其一作 Lily xu(华人面孔,不确定是否是华人)是哈弗大学的博士生,第三作者中文名为方飞是卡内基梅隆大学计算机科学系的助理教授,其研究方向是博弈论 + 机器学习。这篇论文的主要研究内容是:环境保护。其从强化学习中的多臂老虎机 (Multi-armed Bandit) 算法入手,探究了如何避免偷猎者伤害野生动物。据悉,其算法在柬埔寨的真实偷猎数据上训练之后,其性能显著提升。
论文地址:
https://www.aminer.cn/pub/5f60a74b91e0113805870332/dual-mandate-patrols-multi-armed-bandits-for-green-security
拿下了两篇最佳论文,其中一篇 “Informer: Beyond Efficient Transformer for Long SequenceTime-Series Forecasting”,第一作者名为 Haoyi Zhou 来自北航。这篇论文设计了一种高效的基于变换的长序列时间序列预测模型 Informer,旨在解决 Transformer 存在一些严重的问题,如二次时间复杂度、较高的内存使用量和编解码器结构的固有限制等等。
论文地址:
https://www.aminer.cn/pub/5fd8acf991e0119b22c1f38d/informer-beyond-efficient-transformer-for-long-sequence-time-series-forecasting
第二篇名为 “Mitigating Political Bias in Language Models Through Reinforced Calibration”,第一作者名为 Ruibo Liu,显然是为中国学子,来自达特茅斯学院计算机科学系,根据题目,这篇论文的主要研究内容是 “语言模型中的政治偏见” 问题。
论文数据一览
本届大会共评出了 3 篇最佳论文,3 篇最佳论文亚军以及 6 篇杰出论文,11 个杰出资深主席,13 个优秀程序主席,此外还评出了前 25% 的评审者。
关于论文的评审,大会组委会说,在 rebuttal 阶段,论文作者回应后,有 4537 篇论文的分数得到了改变,其中 40% 的论文分数上涨,60% 的论文分数下降。然而其实,只有 69% 的评审对了作者的回应.....
这次会议一共收到了 7911 篇论文,接收了 1696 篇,其接收率是 21.4%。与历年相比,其接受率处于中等。值得一提的是,学生论文有 70.6% 的接受率。
关于投稿总数,近几年 AI 领域一直处于上涨状态,除了 2019 年相较于 2018 年有了近一倍的增长之外,这两年投稿量增长则是缓慢趋势。录取率并不是稳定或者线性的,从上图曲线可以看出,录取率是波动状态,且 2019 年最低,只有 16.9%;最高当属 2013 年,接近 30%。
论文分地区来看,中国大陆论文总数仍然占据榜首,3319 篇的论文提交,627 篇的论文录取,其有 19.0% 的录取率。不过从提交的数目来看,占据了 1/3,录取数占据了 36%。中国香港和中国台湾也成绩颇丰,分别有 31 篇和 20 篇被录取。
论文分领域来看,机器学习、计算机视觉、NLP 以及数据挖掘和应用程序域分别占据总提交论文的 80%。
和去年相比,这个 “热度” 排名仍然没有改变。机器学习、计算机视觉、NLP 以及数据挖掘和应用程序域论文收录数分别排名第一、第二、第三、第四。
哪个领域的论文接收率最高,组委会说,优化领域今年有 43% 的接受率,博弈论原理,搜索分别有 37%、33% 的接受率。而机器学习和计算机视觉各只有 20% 的接受率。
除了公布这些奖项,本次大会,还花了浓墨重彩介绍了本届 AAAI 采用两轮审稿政策,组委会说,共收到 9034 篇投稿。两轮审稿政策对应两类文章,第一类是非 NeurIPS 和 EMNLP 转投论文;第二类是 NeurIPS 和 EMNLP 转投论文。
第二类论文中,经过修改后的重投论文,如果是来自 NeurIPS,且总分数高于 4.9;如果是 EMNLP,且总分数高于 2.8 的话。那么可以直接进入到 AAAI 2021 审稿的第二阶段。
在第一阶段,每篇论文将分配两名审稿人。如果这两个审稿人认为该论文无法被录用,那么该论文将直接被拒绝。没有被拒的论文将进入第二阶段。
在第二阶段中,每篇论文将另外分配两个审稿人。新的审稿人给出意见之前,他们是无法看到第一阶段的评论,也就是审稿相互独立。这意味着每篇被录取的论文至少有四名审稿人把关,因此质量肯定能够保证。
在审稿过程中,评审们共写了 25226 个字的 “建议”,平均下来每位审稿人有 2632 个字。
在讨论中,大多数论文的讨论有 3~5 位参与,极少数有 17~26 位参与。当然。1~3 位和 5~7 位参与的讨论的论文数,也有 1000 以上。平均下来,每篇论文有 4.6 个人参与讨论,每个讨论包含字数 358 个。
获取更多资讯,请关注学术头条同名公众号——学术头条,让视野不再狭窄!
*请认真填写需求信息,我们会在24小时内与您取得联系。