如何让深度学习变得简单

 nick产品设计新闻     |      2020-11-13 13:39

  x,用户推出了基于深度学习的新一代产品,与以前不同的是,这些产品并非都是使用独一无二的模型架构构建的。

  广义上讲,迁移学习是指在为特定任务训练的模型中积累知识,例如,识别照片中的花可以转移到另一个模型中,以助于对不同的相关任务(如识别某人皮肤上的黑色素瘤)进行预测。

  注:如果想深入研究迁移学习,塞巴斯蒂安·鲁德(Sebastian Ruder)已经写了一本很棒的入门书。

  在这种方法中,团队得到一个预训练的模型,并移除/重新训练模型的最后一层,以专注于一个新的、相关的任务。例如,AIDungeon是一款开放世界的文本冒险游戏,因其人工智能生成的故事极具说服力,而迅速风靡:

  值得注意的是,AI Dungeon不是在谷歌的一个研究实验室里开发的,它是由一个工程师建造的项目。

  AI Dungeon的创建者尼克·沃尔顿(NickWalton)并不是从头开始设计一个模型的,而是通过采用最先进的NLP模型OpenAI的GPT-2,然后根据自行选择的冒险文本进行微调。

  这项工作之所以有效,是因为在神经网络中,最初的层关注简单的、一般的特征,而最终层则关注更多针对任务的分类/回归。吴恩达通过想象一个图像识别模型来可视化这些层和它们的相对特异性水平:

  事实证明,基础层的一般知识通常可以很好地转化为其他任务。在AI地牢的例子中,GPT-2对普通英语有着比较先进的理解,只需在其最终层进行一些再训练,就可以在自己选择的冒险类型中表现出色。

  通过这个过程,一个工程师可以在几天内将一个模型部署到一个新的领域中,从而获得比较新的结果。

  在前面,笔者提到机器学习和深度学习所需要的有利条件,特别是要有效地使用这些条件。你需要访问一个大的、干净的数据集,需要设计一个有效的模型,需要方法进行训练。

  深度学习通常需要大量的标记数据,在许多领域中,这些数据根本不存在。迁移学习可以解决这个问题。

  例如,哈佛医学院下属的一个研究小组最近部署了一个模型,该模型可以“根据胸片预测长期死亡率,包括非癌症死亡”。

  在拥有大约50000个标记图像的数据集的条件下,研究人员没有从零开始训练CNN(卷积神经网络)所需的数据。取而代之的是,他们采用一个预训练的IncepTIon-v4模型(在拥有超过1400万张图像的ImageNet数据集上进行训练),使用迁移学习,通过轻微修改架构来使模型适应他们的数据集。

  最后,他们的CNN成功地仅使用一张胸部图像为每位患者生成与患者实际死亡率相关的风险评分。

  例如,当谷歌开发比较先进的图像分类模型excepTIon时,他们训练两个版本:一个是ImageNet数据集(1400万张图像),另一个是JFT数据集(3.5亿张图像)。

  在60 NVIDIAK80GPUs上进行各种优化的训练,运行一个ImageNet实验需要3天。JFT的实验花了一个多月的时间。

  然而,现在已经发布预先训练的XcepTIon模型,团队可以更快地微调自己的版本。

  例如,伊利诺伊大学和阿贡国家实验室的一个小组最近训练了一个模型,将星系的图像分为螺旋状或椭圆形:

  尽管只有35000个标记图像的数据集,他们能够在8分钟内使用NVIDIAGPUs对XcepTIon进行微调。

  当在GPU上运行时,模型能够以每分钟超20000个星系的超人速度对星系分类,准确率达99.8%。

  当在60 GPUs上训练Xception模型需要数月的时间的时候,谷歌可能不太在乎成本。然而,对于任何没有谷歌规模预算的团队来说,模型训练的价格是一个真正令人担忧的问题。

  例如,当OpenAI第一次公布GPT-2的结果时,他们发布了模型架构,但由于担心误用,没有发布完整的预训练模型。

  作为回应,Brown的一个团队按照本文所述的架构和训练过程复制GPT-2,并调用模型OpenGPT-2。他们花了大约5万美元去训练,但表现不如GPT-2。

  如果一个模型的性能低于比较先进的水平,那么5万美元对于任何一个团队来说都是一个巨大的风险,因为他们在没有大量资金的情况下去构建真正的软件。

  建造AI Dungeon时,尼克·沃尔顿通过微调GPT-2来完成项目。OpenAI已经投入大约27118520页的文本和数千美元来训练这个模型,而沃尔顿不需要重新创建任何一个。

  一种涵盖了一些极强性能的新编程语言即将出现,人们将把它用于专门的案例、研究项目和玩具上。在这个阶段,任何使用它的人都必须从头开始构建所有的基本实用程序。

  接下来,这一社区中的人们开发库和项目,将公共实用程序抽离出来,直到工具能够稳定地用于生产。

  在这个阶段,使用它来构建软件的工程师并不关心发送HTTP请求或连接到数据库,所有这些都被抽离出来的,工程师们只关注于构建他们的产品。

  换句话说,脸书构建React,谷歌构建Angular,而工程师使用它们来构建产品。随着迁移学习的发展,机器学习工程正朝着这一方向迈进。

  随着OpenAI、谷歌、脸书和其他科技巨头发布强大的开源模型,机器学习工程师的“工具”变得更加强大和稳定。

  机器学习工程师们不再花时间用PyTorch或TensorFlow从头开始构建模型,而是使用开源模型和迁移学习来构建产品,这意味着全新一代的机器学习驱动软件即将面世。

  直播主题:● AI知名企业大佬现场分享观点,解读行业趋势● 中国AI产品制造商和系统集成商的产品、技术和市场战略● AI

  3月19日,近日,麻省理工科技评论、Gigabit Magazine、PYMNTS在内的国外科技、金....

  我们已经看到OpenAI使用神经网络训练Dactyl来解魔方,以及一种称为6-DoF GraspNe....

  近期,“新基建”一词成了各大搜索引擎的热门关键词。目前官媒定义的“新基建”主要包括七大领域:5G基建....

  具体来看:中国工业互联网细分领域结构情况中,基础设施规模约占总规模的41%;软件与应用规模占比为31....

  人工智能在网络安全市场中的潜在机遇包括中小企业对基于云的安全解决方案的需求不断增长,以及越来越多地使....

  普思英察CTO俞波博士向大家介绍了其公司应用在无人驾驶上的视觉感知模组和整车软硬件方案,区别于其他厂....

  生活在人工智能时代,“智慧城市”、“智慧交通”等技术创新驱动着城市整体的发展,成为未来中国经济发展的....

  凭借着便携式超声影像设备,祥生医疗的营收从2016年开始飞速增长,而今又研发出超声影像AI产品。如认....

  三月中旬,正值苹果树水肥管理的关键时节。在山东省宁阳县宁庄岭村的苹果示范园里,山东省科技特派员、山东....

  近年来,随着深度学习的迅速发展和广泛的潜在应用,基于计算机视觉的唇读技术受到越来越多的关注,它在实践....

  2020,这是一个特殊的年份。那对于这个信息化的时代,AI会有哪些变化或进展呢?我们可留意一下这些人....

  人工智能的算法、计算能力、数据是三大核心,每一项目都需要持续维护、更新和投入。随着人工智能研发成本的....

  正是因为不断创造以智能化为核心的新业态和新模式,我们才有远程办公、视频会议、在线医疗、在线教育、智慧....

  据报道,中央政治局常务委员会会议指出,“加快5G网络、数据中心等新型基础设施建设进度”,引发各界高度....

  疫情发生以来,很多城市居民表示,由于部分小区禁止外人进入,许多快递员只得在小区门口摆起了“地摊”等收....

  近几年来,随着物联网技术及应用的发展,信息化、通信、云计算,大数据,人工智能等技术的融合应用对建筑智....

  移动机器人通过对于周围环境的扫描生成即时地图,并预见其路线上的所有障碍,从而能够提前规划路线并优化导....

  据报道人工智能机器人开始进入了医学领域,与机器学习、数据挖掘、计算机视觉、专家系统、自然语言处理、规....

  随着政务信息化改革的深入,政府需要一个更强大的数据平台,帮助他们打通各部门的业务系统,实现不同部门数....

  Intel在神经拟态前沿研究上不断取得重大突破。日前,Intel Loihi神经拟态研究芯片拥有了“....

  随着经济和技术的快速发展进步,企业的营销观念也在不断的创新跟上时代的变迁。

  人工智能名片的小程序从切入电商点来说,这对任何企业或任何人来说,建设成本微小得几乎可以忽略不计。

  当AI技术不断渗透进人们生活的方方面面时,它对能源行业的影响似乎也成了必然。

  借助人工智能技术优势,北京的人工智能企业已研发AI疫情推演及病毒溯源方案,并正式投入到抗击疫情的一线....

  这份报告提供了一个框架,通过 4 种假设情境来评估市场影响,这些假设情境对可能会有的结果范围进行了估....

  AI 开源工具和技术以频繁且准确的结果吸引了每个行业的关注。这些工具可帮助你分析绩效,同时为你带来更....

  共享车行以“绿色共享”理念来持续打造智能个性化与公共化相结合的出行新体验。将充分发挥其在新能源领域内....

  人工智能正在丰富人们在数字对话中的情感表达,使人们共享内容的方式更加高效和自然。

  疫情之下,人工智能凭借精准筛查、推演和溯源病毒路径等手段,在医疗、疫情防控以及复工复产等方面都发挥了....

  据安徽省人民政府官网消息,近日,安徽省人民政府发布关于支持人工智能产业创新发展若干政策的通知。据通知....

  每个物联网设备都会创建数据,而这些数据是人工智能引擎的动力。人工智能使人们能够对数据做更多有趣的事情....

  物联网将产生大量的传感器数据,再结合人工智能,可以将人类的潜能提升到新的水平。

  中国信通院云计算与大数据研究所副所长魏凯说,近年来,人工智能开始融入人们日常生活,成为一种新型基础设....

  美国国家海洋与大气管理局的研究科学家正在利用Microsoft的人工智能功能,以推动他们研究和保护濒....

  除Push Doctor之外,英国还有两个较有名的在线医疗公司Babylon和Ada Health。....

  约翰逊说:“在短短一年的时间里,我们打破了所有记录。英国的科技投资飙升了44%,超过了100亿英镑(....

  哈佛商学院教授,该校数字化副主任马可·伊安斯提(Marco Iansiti)表示,正如新型工业公司预....

  人工智能(AI)和物联网(IoT)在食品和饮料行业中正变得越来越重要。

  《案例集》由中国电子技术标准化研究院牵头编写,联合编写单位有电科云(北京)科技有限公司、海信集团、联....

  建设合肥综合性国家科学中心人工智能研究院,开展基础研究、应用基础研究、技术创新和应用示范,为人工智能....

  的确,人工智能已开始介入到诗歌、散文等文艺创作之中,甚至生成的某些产品具有特定的风格,有“类人”的趋....

  腾讯公司认为,涉案文章作品的著作权应归其所有,盈某科技的行为侵犯了其的信息网络传播权并构成不正当竞争....

  阿里巴巴集团客户体验事业群人工智能训练专家王智宇告诉新浪科技,这是人工智能训练师主要做的事情。“我们....

  深至科技合伙人张卓表示,2020年2月,美国FDA批准了的第一款基于人工智能的超声影像辅助系统。此次....

  2020年,新型冠状病毒席卷了整个中国,同时也在促进着产业的变革与生活变化。 电子发烧友在此期间推出【战疫专题】活...

  响应行业应用和满足客户需求,米尔推出了基于NXP公司i.MX 8M Mini系列芯片的MYC-C8MMX系列核心板及开发...

  该移动音乐机器人以英飞凌16 位单片机XE162FN 处理器为核心,英飞凌开发的16/32 位微控制器具有高度系统集成、无需...

  2020年,新型冠状病毒席卷了整个中国,同时也在促进着产业的变革与生活变化。 电子发烧友在此期间推出【战疫专题】活...

  折腾了一个新年,总算勉强有点效果了,这个任务真是大坑啊,关键的识别部分没多大难度,但上位机、下位机、机械结构接...

  活动简介 艾睿电子解决方案展示会是艾睿电子自主主办的展会,也是每年一度的 ACT (Arrow Centralized Training...

  提起单板电脑,树莓派基金会发布的树莓派系列开发板或许是最广为人知的,该公司坚持使用博通的SOC芯片,以实现不断...

  串口屏应用案例-自助点餐系统 自助点餐系统应景而生,彻底打破了传统,能够有效的减少排队使用的时间。在自助点餐机器...