
更多实时资讯,谈纪请点击上方蓝字关注我们!谈纪(海量纪要文末扫码获取)胡:ChatGPT 带来模型、谈纪
福利院免费区观看区200算力、谈纪数据的谈纪多维变化,涉及不同层级的谈纪产业链,周总是谈纪如何看待上游哪个领域是未来发展的关键?周:关键是数据、训练、谈纪场景。谈纪算力不关键因为国内互联网巨头账上几百亿美金,谈纪公司也有两百亿;而且国内大量超算中心以前没任务,谈纪现在可以用于训练。谈纪ChatGPT的谈纪模型和算法很多都是谷歌做的,之所以能成功是谈纪因为微软把参数上到千亿万亿级别暴力破解,模型和算法领域的谈纪挑战是工程上如何在几千上万块显卡上训练。现在OpenAI一枝独秀,但Meta等巨头也开源了自己的大模型,随着开源推进,模型和算法上技术know-how会快速传播也不是问题。计算机行业有句名言:垃圾进垃圾出,以前聊天机器人进去的都是聊天语料没有知识,如何能把海量数据清洗预训练很重要。如果我们只用中文数据训练知识强度和广度可能不够。国内学术机构的大模型不敢展示可能就因为数据不足或规模小。此外,模型不是参数越多越好,模型只是
福利院免费区观看区200为了知识索引的准备,真正想把能力激发出来,需要人类反馈的强化学习即人工调优,可能需要设计几万、十几万、几十万问答对来让GPT理解人类查询意图,这一点被淡化了。还有一个很重要的是场景,微软放弃了很多全力帮助OpenAI在工程化和产品化和场景化上强化,让人们真正看到了人工智能如何成功,如果场景没选好很难形成商业化正循环。搜索引擎公司原来一直做NLP的事情,谷歌的Bert等模型一直都在用,在获取海量数据有天生优势,公司和百度每天抓取页面几千亿个,要洗掉垃圾网页,需要一套专门的大规模工程化服务器等基础设施。很多初创公司可能会卡在工程化。百度市占率60%,公司30%,用户每天搜什么,问什么问题公司都是知道的。最后,微软和OpenAI的合作,微软帮助OpenAI占据很多场景如搜索引擎和浏览器,后续微软有可能让OpenAI与公司的云、Teams等2C2B业务全面结合。胡:我看了AI十年,这次变革最大,未来会不会很多行业被AI取代?周:这是一个洗牌的机会,如果能抓住机会有望快速发展。三六零内部开会,每个部门、APP、应用都要思考如何使用AI赋能。现在大语音模型两年后有望发展成超级人工智能(参考Alpha Zero左右互搏迭代),GPT4知识能力已经超越地球人。GPT是产生式结果,如果用阅读理解的Bert做反馈和奖励,那GPT成长速度会非常快。综上,我认为AI是生产力工具,而不是聊天机器人等,关键是要找到场景化能力。胡:AI趋势下,以后学生如何学习呢?周:AI对各个行业只是赋能,学生需要培养问问题的能力,不问问题会被淘汰。比如,新人入职,如果善于用大模型问问题,可能很快能力超过入职三五年的人。胡:面对巨头扎堆的竞争格局,以三六零为代表的搜索引擎企业优势是什么?周:第一是数据,网上数据垃圾很多,需要有清洗数据能力,而且在搜索引擎每天有数以次用户的问答,公司与百度都有知识问答栏目,能够更好了解用户需求,使用真实用户场景对AI训练。第二是将大模型跑起来很容易,但是将几千张显卡、几个T的数据进行几个月的训练要求工程能力高,学术团队可能会有这种困难。搜索引擎是最好的AI产品化场景。公司搜索引擎市场占比30%,可以利用AI对搜索引擎进行改造。因为搜索引擎不具备智能性,不会无中生有,用户问问题我们会先用大模型泛化,做知识图谱的搜索,再通过关键词搜索匹配,把搜索结果的10-20条推给大模型去训练,这样能让AI不会胡说八道。第四,360浏览器DAU超一亿,作为企业软件SaaS化入口机会大,可以用大模型进行翻译、网页推荐等辅助。综上,我认为三六零可以形成大模型的商业逻辑闭环。政协都在说美国能做出大模型是因为模型好、算力好,但实际上我认为大家忽视了微软做到AI出圈。以前C端客户对AI不敏感,现在微软做到了让人们很简单地使用AI,包括写材料、翻译等,人们与AI更近。GPT3.5发布轰动不大,因为场景化没有提升。公司一定会利用先发优势,全方位、最大化的调用公司的资源,就是做大模型方向,公司要做500-1000亿参数的有价值有知识的语料训练的大模型,决不能等到做出发动机再去造飞机抢场景。谷歌很尴尬因为模型等技术落后,到底要做什么,如果先打造核心能力则场景都被微软抢了。三六零需要做大模型和场景化两翼齐飞,微软现在主要做场景化。胡:三六零的视角,周总是如何看待未来类 ChatGPT 的商业应用? 周:公司除了2C也在做2B,公司很重视2B,因为公司在做AI网络安全大脑时发现国内很多企业仍然希望使用私有云做大模型,因为不想把数据让竞争对手得到。我认为垂直行业场景训练不行,因为GPT最大的突破是完成了通识知识能力部署,再加上企业私有知识训练后效果好。实话说,现在国内所有的产品都是根据开源模型改的,想追上GPT4要两三年。公司预计先做个几百个亿模型,达到GPT4六成功力时在企业内部部署,因为B端不像C端有那么多长尾需求,B端G端公司已经有很多客户了。在ToSME端,公司将推出生成式AI办公套件、AI企业即时通信工具等SaaS应用,OpenAI在美国找了100+SaaS公司,做垂直行业训练面对中小企业。国内SME公司痛点是要少花钱、部署简单、简单实用,SaaS更适合/公司去年面向SME推出免费安全云服务,一年收获120w客户,我们可以在SaaS浏览器上建立一个SaaS商店加入GPT能力,找合作伙伴做场景。另外我们的浏览器要加上AI插件变成AI个人助理,对2B/2SMB/2C各场景使用不同能力,尽快像微软一样占据用户使用场景。胡:百度文心一言发布,建立了国内首个芯片、框架、模型、应用层全覆盖的开发平台,三六零以后也要向这个方向发展吗?周:不会。比如谷歌以前自己开发了GPU做训练,但还是不如A100。框架上,想做训练还要和其它芯片适配,比如国内很多加速计算技术公司都是基于国际开源框架。微软也只是做应用。既然发现transformer和decoder的方向是对的,就沿着这个方向干下去把模型干到千亿参数。未来三六零会通过自研和合作的方式在框架上发力,在框架基础上占据2G/2B/2SME/2C各场景。胡:百度文心一言发布后,我们内部测试应用效果还可以,三六零是否更有信心把应用做好?周:我们认为百度快速发布是因为GPT4发布后效果好。我们更想做一个和搜索引擎相结合的。国内,我认为不会像美国一样一枝独大,各个大厂都会公开自己的大模型和API,二线大厂不会用一线大厂的模型和API,我认为有应用有场景的公司,胡:在中国电信也宣布布局企业版 ChatGPT 后,我国对于 ChatGPT 的关注已提升到高层视 角,从您的角度看,国家队的进入会对业态造成何种化学反应?A:我认为民企和国企都在一个起跑线上,我给有关部门写材料,大模型不是传媒、不是聊天软件,是生产力工具,不能过分管制。胡:国内大模型与国外大模型差距?周:GPT4的参数量我预计达到万亿级别(10倍),训练用数据也大了5-10倍,同时还有几十万组问答流投喂,我认为GPT4已经有智能了。在多模态上,GPT4稳胜国内,因为GPT4把所有图像、文字等都看成序列,凭借知识链可以理解图像每个组成部分。GPT4支持3.2w tokens,体现出对文字理解能力强。GPT3.5与国内差距18个月,GPT4差距2-3年。我认为大模型上国内与国外差据比芯片、光刻机小多了,GPT4在人工智能训练(标注)上预计有创新,国内有人口红利。胡:物联网终端与大模型的关系?周:无论电脑还是云主机还是手机,GPT和其中的操作系统没关系。现在是我们把大数据给GPT引擎训练,如何GPT再用自然语言或API方式传给千家万户。(各行业纪要+v:hjk985211)原来企业直接用自己的大数据不好用,现在传给GPT训练,将来企业里面有公有云GPT也有私有云GPT。纯做GPT模型的公司我不看好,能发起来的要有场景,场景越大商业价值越大。胡:多模态和机器人的关系如何,未来人型机器人的机会?A:如果不考虑机器人的外型,各种工业机器人、扫地机器人等在GPT赋能下和人交流问题不大。机器手臂寻找空间定位是指令组合,只要形成一个序列就行,多模态就可以做这个,传统做语音识别、图像识别的公司可能有危险,因为GPT对于序列的预测很有效。GPT机器手臂的限指可能是机器手臂抬举的力量,属于是机械问题。现在的智能音箱很多都是“智障”,但ChatGPT估计通过了图灵实验,这一关如果能突破会带来大机会,让机器人像真人一样有皮肤什么的也有人在做,真正人型机器人最大的问题还是物理上的。胡:从公司的视角如何看待类GPT模型接入物联网终端带来的边缘计算需求?A:GPT这样的大模型推理主要还是云计算,比如智能音箱以后都是硬件APP,核心还是云端。大语言模型很强的是在云端完成计算,直接向终端推送,比如现在智能音箱都不需要改硬件,把软件改了就行了。
(调研纪要源于网络信息平台,相关方如有异议可联系本公众号删除,如有不便,烦请谅解。感谢您的关注!)
Join us,共同富裕!每日实时更新卖方机构/买方机构/产业大佬提供的PDF电话会议纪要,白名单电话会议纪要,音频纪要,调研纪要,估值模型,数据库,投研框架等100+,扫描下方二维码即可获取。
阅读原文