飞象原创(魏德龄/文)连续三年,每个新年意识AI突破都成为了科技行业的最热新闻。从ChatGPT到o1,再到今年的DeepSeek。不过与头两年OpenAI公司的ChatGPT不同的是,由于开源的属性,DeepSeek可以在线使用外,也吸引着很多人尝试进行本地化部署,甚至出现了在各大社交分享平台上教程一抓一大把的盛况。

DeepSeek掀起本地化部署热潮

大语言模型的本地化部署绝非什么新鲜事,在DeepSeek之前,Meta AI公司的Llama模型就曾被很多人在个人PC与智能手机上进行部署。一些厂商在去年也开始将能够运行本地大模型的能力作为卖点,例如荣耀Magic6在发布时表示通过搭载第三代骁龙8,设备支持7B参数的AI端侧大模型。

随着DeepSeek在今年年初展现出媲美ChatGPT o1的能力后,加之其开源的属性,用户可以通过以往的本地部署方式来获得离线的AI能力。配合部署检索增强生成还能构建起基于自身需求的知识库,方便随时进行信息检索与查询。同时,不用担心敏感数据上传至云端造成泄漏。

DeepSeek引发本地AI部署潮

面向不同的设备算力需求,DeepSeek目前提供了1.5B、7B、8B、14B、32B、70B、671B不同参数量级的大模型。一般而言,目前市面上的旗舰手机可以部署至7B,电脑一般可以在8B和14B间抉择,有超高硬件实力的电脑可以跑32B。而更高参数量级的模型多会部署至云端,通过更强的算力来运行,这也是如今各大国内云平台正在纷纷宣传自身已经提供DeepSeek能力支持的原因之一。

工作能力与RAM强相关

参数量与最终本地AI的实际工作能力存在正相关。例如同样是调取知识库中的资料来撰写报告,14B会比8B的模型在信息理解与生成内容质量上有着明显提升,致幻率也会大幅降低。同理,32B大模型在工作能力上的提升会更加显著。

而可以运行模型的参数量大小与智能手机的RAM又存在正相关。客观上说,移动设备由于CPU与GPU共享内存,所以更占据优势。由于目前手机一般最低8GB起步,来应对多线程任务与多媒体需求,所以运行7B模型完全不在话下。但是,以苹果iPhone 15 Pro系列起的RAM仅为8GB的机型而言,由于其他线程仍需占用部分资源,所以其难以运行8B的模型。

DeepSeek引发本地AI部署潮

非X86架构的PC也在本地AI部署中获得了能够部署更大参数量级模型的优势,由于同样拥有共享内存的机制。以16GB的Macbook为例,其在不同时运行其他过重任务的情况下,可轻松运行14B的模型。但对于拥有16BG内存的X86 PC而言,无疑还需要看配备的GPU规格而定。

这也再次印证了苹果iPhone 15系列数字版机型无缘AppleIntelligence的原因,由于其仅配备6GB RAM,产品规划时或许苹果还未谋划自身的AI布局,导致这部刚刚上市一年的机型,却无缘后续的AI功能升级。传闻中即将发布的面向入门级市场的iPhone SE 4,有消息显示,为了满足端侧AI的功能需要,将RAM同样提升至了8GB。

手机RAM能否还有加码空间

实际上,旗舰手机的RAM配置早已处在一个多年不变的“卷不动”状态。甚至当三星在2022年发布Galaxy S22 Ultra时,将起始RAM版本从上代的12GB下降至8GB。而在该时间节点前,Android手机曾经一度迎来了RAM的爆发式增长,以三星手机为例,Galaxy S8国际版的标配RAM为4GB,当时仅专门为国行提供了6GB版本。到了Galaxy S10系列,8GB RAM则成为标配,要知道在Galaxy S9系列中,还依旧在延续与S8相似的RAM配置策略。在Galaxy S20系列中,12GB RAM更是成为起步配置,Galaxy S20 Ultra更是加码到了16GB RAM。当时,甚至有分析人士断言,16GB的普及将只是时间问题。此外,部分厂商面向中国市场,还会提供更大RAM版本的特供机型,来满足推送机制更加多元化的国内使用环境。当经过当时市场的最终检验,8GB成为一段时间以来的最合理标配,近年来,国内手机厂商又才将标配RAM提升至12GB。

而随着本地AI部署,从厂商的概念演示,变为越来越多用户渴望尝试的新功能,无疑也对于更强工作能力、更低致幻率的更高参数量级的大语言模型也产生了更大的需求,当下部分Android旗舰机型所配备的16GB RAM,无疑为运行14B大模型提供了重要的前提条件。

苹果方面的iOS生态也很可能正在改变固有的以较小RAM来实现产品流畅体验的策略。根据网上显示,目前苹果Apple Intelligence部署在本地设备的参数量级为3B,测试得分可高于诸多7B参数的开源模型。显然,后续如果继续提升参数量,所产生的功能提升不容小觑。无巧不成书的是,已经有外媒透露,今年发布的iPhone 17系列的RAM将会提升至12GB。毕竟在一个理想的使用状态下,智能手机不仅要运行大模型来带来体验变革,还要同时运行其他功能。

智能手机或许将迎来又一个RAM加码的时间节点。

友情提示

本站部分转载文章,皆来自互联网,仅供参考及分享,并不用于任何商业用途;版权归原作者所有,如涉及作品内容、版权和其他问题,请与本网联系,我们将在第一时间删除内容!

联系邮箱:1042463605@qq.com