早在2月份的时候,NVIDIA就推出了基于LLM的聊天机器人ChatwithRTX,而在5月份的时候,这个聊天机器人更新了,添加了新的模型和新的功能,包装包也从35G缩小为11G,并且软件正式改名为了ChatRTX。

在上一篇关于Chatwith RTX的文章与视频中,我们提到ChatwithRTX并没有自带的中文答复,想要实现中文回答,就需要动手进行自行安装环境、大语言模型等,但这一步对用户来说有着比较高的门槛,得经过许多繁杂得步骤,才能实现中文问答。

在介绍前,我们先简单说下ChatRTX是什么,ChatRTX使用RAG技术,经由NVIDIATensorRT-LLM 和NVIDIARTX加速,为RTXWindowsPC 和工作站带来聊天机器人功能。所以使用ChatRTX的前提条件是,你得拥有一张RTX30、RTX40系显卡,并且达到8GB显存及以上。

ChatRTX的特色主要是运行于本地,与上传至云端的各家AI聊天机器人不同,本地运算在数据保存方面更加的安全,并且得益于NVIDIATensorRT-LLM的加持,在处理上也更为迅速,避免输入问题结果加载半天才憋出一句答案的情况出现。

此次ChatRTX的更新除了具有原先的Gemma模型外,还拓展了一款支持中英双语的ChatGLM3模型,所以在使用上要更为方便,不必像上一版一样进行环境等安装,这次更新后也让更多用户易上手,中文对话也是对答如流,在导入文档后,能在文件夹内快速检索你所需的内容资料,并呈现给用户。

除了新的大语言模型外,此次ChatRTX还加入了图像提示词检索的功能,在导入一个包含图片的文件夹后,ChatRTX可以通过OpenAICLIP将图片的关键词提取出来,这样你输入图片的关键词,比如爬山,那么ChatRTX会将文件夹里关于爬山的图片提供给你,可以说是极大方便了本地图片的搜索,哪怕忘记了也可通过关键词检索搜到。

另外,ChatRTX还加入了语音识别功能,能识别30s内的语音并输入到对话框,其中也包括识别中英文,无论是工作中解放双手,还是后续拓展功能,语音识别都是有利于用户的,不过上一版的问题还是存在的,就是ChatRTX并不能联系上下文,也就是每问一个问题,他就会清空记忆,每次提问都只能是“一次性”问题。

不过相信ChatRTX在后续也会持续更新,成为一个反馈快速的本地化聊天、文件检索的机器人,但这一切的前提,是你得拥有一张NVIDIARTX 30系显卡,正所谓买新不买旧,影驰RTX4070 SUPER金属大师OC这张新出不久的RTX40 SUPER系显卡,就是你的最佳选择。

影驰RTX4070 SUPER金属大师OC采用了NVIDIAAda Lovelace 架构,拥有强大的性能,并且12GB的显存容量,能轻松满足LLM的硬件需求,无论是游戏还是AI方面,影驰RTX4070 SUPER金属大师OC都能胜任,所以喜欢的朋友,欢迎前往影驰官方商城挑选与购买~

(8735139)

友情提示

本站部分转载文章,皆来自互联网,仅供参考及分享,并不用于任何商业用途;版权归原作者所有,如涉及作品内容、版权和其他问题,请与本网联系,我们将在第一时间删除内容!

联系邮箱:1042463605@qq.com