Llama for Windows发布 支持一键下载模型 无需命令行或管理员权限
对于希望在自己的电脑上运行人工智能模型的Windows用户而言,安装和配置本地AI工具一直存在一定门槛。用户不仅需要寻找合适的模型文件,还要考虑模型格式、硬件兼容性、推理引擎安装以及启动参数等问题。如今,由Hugging Face与llama.
国产卡的预编译包停了,问题不在卡上
这几天本地跑模型的圈子里在传一件事,说 llama.cpp 把国产卡停了。传的人多半是看了发布页,最下面 openEuler 那一栏写着 DISABLED,点过去的链接指向一个今年五月的合并请求。先把结论放前面。昇腾那一栏的预编译包确实停了,从五月到现在还没回来。
私有AI实战05:Ollama、LM Studio、llama.cpp、vLLM怎么选?
同样是把大模型部署到自己的电脑上,有人推荐Ollama,有人更喜欢LM Studio,而到了企业级AI应用,又经常听到llama.cpp和vLLM?你现在在用哪个?
Qwen3.8-27B 本地部署:三种方式小白教程量化版
量化就是把 54GB 的原版"压小",越小越省硬件、质量略降。先对号入座:方式一:Ollama(最省事,零配置,推荐首选)适合:想在 Win / Mac / Linux 桌面最快跑起来、不想碰命令参数的人。
信创模盒ModelHub XC|上线两个月模型适配破千 铸就国产AI算力与应用融合新基座
今天(11月27日),范式智能对外宣布,「信创模盒」ModelHub XC上线两个月,已完成适配并认证的模型数量破千,比原计划提前了4个月,国产信创AI生态在模型覆盖广度上取得显著进展,并将持续为产业智能化转型提供更为坚实与丰富的模型基座。
提速10.7倍!这个端侧推理引擎一开源,机器人本体跑大模型不卡了
第一个问题,APXInf 交出的答案是一组数字:无需改变 π0.5 模型本身,通过端到端的全栈优化,在 Thor 芯片 FP8 配置下把推理延迟从 278ms 降至 26ms,端到端提速约 10.7 倍,38.46Hz 的频率让机器人控制进入实时区间。
提速10.7倍!这个端侧推理引擎一开源,机器人本体跑大模型终于不卡了
来源:市场资讯(来源:机器之心)编辑|Panda9 月的第二周,具身圈很热闹。8 日,松延动力发布 HERON-World Model;9 日,智元一口气放出 AGILE 2.0 与 GE-Act 2.0;10 日,宇树开源 UnifoLM-WLA-1.