WebGPU 把一个小模型搬进浏览器跑推理,居然真能用
起因是个很具体的需求:我们一个工具页面要做图片里的敏感内容识别,本来想调云端 API。但产品提了个要求——用户上传的图能不能别传到服务器?涉及隐私,最好在用户自己的浏览器里就处理完。我第一反应是「浏览器哪跑得动模型」。
QCon上海2023 参会内容分享:LLM 时代的大前端技术趋势
QCon 全球软件开发大会是由极客邦科技旗下 InfoQ 中国主办的综合性技术盛会,每年在伦敦、北京、纽约、圣保罗、上海、旧金山召开。
使用ONNX和Torchscript加快推理速度的测试
近年来,基于Transformer 架构的模型一直是推动NLP在研究和工业上取得突破的动力。BERT、XLNET、GPT或XLM是一些改进了技术水平的模型,它们达到了GLUE等流行基准的顶级水平。
【验证码逆向专栏】某安登录流程详解与验证码逆向分析与识别
发现这个 JS 被混淆了,我们可以用 v_jstools 进行简单的变量还原,替换进去即可,最终我们分析可得,data 参数是由 ek 和轨迹明文加密得到的,这里我们跟进加密函数 h 中,看看 data 是如何生成的:
别瞎学 YOLO 了!这才是工业视觉检测的正确学习路径
很多刚入行的工业自动化工程师问我,想做视觉检测该怎么学 YOLO。从 2015 年 YOLOv1 诞生到 2026 年的 YOLO26,11 年时间迭代了 20 多个版本。今天我结合自己 11 年的上位机开发经验,给大家整理一条最适合工业场景的学习路线。
模型缓存越快越好?错!缓存设计不好,AI反而更慢
模型明明已经加载过了,为什么接口还是慢?GPU 明明还有显存,服务却频繁 OOM;模型明明没有更新,缓存命中率却低得可怜。更离谱的是,有些团队为了“优化模型缓存”,把模型缓存做得越来越复杂,最后发现:缓存本身,成了新的性能瓶颈。这不是一个简单的“把模型放进 Redis”问题。
一次把大模型格式搞清楚:GGUF、MLX、Safetensors、ONNX 的区别
摘要:本文聚焦GGUF、MLX、Safetensors、ONNX四大主流大模型部署/分发格式,结合2026年最新技术迭代,从设计初衷、核心特性、适用场景及实操落地展开,拆解各格式核心差异,结合一线开发经验给出选型建议,帮开发者避开部署与格式转换中的常见陷阱,兼顾专业性与实用性。