使用ONNX和Torchscript加快推理速度的测试
近年来,基于Transformer 架构的模型一直是推动NLP在研究和工业上取得突破的动力。BERT、XLNET、GPT或XLM是一些改进了技术水平的模型,它们达到了GLUE等流行基准的顶级水平。
Agent 的记忆长什么样:从上下文窗口到记忆系统到工程实现
今天你问一个 AI 助手“我上次说的那个方案改得怎么样了”,它一脸茫然;明天换个会话,它连你叫什么都不知道。问题在于模型是无状态的:每一次推理都是一次“重生”,上一轮对话对它而言只是本次输入里的一段文本,它根本没有记忆。那 Agent 的记忆,到底长什么样?
每天五分钟深度学习框架PyTorch:算法模型的保存和加载(CPU和GPU)
本文重点我们前面学习了模型的训练,比如线性回归,全连接神经网络,各种经典的卷积神经网络,模型训练完成之后,我们如何将训练的模型保存起来,然后方便之后的使用。pytorch已经封装好了相关的api,下面我们对此进行介绍。保存模型的两种方式在pytorch中使用torch.
《动手学深度学习》精读05|第5章:怎么造模型
一、前四章都在"用"模型,这一章开始"造"第 5 章有点特别。它不教新模型,不换新数据集,专门讲框架本身怎么运作。李沐把它放在这里是有道理的:前面四章你把模型当黑盒用,从这一章起,框架里没有的层你得自己写,参数你得自己管,显存你得自己看着。
Transformer从入门到实战:教你搭建中英翻译系统(附完整代码)
注:接上一篇Transformer理论之后的实战很多人学Transformer只看理论,一写代码就懵。今天我就用PyTorch官方API,带你从头撸一个中英翻译项目。代码全公开,注释比代码还多,保证你跑得起来、看得懂、能复用。
全球首个Linux开发本:50TOPS算力,DeepSeek都配好了,随地开发
金磊 发自 上海量子位 | 公众号 QbitAI不是你以为的AI PC,全球首个算力本——AIBOOK,它来了!要说跟AI PC最大的区别,那就是AIBOOK它内嵌的系统,就是程序员们搞开发最爱的Linux。而也因如此,它同时还解锁了“全球首个基于Linux的开发本”的头衔。