TrainLlmFromScratch：从零训练大模型，降低LLM入门门槛
随着生成式人工智能技术落地提速，大语言模型从商用闭源逐步走向平民化落地，但普通开发者想要从零搭建、训练专属LLM依旧存在诸多阻碍。
train-llm-from-scratch：从零理解大模型训练
近几年，大语言模型（LLM）成为人工智能领域最受关注的方向之一。但很多开发者在学习过程中都会遇到一个问题： 会调用 ChatGPT API，并不代表真正理解大模型是如何工作的。从 Token 分割、模型结构，到训练流程、参数优化，一个完整的大模型背后涉及大量机器学习和工程知识。
用国产GPU训练的国产大模型来了！能耗暴降97.7%
智东西作者 | 陈骏达编辑 | 心缘智东西9月10日报道，9月5日，中国科学院自动化研究所发布了类脑脉冲大模型“瞬悉1.0”（SpikingBrain-1.0）的技术报告。SpikingBrain-7B开源模型仅用主流大模型2%的预训练数据，就实现了Qwen2.
全球媒体聚焦 | “非洲的开发者们更愿意使用中国AI模型”
中国人工智能大模型正以开源、低价、低能耗、可自主部署的姿态走向全球。《纽约时报》8月5日刊文称，在非洲科技中心，开发者们更倾向于选择中国的人工智能模型。
用国产GPU训练的国产大模型来了，能耗暴降97.7%
智东西9月10日报道，9月5日，中国科学院自动化研究所发布了类脑脉冲大模型“瞬悉1.0”（SpikingBrain-1.0）的技术报告。SpikingBrain-7B开源模型仅用主流大模型2%的预训练数据，就实现了Qwen2.5-7B 90%的性能，并与Llama-3.
陆子恒：我们用AI穷举了20万种材料，知道了一个价值10亿的问题 | AI for Science沙龙
5月21日，未来光锥「AI for Science 创变者说」第二期沙龙“AI+材料的千亿级机会”，邀请了三位学界与产业一线嘉宾，共同探讨AI+材料科学的前沿与实践。
全流程国产GPU，上下文提速100倍，中国科学院发布「线性复杂度」类脑大模型
【导读】SpikingBrain借鉴大脑信息处理机制，具有线性/近线性复杂度，在超长序列上具有显著速度优势，在GPU上1M长度下TTFT 速度相比主流大模型提升26.5x， 4M长度下保守估计速度提升超过100x；在手机CPU端64k-128k-256k长度下较Llama3.
何恺明团队新作：看猫片就能学会ARC挑战
它不靠LLM，用ImageNet上的猫狗花草做预训练，让模型学会「看」，再迁移到抽象格子推理上。ARC全称Abstraction and Reasoning Corpus，由Keras之父François Chollet在2019年提出。
扩散模型里的噪声，原来还有这样作用：DRDD重新定义统一图像翻译
本文作者包括 Ziyue Lin、Jiahe Hou、Hongyu Xia、Xinrui Xie、Feifei Wang、Yuyin Zhou、Wei Wang、Jiawei Liu 和 Liangqiong Qu。
只靠国产算力预训练，稳！全流程开源，「开元」盛世真来了
编辑：LRST【新智元导读】当算力受限、数据参差，如何训练出高效可用的端侧模型？鹏城实验室联合清华不仅给出了答案，更将每一步都开源共享。如果实验室只有国产算力、有限资源与开源数据，能否玩转端侧模型的预训练？鹏城实验室与清华大学PACMAN实验室联合发布了鹏城脑海‑2.