阿里两篇顶会论文拆解循环 Transformer

GPT-6 Astra 发布后，其采用的「循环深度」（recurrent depth）技术 —— 让同一组 Transformer 层反复运行、用计算深度换参数规模 —— 一夜成为热点。阿里及合作高校团队早在 11 个月前就切入这条路线，把循环架构最现实的「计算冗余」问题拆开了。

两篇论文各管一头：**MeSH**（ICLR 2026）用 Memory Buffer 加读写路由器解决循环之间「以什幺信息交接」，在 Pythia-1.4B 上减少约 33% 非嵌入参数的同时，零样本平均准确率反超普通 Transformer；**SpiralFormer**（EMNLP 2026）让每轮循环在更短的串行分辨率上计算，从全局到局部逐步聚焦，同等算力下成绩更高。

💡 为什么值得看循环深度技术省参数换深度成热点，阿里论文拆解其计算冗余卡点。