资讯
14MB内存跑起Gemma3!打印机一分钟一个token
📋总体概括
快科技11月20日消息, Google DeepMind工程师Omar Sanseviero在社交平台上展示了一次实验,他把270M参数的Gemma模型塞进一台办公激光打印机里跑了起来。整个过程没有改打印机固件,也没有外接计算板。 打印机里的算力一直被认为不够用,这次的做法是把 推理编译成一份PostScript打印文件,交给打印机自带的解释器执行,模型就在机器内部完成计算。 搭档是一
⚡关键信息
- ▸快科技11月20日消息, Google DeepMind工程师Omar Sanseviero在社交平台上展示了一次实验,
- ▸打印机里的算力一直被认为不够用,这次的做法是把 推理编译成一份PostScript打印文件,交给打印机自带的解释器执行,
- ▸搭档是一个叫Carbon的轻量推理引擎,它把模型压到打印机能承受的体量。为了不把内存撑爆,实验用了动态层流式加载,让模型
📰 相关资讯(与本文相关的其他资讯)
本文由本站自动聚合,以下为原始来源:前往 驱动之家 阅读全文 →