ARTICLE DETAIL / 01 深度阅读

从事实、背景与趋势出发,整理一份更值得慢下来阅读的内容。

READ
WITH
FOCUS
当前位置 必一体育全球官方网站 - BIYISPORTS SPORTS 资讯中心 最新开源 33B 大模型,能力反超 Qwen3.8-27B ?实测,有点东西,但不多
FEATURED REPORT

最新开源 33B 大模型,能力反超 Qwen3.8-27B ?实测,有点东西,但不多

本篇内容由必一体育整理:

大家好,我是 Ai Qwen 的老章 众所周知,大模型本地部署我的最爱是 Qwen 27B 系列 刚发现有一个新模型 Nanbeige4.

3-33B 发布了,声称:30B 级别的开源 Agent 天花板,多项核心基准直接反超 Qwen3.

8-27B 提到 Qwen3.

8-27B ,成功引起了我的注意,我测试过 N 多 27B 魔改版本,它们有舍有得,都没有撼动我内网机 Qwen3.

8-27B 原版的地位 看了下 Nanbeige4.

3-33B Benchmark: Terminal-Bench 4.

0 拿下 23.

8 分,对比 Qwen-27B 只有 6.

3 分 DeepSWE 冲到 65.

5 分,也把 Qwen 42.

5 甩在身后 支持 512K 超长上下文,主打成本高效推理,覆盖多行业真实协作任务 大家都懂,每家大模型厂商公开出来的 Benchmark 跑分都是精心挑选过的,真有宣发吹的这么神吗?

我正好手里有 Google Colab 的算力额度,通过 Colab CLI 拉起了一台顶配英伟达 A100-80GB 实例,把 Nanbeige4.

3-33B 和 Qwen3.

8-27B 放进同一个硬件容器,从底层显存开销到 5 个真实业务场景全部拉满跑了一遍 实测跑完,一句话总结: 有点东西,但真不多 先看测试环境:A100-80GB 真实硬件容器 关于在云端 GPU 上部署和评测大模型,我之前写过: 我在 Google Colab 上拉起了 A100 GPU 容器: # 安装并直连 Colab A100 高配实例(High-RAM 确保分配完整 80GB SXM4) pip install google-colab-cli colab new -s a100-qwen --gpu A100 --high-mem 这台机器的配置如下: GPU 算力 :单张顶配 NVIDIA A100-SXM4-80GB (物理显存 81,920 MiB) 主机配置 :167 GiB 运行内存,194 GB 临时固态磁盘 核心依赖 : PyTorch 2.

13.

0+cu130 、最新推理引擎 vLLM 0.

32.

0 为了保证测试环境的绝对公平: 针对 Qwen3.

8-27B,专门安装了 flash-linear-attention 算子库,完美驱动其独创的 48 层 Gated DeltaNet 线性注意力核 针对 Nanbeige4.

3-33B,配置标准 Llama 注意力核 两个模型全部拉取官方开源的原生 bfloat16 权重装载,不搞任何 4-bit 或 8-bit 量化妥协,推理参数统一设为官方推荐的 temperature=1.

0, top_p=0.

95 ,全程开启 Thinking 模式 显存算账:512K 超长上下文的单卡幻觉 # 实例环境依赖拉满 uv pip install --system vllm flash-linear-attention hf_transfer # 启动 vLLM 独立推理服务 vllm serve Nanbeige/Nanbeige4.

3-33B \ --host 0.

0.

0.

0 \ --port 8000 \ --dtype bfloat16 \ --max-model-len 16384 \ --gpu-memory-utilization 0.

92 \ --reasoning-parser qwen3 \ --tool-call-parser qwen3_coder 很多朋友看到“30B 参数”与“支持 512K 上下文”,第一反应肯定是:太香了,手里单张显卡又能低成本干大活了 事实上BF16 在 A100 也就能撑起 16K 上下文,再大就 OOM 了: Nanbeige4.

3-33B :权重净重 **61.

69 GiB (66.

24 GB)**,在 A100-80GB 上载入权重后,显存瞬间吃掉 74,265 MiB,留给 KV Cache 的空间只剩 9.

41 GiB Qwen3.

about image

8-27B :权重净重 **51.

75 GiB (55.

56 GB)**,比 Nanbeige 整整轻了 10 GiB,可用 KV 空间达到 18.

95 GiB 更大的差距在底层架构的取舍上: 显存与 KV Cache 随上下文长度膨胀对比 Nanbeige4.

3-33B 采用传统的 52 层纯全自注意力(Llama 架构),单 token 的 KV Cache 开销高达 208 KB / token ,在 80GB 显存的 A100 上,它剩余的 9.

41 GiB 显存,最多只能容纳 47,440 个 token 如果你开一个 16K 的上下文请求,整张 80GB 显卡的最大并发只有 2.

9 次 如果上下

本文内容由必一体育整理。

返回资讯列表
分享这篇内容让更多人看到有价值的信息
TRENDING NOW / 03

热点内容

编辑团队正在关注的内容方向。

这5种中药很伤肝,有人还当补品,经常吃!最好早了解!

这5种中药很伤肝,有人还当补品,经常吃!最好早了解!

众所周知,肝脏是人体内非常重要的排毒解毒器官,只有肝脏正常运转,人体其他脏器功能才能够维持其正常功能。但是如今临床上肝病却成为一种常见病,多发病,一旦得不到有效控制,死亡率非常高。 在全国16家大型医院的药物性肝损伤病例中,中草药占致病因素的23%,多家大型专科医院数据表明,超过一半的药肝病例跟中药相关,一种严重到能致死的肝病——急性肝衰竭最主要的病因正是中草药。 关于吃中药,常常见到两种极端:很

中方邻国出大事了,中国紧急出手,家门口一片火海,蒙古:日本干的

中方邻国出大事了,中国紧急出手,家门口一片火海,蒙古:日本干的

果然,天下从来没有免费的午餐。本以为是自己坐收渔翁之利,结果没想到,自己却捡了芝麻丢了西瓜。而就在,所有人都以为,此次蒙古国的大火,很有可能是蒙古国再次刀耕火种的结果,甚至一度逼近中国。 结果没想到,当下蒙古国却直接表示,此次大火的源头不是蒙古国,反而是日本。甚至更为关键的是,前脚日本刚和蒙古表示要进行紧密的合作,后脚蒙古国就着火,甚至目标方向还是中国,日本这是要动手了吗? 果然,一切事物的发生,

斯塔克:迪福和威尔希尔等人有意参加退役球员慈善拳击赛

斯塔克:迪福和威尔希尔等人有意参加退役球员慈善拳击赛

据英国《太阳报》报道,前阿森纳门将格雷厄姆-斯塔克透露,包括杰梅因-迪福和杰克-威尔希尔在内的多名前英超球星,都曾表达过参加慈善拳击比赛的意愿,但由于执教工作及个人生活安排,相关计划尚未实现。 现年45岁的斯塔克近年来通过自己创办的Pro Project Promotions公司,组织退役足球运动员参加慈善拳击赛事。他曾在2003-04赛季代表阿森纳一线队出场5次,全部是在联赛杯比赛中。 斯塔克透

万能插排其实已被国家禁用16年,可为何屡禁不止?很多人都不知道

万能插排其实已被国家禁用16年,可为何屡禁不止?很多人都不知道

凌晨正睡得沉,睁眼一看,床尾着火了。 这不是电影里的情节,是前几天福建泉州一位妈妈遇到的事。 她从睡梦中惊醒,看到放在床尾处的插线板竟然正在燃烧,赶紧自己动手扑,可因火势蔓延较快,母子俩自行扑救未果,便迅速逃离现场并拨打119报警。还好没人受伤,但卧室烧损严重。 看到这条新闻,最让我后背发凉的是一个细节:事发时床尾处的插线板处于通电状态,上面连接着手机充电器,但并未给手机充电。充电器一直插着不拔,

近10次交手莱切0胜7负,尤文这场首发押上两名新援

近10次交手莱切0胜7负,尤文这场首发押上两名新援

尤文图斯今天客场对阵莱切,主帅斯帕莱蒂(Luciano Spalletti)公布了首发十一人, 沃尔特马德(Woltemade)和穆阿尼(Muani)双双首发 。 尤文本赛季开局的表现没能达到预期,状态起伏不定,外界担心如果找不到扭转局面的办法,这个赛季可能以同样令人失望的方式收场。斯帕莱蒂正在努力改善战绩,对阵莱切这样的对手因此格外重要——尤文需要在这类比赛里拿分,而赛程后面还排着更强的对手。