
chatjimmy.ai 可以体验 “Taalas 推出首款产品 HC1 ,搭载 Llama 3.1 8B 模型,性能达每用户 17,000 tokens/秒,较现有技术快近 10 倍,制造成本降低 20 倍,功耗减少 10 倍。该模型虽采用自定义 3-bit 数据格式,存在轻微精度损失,但第二代产品将采用标准 4-bit 浮点格式,进一步优化性能。”
1 renfei 1 小时 17 分钟前 试了下,快是快,智商不太够,很多逻辑题答案给出的错误的 |
3 cyp0633 49 分钟前 试了一下翻译任务,很难说是精度问题还是模型本身能力不行,只能说都不可用 |
4 wew3 48 分钟前 让我想起了岳云鹏的相声 |
5 maolon 43 分钟前 我觉得之前的 openai 的 5.3 codex spark 已经很有想象力了, 没想到这个更夸张 |
6 Leeeeex PRO 「别管对不对,就说快不快吧」? |
7 catazshadow 24 分钟前 via Android 大暴死的节奏,AI 的死穴是正确性,不是傻快 |
8 rmrf OP @catazshadow 这才开始,后面慢慢优化起来,很有想象力啊。 |
9 duty 15 分钟前 正确性是靠模型的,这个只是证明了一个方案的可行性,就是把模型直接写入到芯片中,忽略了内存和带宽的限制 |