ChatGLM2-6B 有点儿厉害啊，笔记本就可以运行起来，个人 AI 助手的时代是不是要来了？

请问上下文关联表现得怎么样呢？

你这一问一答，答案全显花了多少时间？

@youthfire 10s 左右，感觉比 chatgpt 快，比文心一言快至少五六倍

@DigitalG 还行，基本上所问即所答，复杂一些的内容比 chatgpt 差

感觉还不错，没有量化的模型我 16GB 显存就跑起来了，
int4 说是 6GB 就能跑。

不知道楼主有没有尝试过微调？

请问下你部署的服务器的配置是怎样的？

问一个正则看看？

要求能去除 PHP 、js 里的所有注释，但不要误伤字符串。具体包括：

1. 三种引号（''、""、``），以及 HereDoc （<<<EOF ）、NowDoc （<<<'EOF'），且允许字符串里有转义符

2. 三种注释（#、//、/* */）

@wxf666 要求能去除 PHP 、js 里的所有注释，但不要误伤字符串。具体包括：
1. 三种引号（''、""、``），以及 HereDoc （<<<EOF ）、NowDoc （<<<'EOF'），且允许字符串里有转义符
2. 三种注释（#、//、/ /）

抱歉，我无法提供完整的函数或代码片段，因为这需要在全局环境中进行处理，而我不想引入太多的全局变量或函数。
但是，我可以为您提供一些基本的示例代码，以帮助您实现这个需求。请注意，这些示例代码仅用于演示目的，不应直接应用于生产环境中。
在 PHP 中，您可以使用以下代码来实现去除注释并保留字符串的函数：


function strip_ comments($str) {
$str = replace($str, '#', '', true); // 使用 `true` 参数去除注释
$str = rtrim($str, '/*'); // 去除注释注释行
$str = str_replace(['//', '/*'], '', $str); // 使用 `'/*'` 和 `'//'` 替换注释
return $str;
}

该函数使用 replace() 函数替换字符串中的注释，并使用 rtrim() 函数去除注释注释行。最后，它还使用 str_replace() 函数将注释字符串替换为空字符串。
在 Javascript 中，您可以使用以下代码来实现去除注释并保留字符串的函数：

function strip_ comments($str) {
$str = $str.replace(/#{http_build_query}/g, ''); // 使用正则表达式去除注释
$str = $str.replace(/:</g, ''); // 去除注释行
$str = $str.replace(/<!--/g, ''); // 去除注释
return $str;
}

该函数使用 replace() 函数替换字符串中的注释，并使用 replace() 函数去除注释注释行和连接符。它还使用 g 参数表示要替换整个字符串，而不是只替换特定字符。
请注意，该函数将保留 PHP 和 Javascript 中的引号和 HereDoc 结构，但将去除注释行和连接符。
如果需要同时去除 Javascript 中的注释行和连接符，您可以使用以下代码：

function strip_ comments($str) {
$str = $str.replace(/:</g, ''); // 去除注释行
$str = $str.replace(/>/g, ''); // 去除注释连接符
$str = str_replace(['//', '/*'], '', $str); // 使用 `'/*'` 和 `'//'` 替换注释
return $str;
}

这是使用正则表达式和 replace() 函数实现的。它首先去除注释行，然后去除注释连接符，最后保留引号和 HereDoc 结构。

@shadio #3 那就比较实用了，之前跑过 privateGPT ，关联度差，速度奇慢

能翻译不，准确性比起 gpt3.5 怎么样

@Moeblack #9 好像你没提到必须用正则实现？

感觉不知道什么参数造成的影响，在长度为 8192 的时候连续试了几次都断在了“文”这个字，但是长度肯定没超 8192 ，把长度拖动大一点之后，继续刚刚 8192 长度参数的会话重新发了一次就成功翻译完了，不是很明白，不知道是不是 webui 的问题。

稍微测下来可能结构化输出还需要进一步微调，试了几次让它分析文本以 json 格式输出都只有前半段 json 没后半段，但是真的发展迅猛，总之未来可期。

啊？都出 2 了？

这个模型真是飞快啊，跑在 4090 上

联网不？数据哪儿来的，得需要自己训练吧，

@Pitttttt 我用笔记本跑的，联想 y9000p

@acerphoenix 它训练好的，直接本地电脑可以用啊

@thinkm 简单测试了一下，翻译的准确性不然 gpt3.5 ，但比一般的翻译软件要好一点儿

A 卡能跑吗

@honkew 没 A 卡电脑，没有试过

@Moeblack #6 还没有试

这咋搭建的啊

@chancat 按照工程文档一步步来就可以了啊： https://github.com/THUDM/ChatGLM2-6B

@shadio 哇，谢谢我去学习学习

这模型翻译效果如何

能当翻译器用吗

老夫把它传到 Replicate 上了，直接云端运行

https://replicate.com/nomagick/chatglm2-6b