[网站自荐] LLM Coder Scorer: 一个免费的 GitHub 代码打分工具
going2think 2024-09-26 08:30:40 +08:00 1840 次点击这是一个创建于 381 天前的主题，其中的信息可能已经有所发展或是发生改变。
网址： https://lcs.simpleai.site/
背景介绍
为了找出开源代码仓库存在的问题（缺少证书，缺少文档，缺少测试，代码质量不高）并加以改进，我搭建了一个基于 LLM 来自动分析代码仓库并打分的网站，欢迎大家使用，提意见。
效果截图
实现细节
- Clone 仓库
- 将仓库中的代码、文档、证书、测试例子等按照固定的格式，写成一个总结文档
- 设计给大模型的 PROMPT 提示词规范
- 将 PROMPT+总结文档喂给大模型（这里用的是智谱的免费模型 GLM-4-Flash)，大模型返回 json 格式的打分结果
- 网页渲染 json 结果，得到最终的输出
Features
- 打分维度考虑全面，包括代码质量、仓库大小、Git Commit 规范、文档、测试、开源证书等方面
- 基于大模型的打分并给出了建议，可以根据建议来改进代码质量
- 有结果保存成图片的功能，方便记录
- 代码开源，源代码地址: https://github.com/vra/llm-code-scorer
欢迎各位开发者访问使用，非常期待你的反馈意见，也希望这个仓库给大家一些开发 AI 工具的启发，也欢迎有经验的同行多指教
 | 1 wonderfulcxm 2024-09-26 08:37:36 +08:00 via iPhone 试了一下，第一次打分失败，第二次打了 6.5 分。 https://github.com/vra/llm-code-scorer |
 | 2 going2think OP @wonderfulcxm 感谢使用，打分失败可能是代码 clone 失败或者大模型返回的格式不是标准的 JSON 导致的解析出错，可以再次尝试一下；对这个代码仓库目前没有加测试，打分比较低 |
 | 3 qingzhan 2024-09-26 09:36:44 +08:00 |
 | 4 you222 2024-09-26 09:50:30 +08:00 是将仓库中的完整代码都写进总结文档吗，文本这么长是怎么一次性喂给大模型的 |
| 5 going2think OP @qingzhan 感谢试用～我觉得这个点子之前提到的人比较少，功能做好了确实会挺有用的，不过目前这个网站做的还不够好，主要是打分区分度不够，免费的大模型给的建议还不算太有用，只能算是一个概念验证级别的东西，希望后面有别的产品化的类似工具出来 |
| 6 going2think OP @you222 是选择了部分文件来喂给大模型，具体实现在这里 https://github.com/vra/llm-code-scorer/blob/main/src/ai_code_scorer.py#L254 |
 | 7 eyelly 2024-09-27 12:31:30 +08:00 哈哈哈，感觉有点意思  |
| 8 going2think OP @eyelly 感谢使用现在还是原型验证阶段，欢迎使用并提建议～ |
Select Language