V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
going2think
V2EX  ›  分享创造

[网站自荐] LLM Coder Scorer: 一个免费的 GitHub 代码打分工具

  •  
  •   going2think · 58 天前 · 1249 次点击
    这是一个创建于 58 天前的主题,其中的信息可能已经有所发展或是发生改变。

    网址: https://lcs.simpleai.site/

    背景介绍

    为了找出开源代码仓库存在的问题(缺少证书,缺少文档,缺少测试,代码质量不高)并加以改进,我搭建了一个基于 LLM 来自动分析代码仓库并打分的网站,欢迎大家使用,提意见。

    效果截图

    image image image image

    实现细节

    1. Clone 仓库
    2. 将仓库中的代码、文档、证书、测试例子等按照固定的格式,写成一个总结文档
    3. 设计给大模型的 PROMPT 提示词规范
    4. 将 PROMPT+总结文档喂给大模型(这里用的是智谱的免费模型 GLM-4-Flash),大模型返回 json 格式的打分结果
    5. 网页渲染 json 结果,得到最终的输出

    Features

    1. 打分维度考虑全面,包括代码质量、仓库大小、Git Commit 规范、文档、测试、开源证书等方面
    2. 基于大模型的打分并给出了建议,可以根据建议来改进代码质量
    3. 有结果保存成图片的功能,方便记录
    4. 代码开源,源代码地址: https://github.com/vra/llm-code-scorer

    欢迎各位开发者访问使用,非常期待你的反馈意见,也希望这个仓库给大家一些开发 AI 工具的启发,也欢迎有经验的同行多指教

    8 条回复    2024-09-27 13:10:20 +08:00
    wonderfulcxm
        1
    wonderfulcxm  
       58 天前 via iPhone
    试了一下,第一次打分失败,第二次打了 6.5 分。
    https://github.com/vra/llm-code-scorer
    going2think
        2
    going2think  
    OP
       58 天前
    @wonderfulcxm 感谢使用,打分失败可能是代码 clone 失败或者大模型返回的格式不是标准的 JSON 导致的解析出错,可以再次尝试一下;对这个代码仓库目前没有加测试,打分比较低😂
    qingzhan
        3
    qingzhan  
       58 天前
    试了几次,总算成功了~点子挺好的,点个赞,可以试试出个类似于图片生成然后贴到仓库里的那种,感觉会火~

    ![Test]( https://imgur.com/3iK3MRB)
    you222
        4
    you222  
       58 天前
    是将仓库中的完整代码都写进总结文档吗,文本这么长是怎么一次性喂给大模型的
    going2think
        5
    going2think  
    OP
       58 天前
    @qingzhan 感谢试用❤️~我觉得这个点子之前提到的人比较少,功能做好了确实会挺有用的,不过目前这个网站做的还不够好,主要是打分区分度不够,免费的大模型给的建议还不算太有用,只能算是一个概念验证级别的东西,希望后面有别的产品化的类似工具出来
    going2think
        6
    going2think  
    OP
       58 天前
    @you222 是选择了部分文件来喂给大模型,具体实现在这里 https://github.com/vra/llm-code-scorer/blob/main/src/ai_code_scorer.py#L254
    eyelly
        7
    eyelly  
       57 天前
    哈哈哈,感觉有点意思
    going2think
        8
    going2think  
    OP
       57 天前
    @eyelly 感谢使用❤️现在还是原型验证阶段,欢迎使用并提建议~
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   959 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 21:12 · PVG 05:12 · LAX 13:12 · JFK 16:12
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.