2. Linux.do
  3. 公司项目接的是第三方的模型，leader非要搞模型测评，我想问有意义吗

公司项目接的是第三方的模型，leader非要搞模型测评，我想问有意义吗

Whitree 2026-10-15 14:54 1

又不是自己的模型，接了就用呗，测评出来的意义是什么。没招了，兄弟们有什么现成的开源项目和测评集让我copy一下吗

最新回复 (7)
  • laiyigeroubao 10-15 14:55
    1楼

    其实我一直很好奇，模型是怎么测评的 ^-^

  • bigwolf 10-15 14:56
    2楼

    丢给AI去评就好了，直接出评测结果报告

  • shao05 10-15 14:57
    3楼

    有意义吧，拿自家业务里的真实问题测一轮，比看通用榜单更能知道接进来到底好不好用。

  • Daniel.Q 10-15 15:02
    4楼

    CLAW-SWE-BENCH

    github上的一个项目，让你的本地Agent帮你部署下来，然后构建评测环境，全流程下来大概5-7个小时，具体时间取决于测试集加载速度和LLM的性能，比如TTFT，tpm等

  • 艾尔 10-15 15:04
    5楼

    目前地球上 benchmark 上百个。。


    只要是一个正常的私有题库，o 和 a 都是天下无敌的水平。


    就用这 2 家就完事了呗，还测啥。

  • xdj 10-15 15:10
    6楼

    是公司的产品接什么ai要测吗，有必要的，极端情况就是产品是帮用户做高数题，让豆包做还是让gpt做

  • Whitree 楼主 10-28 16:51
    7楼

    主要是没有测评集，开源的测评集都是通用的，我们项目需要比较垂类的测评集

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐