2. Linux.do
  3. 测试了一下jev，确实能真正让自动化流程起飞

测试了一下jev，确实能真正让自动化流程起飞

冰原Bill 2026-09-20 09:33 1

公司的一些立项调研，因为LLM延迟的问题，很多场景不得不毙掉LLM环节，或者异步（效果仍然不好）、Rerank（枚举值需要预先喂进去）。测试的时候虽然可以接受，但私下交流的时候评估肯定是没法支撑生产的。


jev把决策过程压缩到了300ms以内，本身RAG检索出相关上下文也是非常快的，这样一个自动化流程的延迟完全可以从以前的10秒以上压缩到1秒级别。


并且后续必然会有类似的模型涌现出来，这样即使为了准确性和健壮性引入多家模型共同决策，整体延迟也非常漂亮。企业内的初级岗位，越来越危了。




最新回复 (12)
  • bi-o-xu 09-20 09:51
    1楼

    查了一下目前TypeSafe AI官方只有闭源的。社区倒是有些开源的,不知道效果咋样。

    想用下试试,可惜现在项目要求纯离线交付

  • Ran 09-20 10:03
    2楼

    社区开源的也是复刻的样式，RLCD训练方法都没公开 ^-^


    话说这个询问方式需要自己进行编写吗？那这样是不是还要配合 llm 生成询问更好点？

  • DolphinZZZZZ 09-20 10:05
    3楼

    方向验证以后，后续肯定会有开源项目跟上，保持关注即可。说不定过段时间又可以看核爆了

  • 草冢 09-20 10:06
    4楼

    Mark一下，怎么几天没关注又出来一个什么东西？这么吊

  • 刘皇叔 09-20 10:09
    5楼

    开源的 NanoJev 也是复刻的吗，这个 jev 是哪家公司推出来的诶

  • xultra1001 09-20 10:10
    6楼

    openai的人出来创办的公司

  • 冰原Bill 楼主 09-20 10:14
    7楼

    预设场景可以事先用LLM生成好模板，通过程序注入选项，通过RAG注入背景信息

  • Made_By 09-20 10:16
    8楼

    端侧小模型实在是不敢恭维, 大部分厂还是内网工作, 离线交付

  • 冰原Bill 楼主 09-20 10:19
    9楼

    我觉得对大厂来说去洽谈私有化部署claude gpt虽然不现实，但这种级别的模型应该毫无压力。

  • windsing 09-20 10:22
    10楼

    NanoJev 之前我看只能解迷宫，连完整版的jev的功能都没用实现

  • mumong 09-20 18:09
    11楼

    这个现在怎么体验和使用啊？

  • Daemon1314 09-20 18:16
    12楼

    佬是直接决策检索出来的内容么

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐