如果本地跑embedding模型推荐哪一个呢

Little_100 2026-10-01 21:52 1

如题, 手里有一张p104-100 8g但是也不能空着不用吧, 在想发挥一下余温, 有啥embedding模型推荐没打算搞搞那种代码库索引的或者直接用硅基流动免费的 bge-m3？也不知道速度咋样 ^-^

最新回复 (16)

甘棠 10-01 21:53

1楼

试试看微信那个嵌入模型？

WeMM-Embedding-9B

WeMM-Embedding-4B

WeMM-Embedding-2B
枫哥 10-01 21:55

2楼

这几个都行，另外如果没有显卡，用cpu，0.6b那个也可以用，这几个基本无感。
Little_100 楼主 10-01 21:57

3楼

微信的这个感觉有点大了吧会不会大体积低质量 ^-^
Little_100 楼主 10-01 21:57

4楼

我看也有人推nomic的 nomic的咋样
cyilin 10-01 21:57

5楼

qwen的那几个模型，挺好的，0.6b的那种甚至cpu都可以
wintsa 10-01 22:04

6楼

好奇p104的话多少token/s，我现在用12代cpu和核显跑jev的量化第三方模型。7k文字的dom节点7s，图片5-8s
甘棠 10-01 22:06

7楼

MMEB Leaderboard - a Hugging Face Space by TIGER-Lab
比卡丘 10-01 22:07

8楼

佬这种emb好像是做好数据不能换模型的吧？

具体有什么用啊，知识库加速检索吗
Little_100 楼主 10-01 22:07

9楼

暂时还不知道嘞, 等回学校放宿舍再试

额外问一下佬这个开源jev方案普遍是啥方案可以用云端模型做后端嘛
Little_100 楼主 10-01 22:08

10楼

准备的是做代码索引的操作然后配上个fim补全模型做那种跨文件补全的效果
8386559 10-01 22:09

11楼

这。。。不如小黄鱼出了算了
vzld 10-01 22:10

12楼

一般都是qwen，这问题应该上reddit的localllm版问
蛋蛋 10-01 22:15

13楼

qwen3-embedding-4B，这个我们用这挺好的
比卡丘 10-01 22:26

14楼

具体有什么用啊佬？给个思路，我也有个闲置显卡
蛋蛋 10-01 22:27

15楼

做语义检索使用的
apparition 10-01 23:14

16楼

ace 末期时版上其实不少人分享过

有几个开源项目可以搜搜

也有索引搭配 grep 集成的软件

好像有微软，另一个国产的忘了是哪家了