2. Linux.do
  3. [开源] 我做的手机部署大模型应用更新了，现在支持多模态

[开源] 我做的手机部署大模型应用更新了，现在支持多模态

ArkaneFans 2026-05-20 21:07 1

本帖使用社区开源推广，符合推广要求。我申明并遵循社区要求的以下内容：



  • 我的帖子已经打上 开源推广 标签： 是

  • 我的开源项目完整开源，无未开源部分： 是

  • 我的开源项目已链接认可 LINUX DO 社区： 是

  • 我帖子内的项目介绍，AI生成、润色内容部分已截图发出： 是

  • 以上选择我承诺是永久有效的，接受社区和佬友监督： 是


以下为项目介绍正文内容，AI生成、润色内容已使用截图方式发出



祝佬友们520快乐啊，不知道佬友们520怎么过，我反正是和codex过了（误）

这个项目之前发过一次，不过最近挺忙的，中间断断续续做了些功能，现在更新下


本帖使用社区开源推广，符合推广要求。我申明并遵循社区要求的以下内容：

我的帖子已经打上 开源推广 标签： 是
我的开源项目完整开源，无未开源部分： 是
我的开源项目已链接认可 LINUX DO 社区： 是
我帖子内的项目介绍，AI生成、润色内容部分已截图发出： 是
以上选择我承诺是永久有效的，接受社区和佬友监督： 是

以下为项目介绍正文内容，AI生成、润色内容已使用截图方式发出

现在手机性…


这次更新主要是新增了多模态视觉支持，还有很多UI优化，不过吐槽下，目前llama.cpp的多模态功能对android平台cpu后端还是有些吃力，图像处理时间稍长，因此目前还算是实验功能。




目前还有很多功能想做，还有很多不完善的地方，希望大家过来点个star提点issue啊


项目链接：



下载链接：

最新回复 (18)
  • Fymc 2025 05-20 21:23
    1楼

    支持佬友，谢谢佬友的分享，期待更多的功能

  • 周一 05-20 21:30
    2楼

    Android手机部署模型吗，好用不

  • ArkaneFans 楼主 05-20 21:35
    3楼

    小参数模型聊聊天还是不错的，也可以将API接到其他app里用，不过不要指望和在线的大模型比 ^-^

  • 周一 05-20 21:38
    4楼

    可以的，大佬牛的，搞搞，看看能不能再与脚本关联一下

  • JARK006 05-20 21:43
    5楼

    不错不错，再配合OperitAI，那就完全可以脱离在线的模型服务了。

    不过本地部署的小模型，最多 8B Q2量化到头了，看起来不太聪明的样子。


    阿里也推出过安卓平台的推理架构MNN,有安卓APP，不过好像只能对话，没有对外提供api服务

  • ArkaneFans 楼主 05-20 21:49
    6楼

    阿里这个我记得有api功能，不过较简陋，它这个推理架构在android上确实比llama.cpp要快，但模型支持不如llama.cpp通用，期待llama.cpp继续优化吧

  • JARK006 05-20 21:52
    7楼

    现在可以提供API服务了吗？它刚出来那段时间我就用过，后来觉得又笨又慢，就不用了。

  • Jason Smith 05-20 21:59
    8楼

    ..纯cpu 感觉还是有点玩具 ，要支持 npu 才行，一些比较新的 高通骁龙 npu 算力相当可以

  • ArkaneFans 楼主 05-20 22:02
    9楼

    后面会编译试下高通npu后端效果，记得老早之前用opencl感觉还没cpu优化的好 ^-^

  • Jason Smith 05-21 00:06
    10楼

    不要用opencl要高通原生sdk gen ai啥的，具体不记得了，llama.cpp好像有个分支，测试支持，很久前想尝试过，github有个GitHub - qualcomm/nexa-sdk: Run frontier LLMs and VLMs with day-0 model support across GPU, NPU, and CPU, with comprehensive runtime coverage for PC (Python/C++), mobile (Android & iOS), and Linux/IoT (Arm64 & x86 Docker). Supporting OpenAI GPT-OSS, IBM Granite-4, Qwen-3-VL, Gemma-3n, Ministral-3, and more. · GitHub 这个项目，这个才能真正利用高通npu加速，opencl应该走的是gpu，性能不是一个级别

  • ArkaneFans 楼主 05-24 12:42
    11楼

    模仿deepseek和kelivo搞了个推动式的侧边栏，大家试试效果

  • NobodySU 06-09 14:29
    12楼

    是的可以的，我上周刚折腾过。能给欧路词典用上，只不过它那个得用mmn自己格式，支持的模型还比较少。

  • NobodySU 06-09 14:30
    13楼

    功能特别需要。样式很好。只不过在小米11青春版上启动不起来服务，报错：PlatformException(a, The permission request dialog was closed or the request was cancelled, null, null) 可能是哪儿缺什么权限，但是没发现哪里提示要授权什么

  • ArkaneFans 楼主 06-09 14:53
    14楼

    可能是权限处理没做好兼容，但我好几个不同年份的android机都没出现过，你试下去应用权限配置中手动允许通知权限呢，再不行到时候我私信你测试

  • Fymc 2025 06-09 23:19
    15楼

    手机部署的大模型能进行网络搜索吗

  • ArkaneFans 楼主 06-09 23:37
    16楼

    模型支持工具调用就可以，目前这个应用自带聊天没有做搜索功能，但api接到kelivo和rikkahub之类的客户端就能网络搜索

  • Fymc 2025 06-09 23:55
    17楼

    谢谢，解惑。还有一个问题，我使用gemma-4模型，好像输入图片会报错

  • iMoonway 06-10 00:20
    18楼

    佬，会不会支持omni模型。像MiniCpm-o 系列的模型如果能在手机上使用感觉会相当不错。

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐