敏而好学，不耻下问。——孔子

Google AI Edge Gallery：把大模型请进手机里，让它在离线的掌心里开口说话

有些应用天生就像展馆的馆长：灯一亮，门一开，来的人不用懂太多，就能直接上手体验未来。

Google AI Edge Gallery 就是这样的存在——它站在手机端的入口处，礼貌、骄傲、又有点迫不及待地说：

来，别光听人讲生成式 AI。
把它装进你的口袋里，亲手跑一遍。

它的身份很明确：

  • 仓库描述（description）：一个画廊，展示 on-device ML/GenAI 用例，让人们可以在本地尝试并使用模型。
  • 它更愿意这样自我介绍（README 的主旨句）：
    Explore, Experience, and Evaluate the Future of On-Device Generative AI with Google AI Edge.

它不是论文、不是 demo 视频、不是“云端调用一次就算用过”。
它是一座“随身画廊”——用手机硬件把推理跑起来，把体验交到你手里。

它想带你看的第一幅主展作品：在手机上跑开源 LLM

AI Edge Gallery 把自己定位成：

the premier destination for running the world’s most powerful open-source Large Language Models (LLMs) on your mobile device.

它像一位策展人，把“模型”当成展品，把“推理”当成现场表演。
你不是观众，你是上台的人——点开 App，模型就会在设备上工作。

更妙的是：它强调的不是“能跑”，而是“能体验、能评估、能对比”。
因为在 Gallery 里，你可以更直观地感受到：

  • 不同模型在同一设备上的表现差异
  • 参数、采样策略对输出的影响
  • 多模态、转写、工具增强等能力落地后的真实手感

“现在展出：Gemma 4”——它把最新主角摆到了最显眼的位置

README 里写得很清楚：Now Featuring: Gemma 4。

它像展馆里刚刚换上的“镇馆之宝”，并且带着官方支持登场：
Gemma 4 family 成为这次更新的中心，让你测试 on-device AI 的前沿体验。

这座画廊里都有哪些展厅？（Core Features）

AI Edge Gallery 的展厅很丰富，而且每一间都像一个“性格不同的角色”，在手机上各司其职。

1) Agent Skills：让 LLM 从“聊天者”变成“主动型助手”

它不满足于模型只会对话，它更想把模型推进到“能干活”的状态：

  • 通过 Agent Skills tile，为模型接上工具
  • 例如用 Wikipedia 做 fact-grounding（事实落地）
  • 让模型不只会说，还会查、会补、会自我增强

它像给模型穿上工作服：从“能聊”升级成“能办事”。

2) AI Chat with Thinking Mode：把“思考过程”打开灯给你看

多轮对话当然是基本盘，但 Gallery 还给了一个很有意思的开关：

  • Thinking Mode：让你窥见模型“under the hood”
  • 看到它的 step-by-step reasoning

它像一个会自我讲解的展品：不止给结果，还让你看见过程的纹理。

3) Ask Image：让相机成为模型的眼睛

你可以用：

  • 设备摄像头
  • 相册图片

让模型去：

  • 识别物体
  • 解视觉谜题
  • 给出更详细的描述

它像一个随身的视觉解说员，站在你镜头旁边替你补全世界的说明书。

4) Audio Scribe：把声音变成文字，把语言变成跨语种的桥

它会做：

  • 语音转写（transcribe）
  • 翻译（translate）
  • 并且强调 real-time 与 high-efficiency on-device language models

它像一个勤快的速记员，坐在你口袋里，随时把声音整理成可用的文本。

5) Prompt Lab：提示词实验室，把参数旋钮交到你手里

这里像一张干净的工作台：

  • 单轮用例测试
  • 细颗粒度控制模型参数：temperature、top-k 等

它不像聊天界面那样“随缘”，Prompt Lab 更像工程师的控制台：
你可以用它认真做对比、做复现、做评估。

6) Mobile Actions：离线的设备控制与自动化（FunctionGemma 270m）

它强调：离线的 device controls 与自动化任务，完全由 on-device 模型驱动。
并且是 a finetune of FunctionGemma 270m。

它像一位不联网也能做事的手机管家：不求大，只求快、稳、能落地。

7) Tiny Garden：一个会听懂自然语言的迷你花园（FunctionGemma 270m）

Tiny Garden 是实验性 mini-game：

  • 用自然语言来“种植与收获”
  • 同样基于 FunctionGemma 270m 的 finetune

它像画廊里最可爱的互动装置：
你一句话，它就把抽象指令变成具体动作，顺便把“语言→行为”的链路演给你看。

8) Model Management & Benchmark：模型管理 + 基准测试的沙盒

Gallery 被描述为：

  • flexible sandbox
  • 支持多种开源模型
  • 可以从列表下载模型，也可以加载你自己的自定义模型
  • 并提供管理与 benchmark 的能力

它像一个模型管理员，拿着登记册和秒表：
“你想换谁上台？你想看看谁跑得更稳？来，我都安排。”

9) 100% On-Device Privacy：推理只在设备上发生

这句话在 README 里非常硬气：

  • All model inferences happen directly on your device hardware.
  • No internet is required.
  • 保护 prompts、images、sensitive data

它像一个守门极严的保镖：
“你的输入不出门，你的隐私不外借。”

🏁 Get Started in Minutes：几分钟就能入馆

它的“入场流程”非常直接，像检票员三句话讲明白：

  1. Check OS Requirement：
    • Android 12 and up
    • iOS 17 and up
  2. Download the App：
    • 从 Google Play 或 App Store 安装
    • 如果无法使用 Google Play：从 latest release 安装 apk
  3. Install & Explore：
    • 详细安装说明（含企业设备）与完整用户指南：去 Project Wiki

🛠️ Technology Highlights：它背后的三位“技术同事”

AI Edge Gallery 不是孤独的 App，它背后站着几位关键同事：

  • Google AI Edge：on-device ML 的核心 APIs 与工具
  • LiteRT：轻量 runtime，用于优化模型执行
  • Hugging Face Integration：模型发现与下载

它像一个组织良好的团队：
AI Edge 负责底座，LiteRT 负责跑得快，Hugging Face 负责把模型请进来。

⌨️ Development：如果你想自己把它从源码“养大”

README 很克制，只给出明确入口：

  • 本地构建指南：看 DEVELOPMENT.md

它像在门口贴了张牌子：
“想参观后台？沿着这条路走。”

🤝 Feedback：它是实验性 Beta，但它认真听你说话

AI Edge Gallery 自称 experimental Beta release，并且把反馈通道摆在台前：

  • Found a bug：提交 bug
  • Have an idea：提 feature request

它像一个还在成长的展馆：
展品在更新，路线在优化，而你说的每一句“这里还可以更好”，都会被认真记下来。

📄 License：Apache 2.0

它使用 Apache License 2.0，并在仓库中提供 LICENSE 文件。

🔗 Useful Links：继续逛下去的几条走廊

  • Project Wiki (Detailed Guides)
  • Hugging Face LiteRT Community
  • LiteRT-LM
  • Google AI Edge Documentation

结语：它不是把模型“放进手机”，而是把未来“交到手上”

Google AI Edge Gallery 更像一座随身的未来体验馆：

  • 你在地铁里、在电梯里、在没有信号的角落里
  • 也能让 LLM 在掌心里推理、看图、听音、转写、执行动作
  • 还可以切换模型、调参数、做 benchmark，让体验可比较、可评估、可复现

它把“on-device GenAI”从概念变成手感——
一开门，展灯亮，模型上台，你来当导演。