海西州电子商务网站建设公司,广州做网站公司,辽宁省建设工程信息网招标,哪个平台可以定制衣服前言
Google 最近发布的 Gemini 模型在全球引起了巨大反响#xff0c;其在多模态领域的 Video demo 无比震撼。对于 Android 开发者而言#xff0c;其中最振奋人心的消息莫过于 Gemini Nano 模型将内置到 Android 系统当中#xff0c;并开放给开发者使用。
事实上#xf…
前言
Google 最近发布的 Gemini 模型在全球引起了巨大反响其在多模态领域的 Video demo 无比震撼。对于 Android 开发者而言其中最振奋人心的消息莫过于 Gemini Nano 模型将内置到 Android 系统当中并开放给开发者使用。
事实上能够自研 LLM 大模型的企业屈指可数大多数的企业或个人都是在搞基于 LLM 的应用创新。而各大模型们各自为政提供的能力、对接方式都参差不齐即便在应用这个维度开发者也很难整体、高效地去开发、拓展。
要是能够将 AI 相关接口统一、能力整合封装、甚至结合端侧硬件去内置默认的 AI 模型这将是非常高效、安全的创举
Google 坐拥全球顶尖的 AI 技术同时掌控着市占率最高、各领域全面开花的 Android 平台自然非常有理由、也有实力去做这样的事情。目前已知的是 Google 将在 Android 平台提供 AICore 服务当前还在宣传阶段、尚未完整公布 API 细节。
笔者将基于披露出来的所有信息跟大家分享 AICore 的目的和架构思路。
AICore 解决了什么
早在 Android 14 Beta3 发布的时候一位开发者 Mishaal Rahman 便在 Pixel 的 /product/priv-app 目录下发现了一个名为 “Google AI Services” 的系统 App。
具体的包名为 com.google.android.aicore目前只是一个 stub 版本
按照 Google 的描述AICore 是运行在 Android 平台上可以让开发者便捷访问端侧内置的 AI 模型on-device model的系统服务。通过 AICore 可以对类似 Gemini Nano 这种端侧模型实现模型管理、运行时调用、安全检查、多模态等能力并保留相应的 API 给开发者进行灵活的运用。当然这需要端侧模型本身针对移动芯片等设备做专门的优化。
AI 能力
那么具体来说AICore 可以做哪些场景的支持呢
包括但不限如下等强大功能 高质量文本摘要、问题回答、问题扩展 上下文智能回复 高级校对和语法纠正
应用场景
以 Gemini Nano 在 Pixel 8 Pro 设备上为例 即使在手机网络断开的情况下也能简明扼要地概括录音机应用中的内容提供端侧摘要能力。 利用 Gemini Nano 的支持开发者可以通过 AICore 实现在 Gboard、WhatsApp 等更多的聊天 App 中实现智能回复给出高质量的回复建议节省用户的时间。 原理架构 这是 Google 公布的 AICore 的 high-level architecture:
对 App 来说像其他 SDK 一样暴露 API 和 OS 中的 AICore 能力对接对内部来说整体上效仿了 Private Compute Core 的设计方式通过开源 API 与网络隔离兼具透明度和可审计性
细看内部
AICore 首先加载 LoRA 低等级适配程序以支持开发人员根据自己的训练数据对大模型进行微调经过上个步骤可以产生所需的 LLM比如微调 Google 内置的 Gemini Nano同时还构建了专门的 Safety features 层确保数据的安全
此外AICore 支持部署在很多的机器学习芯片上比如最新的 Google Tensor TPU、旗舰产品 Qualcomm Technologies、Samsung S.LSI 和 MediaTek 芯片中的 NPU 等更多的芯片设备。
如何使用
目前来说AICore 只支持 Pixel 8 Pro 设备API 也仍在开发当中需要的话可以在如下链接申请内测资格
sign up for our Early Access Program
我已经申请了内测资格通过之后深入分析下 API 和整体链路届时再分享给大家。
结语
每当出现新的技术Google 总会整合这些能力建立统一标准集成到 Android 框架当中供开发者便捷地封装App 灵活地调用。从语音兴起时候的语音识别 SpeechRecognizer、语音播报 Text-to-speech 到智能助理活跃时候的语音交互 VoiceInteraction再到增强现实、虚拟化盛行时候的 ARCore。
这次的 AICore 也是一样将 AI 能力规范化、接口/协议统一化方便开发者进行 LLM 的选择、调整以及应用创新。再借助数以亿计的 Android 设备的呈现必将加速 AI 技术的发展和普及。
事实上AICore 内置到 AOSP 当中的话那么 Android Automotive OS 也将受益。所有从 Android、Automotive 延伸出来的车载机系统只要芯片硬件上兼容未来都可以利用 AICore 技术进行很多车载场景的拓展包括但不限于
记录用户的口音和表达方式进行训练以增强本地的语音识别和语意理解分析对话习惯、并结合多模态定制专属的对话形式和内容提供个性化的话术内容和情感播报学习车主习惯进行车机主题、驾驶模式、导航路线、车控组合等方面的智能推荐结合车机整体进行全方位的数据收集本地进行驾驶、乘坐的回忆统计给车主更加贴心的总结、建议
大家总说 Android 已趋于成熟、缺乏新意那么本次的 AICore 绝对是新颖、有趣的话题赶紧支棱起来。
参考
AICore Home pageA New Foundation for AI on AndroidIntroducing Gemini: our largest and most capable AI modelAndroid 14’s mysterious AICore system app makes its debut on the Play Store
文章推荐
如何打造车载语音交互Google Voice Interaction 给你答案Android 标准语音识别框架SpeechRecognizer 的封装、调用和原理直面原理5 张图彻底了解 Android TextToSpeech 机制
