在谷歌,我们相信让人工智能对每个人都有帮助。我们在为开放社区贡献创新方面有着悠久的历史,例如Transformers, TensorFlow, BERT, T5, JAX, AlphaFold, 和 AlphaCode.。今天,我们很高兴地介绍谷歌的新一代开放模型,以帮助开发人员和研究人员负责任地构建人工智能。
Gemma开放模型
Gemma是一个轻量级的,最先进的开放模型使用相同的研究和技术来创建Gemini模型。Gemma由Google DeepMind和Google其他团队开发,灵感来自Gemini,其名称来自拉丁语gemma意思是“宝石”。除了我们的模型权重,我们还发布了支持开发人员创新、促进协作和指导负责任地使用Gemma模型的工具。
Gemma从今天开始在全球可用。以下是需要了解的关键细节:
-
我们发布了两种尺寸的模型:Gemma 2B和Gemma 7B。每种尺寸都有经过预先训练和指令调整的变体。
-
新的负责任的生成式人工智能工具包为使用Gemma创建更安全的人工智能应用程序提供指导和基本工具。
-
我们为所有主要框架的推理和监督微调(SFT)提供工具链:JAX、PyTorch和TensorFlowKeras 3.0。
-
随时可用的Colab和Kaggle notebooks,以及与流行工具(如Hugging Face,MaxText,NVIDIA NeMo和TensorRT-LLM,让您轻松开始使用Gemma。
-
预训练和指令调整的Gemma模型可以在您的笔记本电脑、工作站或Google Cloud上运行顶点人工智能和Google Kubernetes引擎。
-
使用条款允许所有组织负责任地进行商业使用和分发,无论其规模大小。
规模上最先进的性能
Gemma模型与Gemini,我们目前广泛使用的最大、最强大的人工智能模型共享技术和基础设施组件。与其他开放式型号相比,这使得Gemma 2B和7B在其尺寸上实现了同类最佳的性能。Gemma模型能够直接在开发者的笔记本电脑或台式电脑上运行。值得注意的是,Gemma在关键基准上明显超过了更大的型号,同时坚持我们对安全和负责任的输出的严格标准。请参阅技术报告有关性能、数据集组成和建模方法的详细信息。
按设计负责
Gemma是用我们最前线的人工智能原理。作为使Gemma预训练模型安全可靠的一部分,我们使用自动化技术从训练集中过滤掉某些个人信息和其他敏感数据。此外,我们使用了广泛的微调和来自人类反馈的强化学习(RLHF)来使我们的指令调整模型与负责任的行为保持一致。为了了解和降低Gemma模型的风险状况,我们进行了稳健的评估,包括手动设定红军、自动对抗测试和危险活动模型能力评估。这些评估在我们的模型卡片。1
我们还发布了一个新的负责任的生成式人工智能工具包与Gemma一起帮助开发人员和研究人员优先构建安全和负责任的人工智能应用程序。工具包包括:
-
安全分类:我们提供一个新方法用于用最少的例子构建强大的安全分类器。
-
调试:一个模型调试工具帮助您发现Gemma的行为并解决潜在问题。
-
指南:您可以根据Google在开发和部署大型语言模型方面的经验,访问模型构建者的最佳实例。
跨框架、工具和硬件优化
您可以根据自己的数据微调Gemma模型,以适应特定的应用程序需求,如摘要或检索增强生成(RAG)。Gemma支持多种工具和系统:
-
多框架工具:带来您最喜欢的框架,以及跨多框架Keras 3.0、原生PyTorch、JAX和Hugging Face Transformers进行推理和微调的参考实现。
-
跨设备兼容性:Gemma模型运行在流行的设备类型上,包括笔记本电脑、台式机、物联网、移动和云,实现了广泛可用的人工智能功能。
-
尖端硬件平台:我们已经与英伟达合作,针对英伟达GPU优化Gemma,从数据中心到云,再到本地RTX AI PC,确保行业领先的性能和与尖端技术的集成。
-
针对谷歌云优化:Vertex AI提供了广泛的MLOps工具集,具有一系列调优选项和使用内置推理优化的一键式部署。完全管理的Vertex AI工具或自我管理的GKE可提供高级定制,包括从任一平台跨GPU、TPU和CPU部署到经济高效的基础架构。
用于研究开发的免费额度
Gemma是为推动人工智能创新的开发人员和研究人员的开放社区而构建的。您今天就可以开始使用Kaggle中的免费访问,这是Colab笔记本的免费层,首次使用Google Cloud的用户可以获得300美元的积分。研究人员也可以申请谷歌云信用高达50万美元来加速他们的项目。
入门
您可以了解有关Gemma的更多信息,并访问以下网站上的快速入门指南ai.google.dev/gemma。
随着我们继续扩大Gemma模型系列,我们期待着为不同的应用引入新的变体。敬请关注未来几周的活动和机会,与Gemma联系、学习和建设。
我们很高兴看到你创造的东西!
机器翻译,轻度译后编辑,仅供参考。
编辑:张梓琦