探索 Stable Beluga 2：下一代语言模型

StableBeluga2 产品信息

什么是StableBeluga2？

Stable Beluga 2 是 Stability AI 最新的创新，作为一款 自回归语言模型，基于庞大的 Llama2 70B 架构 进行微调。该模型依托先进的算法，旨在为用户提供高度准确且具有上下文感知的文本生成能力。无论是创作诗歌、生成信息性文章，还是协助创意写作，Stable Beluga 2 都承诺提供无与伦比的性能和适应能力。

StableBeluga2的核心功能有哪些？

高级语言处理： 基于 Llama2 架构，Stable Beluga 2 在理解和生成类人文本方面表现卓越，得益于其深度学习方法。
Orca 风格数据集训练： 该模型采用 Orca 风格数据集进行精细调优，增强其遵循复杂指令并生成连贯输出的能力。
动态对话提示： 用户可以使用简单的提示结构与模型互动，便于进行引人入胜的对话和创意交流。
安全和伦理考虑： 认识到人工智能技术可能带来的挑战，Stability AI 采取措施来减轻生成偏见或不当内容的风险，敦促开发者在应用部署前进行必要的安全测试。
高效能： 该模型经过性能优化，利用先进的训练技术如 AdamW 优化和混合精度训练，确保计算资源的高效使用。

StableBeluga2的特性是什么？

Stable Beluga 2 由于其独特的特性而脱颖而出，包括：

规模与规模： 作为一款拥有 700 亿参数的模型，它具备生成复杂细致文本输出的能力。
以用户为中心的设计： 系统提示鼓励模型以指导性方式行为，完美适合需要协助的用户处理各种任务。
创新的训练程序： 采用最先进的训练方法确保模型有效地从多样化的数据集中学习，从而增强其在不同语言任务中的多样性。

StableBeluga2的使用案例有哪些？

Stable Beluga 2 的多样化能力为众多应用场景提供了可能性，比如：

内容创作： 适合博客撰写者、市场营销人员和内容作家，提供高质量文章、博客帖子和营销材料的生成协助。
教育工具： 为学生和教育者提供可靠工具，快速生成教育内容、摘要，甚至复杂的主题解释。
创意写作助手： 通过对话参与，帮助作者进行头脑风暴、写诗或润色散文。
聊天机器人开发： 提升客户支持系统或服务平台中的用户互动，提供与用户查询相匹配的即时响应。
研究辅助： 帮助研究人员快速准确地生成学术论文、提案或项目大纲的摘要。

如何使用StableBeluga2？

要与 Stable Beluga 2 互动，请按照以下简单步骤进行：

使用提供的代码片段导入必要的库和模型。
定义一个 系统提示，为互动设定上下文。
将您的查询或任务作为用户消息构建。
将两个提示传递给模型以生成响应。
解码并显示输出，以查看生成的文本。

示例代码片段：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

tokenizer = AutoTokenizer.from_pretrained("stabilityai/StableBeluga2", use_fast=False)
model = AutoModelForCausalLM.from_pretrained("stabilityai/StableBeluga2", torch_dtype=torch.float16, low_cpu_mem_usage=True, device_map="auto")
system_prompt = "### System:\nYou are Stable Beluga, an AI that follows instructions extremely well. Help as much as you can. Remember, be safe, and don't do anything illegal.\n\n"

message = "Write me a poem please"
prompt = f"{system_prompt}### User: {message}\n\n### Assistant:\n"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
output = model.generate(**inputs, do_sample=True, top_p=0.95, top_k=0, max_new_tokens=256)

print(tokenizer.decode(output[0], skip_special_tokens=True))