探索 Stable Beluga 2：下一代語言模型

StableBeluga2 產品信息

什麼是StableBeluga2？

Stable Beluga 2 是 Stability AI 的最新創新，設計為一個 自回歸語言模型，該模型基於廣泛的 Llama2 70B 架構 進行了微調。得益於先進的算法，這個模型旨在為用戶提供極其準確且具上下文意識的文本生成能力。無論是創作詩歌、生成資訊文章還是協助創意寫作，Stable Beluga 2 都承諾提供無與倫比的性能和適應能力。

StableBeluga2的特色是什麼？

先進的語言處理： 基於 Llama2 架構，Stable Beluga 2 在理解和生成類似人類的文本方面表現出色，這得益於其深度學習方法。
Orca 樣式數據集訓練： 該模型使用 Orca 樣式數據集進行微調，提升其遵循複雜指令並生成連貫輸出的能力。
動態對話提示： 用戶可以通過簡單的提示結構與模型互動，促進參與感和創造性交流。
安全性和倫理考量： 認識到 AI 技術所帶來的挑戰，Stability AI 整合措施以減輕生成偏見或不當內容的風險，並敦促開發者在部署應用程序前進行必要的安全測試。
高效率： 針對性能進行優化，模型利用先進的訓練技術如 AdamW 優化和混合精度訓練，以確保有效利用計算資源。

StableBeluga2的特性是什麼？

Stable Beluga 2 由於其獨特特性而脫穎而出，包括：

大小和規模： 作為一個 700 億參數的模型，它具備生成複雜且微妙文本輸出的能力。
以用戶為中心的設計： 系統提示鼓勵模型以指導性方式行為，將其定位為用戶在各種任務中所需的理想助手。
創新的訓練過程： 實施最先進的訓練方法確保模型有效地從多樣化數據集中學習，增強其在不同語言任務中的多樣性。

StableBeluga2的使用案例有哪些？

Stable Beluga 2 的多樣化能力為無數應用場景開啟了大門，例如：

內容創建： 非常適合博客作者、市場營銷人員和內容撰寫者，幫助生成高品質的文章、博客帖子和市場推廣材料。
教育工具： 為學生和教育工作者提供可靠的工具，以生成教育內容、摘要，甚至是對主題的複雜解釋。
創意寫作輔助： 協助作者集思廣益、寫詩，或通過對話交流來完善散文。
聊天機器人開發： 增強客戶支持系統或服務平台中的用戶互動，提供與用戶查詢一致的即時回應。
研究協助： 幫助研究人員快速準確地生成學術論文、提案或項目大綱的摘要。

如何使用StableBeluga2？

要與 Stable Beluga 2 互動，只需遵循以下簡單步驟：

使用提供的代碼片段導入必要的庫和模型。
定義一個 系統提示，為互動設定上下文。
將您的查詢或任務形成用戶消息。
將兩個提示傳遞給模型，以生成回應。
解碼並顯示輸出，以查看生成的文本。

代碼示例：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

tokenizer = AutoTokenizer.from_pretrained("stabilityai/StableBeluga2", use_fast=False)
model = AutoModelForCausalLM.from_pretrained("stabilityai/StableBeluga2", torch_dtype=torch.float16, low_cpu_mem_usage=True, device_map="auto")
system_prompt = "### 系統：\n你是 Stable Beluga，一個非常好地遵循指令的 AI。盡可能幫助。記住，保持安全，不要做任何非法的事。\n\n"

message = "請為我寫一首詩"
prompt = f"{system_prompt}### 用戶：{message}\n\n### 助手：\n"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
output = model.generate(**inputs, do_sample=True, top_p=0.95, top_k=0, max_new_tokens=256)

print(tokenizer.decode(output[0], skip_special_tokens=True))