Mixtral 是 Mistral AI 最新的開源模型。Mistral AI 于 12 月 8 日通過磁力鏈接的一條推文發布了該模型，沒有任何文檔、解釋或其他評論。Mistral AI 有幾種流行的開源 LLM 模型，包括 Mistral 7B。
Mixtral 8X7B 的顯著特點是它是一個混合專家 (MoE) 模型，具有卓越的能力。本指南使用了一些 hack 實現來使其運行。一旦該模型推出幾個月，它肯定會獲得更多開源工具的支持。
要在捷智算平臺上運行它，請使用 8X 4090/3090 或 4X A6000/A40 實例。實例上需要 120GB 的總 GPU RAM 來運行模型。我們使用典型的開發 Pytorch 推薦模板和修改版的 Illama 來運行推理。這是一個沒有指令微調的基礎模型，因此適當的提示技巧很有幫助。
運行 Mixtral 8X7B步驟
1、選擇模板：
通過在模板中選擇Pytorch 的Devel 模板。
2、租用服務器：
選擇 8X 4090/3090 或 4X A40/A6000
添加至少 120GB 的磁盤空間
點擊租賃按鈕
如果需要的話，購買積分。
請參閱快速入門指南以獲取幫助。
3、SSH 進入機器：
單擊 >_ 按鈕從實例卡獲取 SSH 信息
通過 SSH 命令連接到實例。它看起來像這樣，但包含實例的端口和服務器 IP 信息：
ssh -p <yourport> root@<yourserverip> -L 8080:localhost:8080
4、下載 Mixtral 8X7B 模型重量：
使用 torrent 文件。這通常需要大約 15 分鐘，具體取決于服務器的下載速度。
要下載 torrent 文件，請運行：
apt install transmission-cli
transmission-cli magnet:?xt=urn:btih:5546272da9065eddeb6fcd7ffddeef5b75be79a7&dn=mixtral-8x7b-32kseqlen&tr=udp%3A%2F%http://2Fopentracker.i2p.rocks%3A6969%2Fannounce&tr=http%3A%2F%http://2Ftracker.openbittorrent.com%3A80%2Fannounce
5、安裝 Illama 進行推理：
克隆存儲庫：
git clone https://github.com/dzhulgakov/llama-mistral
安裝依賴項：
pip install fire sentencepiece
6、運行 Mixtral 8X7B！：
加載模型權重并運行提示example_text_completion.py。如果您使用 8 個 GPU，請在運行命令末尾附加“--num-gpus 8”，如下例所示。如果您使用 2 個 GPU，請刪除該行。：
cd llama-mistral
python example_text_completion.py ../Downloads/mixtral-8x7b-32kseqlen/ ../Downloads/mixtral-8x7b-32kseqlen/tokenizer.model --num-gpus 8
就這樣！您將獲得當前列出的提示的輸出
7、修改提示：
安裝 Nano：
apt install nano
編輯文件：
nano example_text_completion.py
找到底部的提示并進行修改。
重新運行python文件以獲取新的響應。
感謝您使用捷智算平臺運行最新的開源 LLM Mixtral 8X7B。給我們留言，讓我們知道您對該模型的看法。
