Macローカルで高性能日本語LLMを動かす 東京工業大学のSwallow 70BをGGUFで #textgenerationwebui #ChatGPT

以前、MacBook Proのローカルで大規模言語モデル（LLM）を動かす方法を紹介しましたが、Meta Llama 2の日本語能力を強化したSwallowが東京工業大学より公開されましたので試してみました。

Apple M1 MacBook Pro LLM（GGUF）がGPUを使って高速に #ChatGPT #LLM #textgenerationwebui

大規模言語モデルSwallowについては、下記でその性能も含めて公開されています。Llama 2と同じく70B, 13B, 7Bのモデルが公開されています。
https://tokyotech-llm.github.io/swallow-llama

Mac上のText Generation webUIで動かすために、GGUF化したモデルを下記からダウンロードして配置します。今回は、swallow-70b.Q4_K_M.ggufを使いました。

https://huggingface.co/TheBloke/Swallow-70B-GGUF
https://huggingface.co/TheBloke/Swallow-13B-GGUF
https://huggingface.co/TheBloke/Swallow-7B-GGUF

Text Generation webUIでswallow-70b.Q4_K_M.ggufなど問題なく読み込めました。

70Bモデルなので最初の読み込みは時間がかかりますが、その後は実用的な速度で答えてくれました。（GPUもしっかり使われています）

他のモデルと比較して、日本語の違和感は少ないように感じます。