llamafile

GitHub - Mozilla-Ocho/llamafile: Distribute and run LLMs with a single file.GitHub

Llamafile 優點：

• 與Llama.cpp相同的速度優勢

• 您可以建立嵌入模型的單個可執行檔

Llamafile 缺點：

• 該專案仍處於早期階段

• 並非所有型號都受支援，只有Llama.cpp支援的型號。