个东说念主浓烈保举Qwen

台式机

老子曰：络续保持对新事物的酷好，大略减速胡闹。

”

前天提到可以使用Ollama在土产货电脑上部署大模子并离线使用（见一条敕令完资土产货版大模子下载及装配使用）。Ollama仅仅一个加载大模子的框架资料，其实近似的框架在github上还可以找到一堆，现时比较热的比如LM Studio也还挺好用，不外我最可爱Ollama的少量是其静默初始，在需要大模子的时分才加载模子，相等轻巧和易于部署。

部署了大模子，天然是要使用。有东说念主说GPT4不好用么，Windows Copilot不好用么，这些固然功能弘远，但随机分走访不太浅薄。那国内模子呢？国内模子的发挥现时作念一些翰墨性职责还可以，不外波及到一些逻辑性和精准性条目比较高的数理问题就衣不蔽体了。天然行使国内大模子作念一些翰墨润色、话语翻译照旧特殊的哇噻的。但这些大模子并不掌捏在我方手里，没准今天用的相等爽的模子未来就让你交钱了，是以一些开源的大模子照旧值得使用的。

对汉文复古比较好的开源大模子保举阿里的Qwen和智谱的ChatGLM3，个东说念主浓烈保举Qwen。

有了大模子，后续天然是开荒在大模子基础上的应用了。咱们可以在大模子的基础上基于langchain构建专有学问库，也可以行使这些大模子作念一些翰墨性的器具开发。这类器具其实编制起来很苟且，无非是调用大模子提供的接口，双辽市名兆复印机有限公司再加入少量教导词即可。

比如今天要保举的开源名堂OpenAI Translator。

github地址：https://github.com/openai-translator/openai-translator

”

OpenAI Translator首先是思使用ChatGPT竣事划词翻译的。不外现时依然发展成可以加载一些土产货部署的大模子了。

1 装配

OpenAI Translator提供了全平台复古， 广州市普格斯日用制品有限公司致使包括浏览器插件。这里以windows系统为例。

下载地址：https://github.com/openai-translator/openai-translator/releases/tag/v0.3.24

”

参加下载地址， 福州捷沃机电有限公司礼聘下载相宜的装配递次， 伊吾县利艾烹饪有限公司如下图所示。

图片

装配经由没啥好说的， 企业-福凤丝蔬菜有限公司双击装配递次即可。

2 建立

领先确保本机上依然初始了Ollama，且Ollama依然提前部署了大模子。这里以qwen:7b为例。

初始OpenAI Translator，点击左下角的设立按钮。

图片

在通用选项卡中进行设立指定默许干事提供商为 Ollama（土产货模子）指定API模子为 自界说指定自界说模子称呼 为 qwen:7b

图片

这里要介怀自界说模子称呼必须与Ollama初始的模子称呼保持一致，不然会找不到模子。

为浅薄使用，可以设立快捷键。

参加快捷键选项卡，台式机如图所示设立快捷键

图片

轻率找段英文尝试一下。

礼聘英文，按前边设立的快捷键（如上图设立的alt+c）

图片

快捷键会叫醒OpenAI Translator并将自动翻译礼聘的翰墨。翻译速率超等快，从下图可以看出，翻译质料也特殊的可以。

图片

再来段中译英试试。来个英文塌实的说念友评价一下翻译截至若何。

图片

qwen:7的中译英截至不咋地，随机分翻译截至中会有中翰墨，固然多翻译几次能摒除，但照旧不爽。不外好在可以换其他的模子。底下是谷歌前几天开源的Gemma翻译的截至，固然翻译截至中不会出现汉文，但从底下的截至来看，Gemma似乎识字未几，两个东说念主名字齐认错。个东说念主认为qwen翻译更纯正，从终末一句嗅觉到的。

图片

OpenAI Translator除了大略提供翻译功能外，还提供了基于大模子的翰墨生成及润色功能，有酷好的说念友可自行探索。若是编程身手还可以的话，十足可以自行编制近似的器具，这仅仅一个苟且的调用接口的外壳资料。

受制于硬件资源，土产货大略部署的大模子参数目齐比较小，功能和性能齐无法与头部厂家提供的模子比较，但土产货模子主打一个安全和快速反应，可玩性也更强。不外从现时内卷风物来看，开源模子的性能势必也会快速普及，当今许多7B的模子在一些出奇规模的发挥依然不输于当初的GPT3.5了。

（完）

本站仅提供存储干事，扫数现实均由用户发布，如发现存害或侵权现实，请点击举报。

• 念主
• 保举
• 个东
• 台式机
• 浓烈