a5.gif

柳下瑜

是不是用中文的角色卡只能用克劳德?

是不是用中文的角色卡只能用克劳德?
我用DISCord群里的角色卡(都是中文信息)用本地部署的7g显存模型,13g内存模型跑,输出的都是角色信息。然后用国外老哥的英文角色卡,是可以瑟瑟的。

1570650.jpg

好大只怪兽

B1F  2024-03-30 09:30
(胡言乱语,不知所云)
现在本地大模型都是英文的,你想跑你就把卡翻译成英语就好了

顺便问一下内存跑7b快吗

a5.gif

柳下瑜

回 1楼(好大只怪兽) 的帖子

我8g显存跑7g模型,速度还行,32g内存可以跑13g的gguf文本质量要好一些,但是速度就上不去了

a12.gif

海螺波

B3F  2024-03-31 03:41
(这就是斯巴达)
有什么合适的本地模型么,至少能比得上GPT3.5的有没有。。。

none.gif

告之水之

B4F  2024-04-02 22:10
(告之水之)
谢谢分享