一起微调llama3,做自己的大模型!
Listen now
Description
随着Llama 3的发布,国内各路英雄豪杰纷纷开启了炼丹之旅。Llama-3 8b在惊人的15万亿令牌上训练,而Llama-2仅为2万亿。毋庸置疑,Llama 3目前是开源大模型中能力最强的!其跑分成绩已经赶上了GPT-4。 然而,Llama3的优势不仅限于此。作为开源大模型,每个人都可以对其进行个性化的定制,这意味着相比GPT,它具有更强的定制性和安全性。另外,Llama3 8B的模型可以在内存只有8G的树莓派上运行,对于计算机资源的依赖比以往都要低,人人都可以本地部署Llama3,可应用于针对B端企业和各种场景下的自然语言处理、机器翻译、文本生成、问答系统、聊天机器人等场景。 目前,我们主要通过微调(Fine-Tuning)来定制所需的模型。例如,Llama 3原生不支持中文,但我们可以通过微调让它支持中文。什么是微调(Fine-tuning) ?这是机器学习和深度学习中的一个术语。它指的是在预训练模型的基础上,使用特定任务的数据集进行额外训练的过程,目的是让模型更好地适应特定的任务或问题。通过微调,我们可以调整模型的参数,使其更精准地解决特定问题。 就像一个已经非常了解世界的成年人。现在,我们需要它去学习一些更专业或更具体的知识。微调的过程,就像是对这个成年人进行一些专业培训,使其在特定领域更加精通。为了帮助大家更好的理解什么是“微调”,我前天写了一篇轻松的入门教程《Llama3微调教程:超简单,人人都可以打造属于自己的GPT!》: 地址:https://mp.weixin.qq.com/s?__biz=MjM5NDIzOTg0Mw==&mid=2448257753&idx=1&sn=627c94e8b0d66bc9866ab4a42edaaa73&chksm=b29316d585e49fc312553b5efaca684af566be55237b8c4e2a1d9a472dd31f7ee74157c08163&token=1764237450&lang=zh_CN#rd 就算你不懂技术也没有关系,通过这个简单的Llama 3微调案例,我们可以免费体验整个大模型微调的过程。你可以学习到AI工程师是如何进行环境配置、数据准备、模型训练、模型运行、模型保存以及本地模型使用。 这对于大多数普通人来说,这是一个免费体验AI工程师工作方式的机会;如果你想转入AI行业,这也是一个很好的入门案例。你可以通过我的微信公众号“PM熊叔”浏览。 另外在Shownots中,我列出了目前已经微调好的Llama3作品,大家如果有兴趣可以体验一下。 愿每个人都能从中受益,开启自己的AI探索之旅!以下是一些微调的llama3的作品:llama3-Chinese-chat-8b:https://wisemodel.cn/models/shareAI/llama3-Chinese-chat-8bInstruct + 进行中的中文sft版本:https://modelscope.cn/models/baicai003/llama-3-8b-Instruct-chinese_v2/summary联通微调版本:https://www.modelscope.cn/models/UnicomAI/Unichat-llama3-Chinese/summaryOpenbuddy微调版本:https://www.modelscope.cn/models/OpenBuddy/openbuddy-llama3-8b-v21.1-8k/summary破解安全限制系列(目前仅支持英文):Unholy:https://huggingface.co/Undi95/Llama-3-Unholy-8Bneural-chat:https://hf-mirror.com/Locutusque/llama-3-neural-chat-v1-8b聊天机器人:https://huggingface.co/cognitivecomputations/dolphin-2.9-llama3-8bBunny-Llama-3-8B-V(多模态图文版本):**https://wisemodel.cn/models/BAAI/Bunny-Llama-3-8B-V我的公众号:
More Episodes
Published 04/26/24
今天要介绍的这篇文章《The Bitter Lesson 苦涩的教训》是由知名计算机科学家,阿尔伯塔大学、DeepMind的神经网络专家Rich Sutton 在 2019...
Published 04/17/24
前天,我参加了洪宇的《遇见AIer》的播客节目的录制,聊了聊ComfyUI的Mixlab Node背后的故事和AI产品经理关心的一些话题。如果感兴趣,大家可以去听下这期节目。 # 缘起 2023年10月,我和Shadow一拍即合,共同发起了“ComfyUI中文爱好者社区”,并把Mixlab Node纳入了议程。目前,社区已聚集了超过1000名ComfyUI创作者,包括行业内的ComfyUI大咖。Mixlab...
Published 04/08/24