自从OpenAI 发布的chatGPT掀起席卷世界的AI热潮，不到3个月就积累了超过1亿月活用户，超过1300万日活用户，展现了AI让人惊叹的能力，让人感叹，下一个科技革命终于要到来。于是，这次硬核讨论就来了！ Hello World, who is Onboard!? 这次的嘉宾都是绝对的一线。有 Google Brain 的研究员，Xuezhi, 她是 Google 大语言模型 PaLM (Pathways language model) 的作者之一。还有来自 Stability AI 的技术产品经理，和来自某硅谷科技大厂的AI产品经理，曾任前吴恩达教授的Landing AI 机器学习产品负责人。还邀请到了一位一直关注AI的投资人朋友，Bill，作为主持嘉宾。 我们主要讨论几个话题：从研究的视角，最前沿的研究者在关注什么？现在的技术可能的天花板和大变量会在哪儿？从产品和商业的角度，什么是一个好的AI产品？整个生态可能随着大模型出现有什么演变？最后，Monica 和Bill 还会从投资人的视角，做一个回顾、总结和畅想。 这里还有一个小update, 在本集发布的时候，Google 也对爆发增长的ChatGPT 做出了回应，正在测试一个基于LaMDA 模型的聊天机器人 Apprentice Bard。正式发布后会有什么惊喜，我们拭目以待。 AI无疑是未来几年最令人兴奋的变量之一。我们未来会邀请到更多一线从业者，从不同角度讨论技术演进、商业的可能，甚至未来对于我们每个人和社会意味着什么。不论你是做创业、研究、产品还是投资，或许都能为你提供一些思考。 这次的讨论有些技术硬核，需要各位对生成式AI、大模型都有一些基础了解。讨论中涉及到的论文和重要概念，也总结在 show notes 中，供大家复习参考。其中几位嘉宾在北美工作生活多年，夹杂英文在所难免，也请大家体谅。 欢迎来到未来，Enjoy! 嘉宾介绍 Xuezhi Wang, Google Brain 研究员，Google 语言大模型 PaLM 作者之一。 Yizhou Zheng, Stability AI 产品和工程经理 Yiwen Li, 某硅谷科技大厂机器学习产品经理，前 Landing AI 产品负责人，天使投资人 关于主播 Monica：美元VC投资人，前 AWS 硅谷团队+AI创业公司打工人，公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学 我们都聊了什么 02:52 嘉宾自我介绍，fun fact: 你们感兴趣的一个生成式AI项目 大语言模型（LLM）的硬核讨论 12:07 Google PaLM 是什么？跟GPT3有什么区别？ 15:47 GPT3比起GPT2 的巨大提升是怎么实现的？In-context learning 的机制是什么？ 24:02 大模型不断增加参数的过程有什么挑战？还有什么影响模型效果的重要因素？ 27:35 模型参数已经到瓶颈了吗？增加模型参数对落地应用有什么影响？ 31:13 高质量的训练数据规模会成为模型扩展的瓶颈吗？ 37:24 大模型基础上，具体场景的模型训练对数据要求有什么变化？ Stability AI 和开源商业模式 42:59 什么是Stable Diffusion? 跟其他图片生成模型的区别是什么？ 55:27 Stability AI 开源商业模式是什么？ 59:40 大模型背景下的AI商业模式会有什么变化？ 01:08:26 训练成本会如何影响AI产品和基于开源的商业模式？ 01:13:13 底层模型提供商会形成类似iOS，安卓这样的生态吗？AI PaaS 生态会如何演变？ 实现下一步的可能挑战 01:22:12 What's next: 现在的LLM还有什么瓶颈？基于现有模型的天花板是什么？ 01:31:27 大语言模型如何提升能力：多语言的挑战，多模态数据的作用 01:36:32 图片生成模型目前的瓶颈和未来提升的方向 01:39:18 多模态为什么对于模型提升很重要 01:42:37 多模态的难点是什么？ 大模型的落地和产品化 01:44:46 What's next: 基于大模型需要不一样的AI开发工具链吗？基础模型提供商会不会提供配套工具？ 01:58