近3小时的硅谷AI重磅嘉宾现场对谈，下集光速奉上！如果你还没有听过上一期，赶紧去补课！ Hello World, who is OnBoard!? 简单介绍一下这次Monica 期待已久的嘉宾组合！ 两位都在OpenAI工作过的技术大牛，包括Nvidia资深研究员 Jim Fan, 除了对生成式agents 和机器人的具身智能有深度研究外，他的Twitter 连 Jeff bezos 都关注，是AI领域全球范围内的顶级大V。另一位嘉宾戴涵俊，Google Deepmind 的资深研究员，也是 Google 新一代大语言模型的深度参与者。最后，兼任主持和嘉宾的硅谷上市公司华人高管，硅谷徐老师, 每次来 Onboard! 串台都大受好评。 这是三个小时播客的第二部分。上一期的内容，我们深度讨论了最近AI领域最火的话题，Generative Agents, 生成式代理。这一期更是精彩纷呈，包含了AI领域更多核心话题，包括多模态大模型的研究进展，具备具身智能 embodied AI 的机器人如何打造，AI对saas的影响，我们对未来AI的商业和社会畅想等等。真的是非常尽兴的讨论，你也可以拿起笔记本做笔记了。 几位嘉宾都是长期在美国工作生活，夹杂英文在所难免，不接受抱怨。Enjoy! 嘉宾介绍 Jim Fan（推特：@DrJimFan），Nvidia 高级 AI 研究科学家，曾在OpenAI工作，Stanford PhD 李飞飞实验室 戴涵俊（推特：@hanjundai），Google Deepmind 资深研究员，深度参与 Google 大语言模型项目，曾在OpenAI工作，Georgia Tech PhD 硅谷徐老师（推特：@h0wie_xu），硅谷连续创业者、人工智能高管、斯坦福商学院客座讲师，「科技早知道」主播 ｜微信公众号：硅谷云｜ AI博客：howiexu.substack.com 主持：Monica（推特：@Monica_XieY）：美元VC投资人，前 AWS 硅谷团队+AI创业公司打工人，公众号：M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学我们都聊了什么 01:55 为什么 Jim 觉得 Llama 2 作为语言模型，对于多模态模型和机器人有重大推动 05:24 Hanjun 解读多模态大模型的两种实现方式 07:47 多模态大模型只是解锁了新的场景，还是能更大提升大模型本身的智能？如何理解大模型的智能？ 12:34 为什么说机器人的多模态问题更有挑战？ 16:35 处理多模态训练数据有哪些难点？ 18:12 大模型训练还需要哪些工具？Infra/tooling 有哪些机会？ 19:51 亲历OpenAI 的经历回顾和感受：2016-2020，OpenAI 都发生了什么 25:11 OpenAI 近年的发展，哪个时刻震撼了你？ 34:20 为什么说 Evaluation 是大语言模型最被低估的挑战之一？ 39:54 未来1年和未来10年，你最期待人工智能领域带来什么？ 46:17 我们自己和下一代应该如何为未来做准备？ 59:33 有趣的 closing 和未来展望：被 Jeff Bezos 关注是什么感觉？！ 我们提到的内容 Llama 2: Meta 开源的大语言模型 Jim Fan 对于Llama 2 的解读 OpenAI 赢得DOTA 游戏比赛 LSTM (Long Short-term Memory) Jim Fan 对大猩猩玩Minecraft 的解读 DALL-E 2: DALL·E 2 is an AI system that can create realistic images and art from a description in natural language (by OpenAI) CLIP: Connecting text and image ImageNET:  an image dataset organized according to the WordNet hierarchy. AlexNET: ImageNet Classification with Deep Convolutional Neural Networks重点词汇 RLHF (Reinforcement Learning with Human Feedback): 人类反馈的强化学习 - 一种AI模型通过人类反馈与传统的强化学习结合来学习的方法。 Fine tuning: 微调 - 在特定的数据集上进一步训练预训练的机器学习模型，使其适应特定任务的过程。 Hallucination: 幻觉 - 在AI中，指的是模型生成不在输入中的信息，可能导致输出不准确。 Multi-modal model: 多模态模型 - 能够理解和处理多种类型数据（如文本、图像和声音）的模型