LLM在线推理挑战及解决方案 (Efficient LLM Inference)

本次分享将从高级别的直觉方式开始，解释LLM技术的关键组件，并且探讨与其相关的挑战和实际解决方案。为了让讨论更加具体，我们还将分享具体的工程实现和相应的开源项目

主讲人：Micheal Mi, 毕业于中国科学院软件研究所，专攻分布式计算领域，目前担任Vectorch公司的创始人。他曾担任微软、Dropbox和Pinterest的软件工程师职位，积累了超过15年的分布式系统、实时服务系统和机器学习系统的设计和开发经验。Michael对分布式系统和系统优化有着深刻的理解，曾领导团队为Pinterest的推荐系统打造了坚实的后台支持。

Link: https://github.com/vectorch-ai/ScaleLLM

Zoom: https://bit.ly/40quNK4