在科技鸿沟的一次进军约聚中，知乎联袂DataFun共同呈现了一场聚焦大模子应用工程化实行的深度技能沙龙。这次活动积贮了来自15个行业、130家企业的专科东说念主士，共同探讨了大模子技能从实验室迈向千万级用户家具的旅途。

知乎CTO孙斌在活动现场带来了一个清脆东说念主心的音信：知乎自研的轻量高效大模子推理框架ZhiLight认真开源。这一音信秀雅着知乎在大模子工程化实行上的又一进军进展。

知乎在2024年握续鼓励大模子技能的落地应用，先后推出了知乎直答和专科搜索功能。这些功能不仅聚焦于专科东说念主士的坐褥力场景，更是将AI搜索推向了更具专科性和实用性的深度搜索阶段。在沙龙上，知乎AI算法负责东说念主王界武抵制先容了知乎直答的搭建历程和技能有商量选型。

王界武指出，在构建AI问答系统时，知乎直答团队对比了LLM握续pretrain+posttrain与检索增强生成（RAG）两种有商量，最终遴荐了RAG有商量。RAG系统通过从学问库检索干系信息算作高下文，再由大谈话模子生成回话，权贵裁汰了AI的幻觉问题，提高了谜底的准确性和泰斗度。团队在Query瓦解、调回、大模子生成等多个次第进行了深入优化。

在专科搜索功能方面，知乎直答团队汲取了多种前沿技能，竣事了多智能体的协同责任，并救济信息查询、内容分析、数学计较等多种功能。同期，蚁合大谈话模子的弘大推理身手，对用户的高下文和发问进行深入分析，从多角度、多线索调回高质地的内容。

王界武还知道，知乎直答团队磋议将家具与社区深度和会，知足更多场景下用户找谜底的需求，并在准确性、时效性、交互模式等鸿沟竣事更多升级。同期，将进一步普及模子的推理身手，使知乎直答具备更强的处罚复杂问题身手和使用体验。

在沙龙上，知乎自研的大模子推理框架ZhiLight也认真亮相。知乎机器学习平台负责东说念主王新先容了ZhiLight的瞎想方向和优化要点。ZhiLight旨在快速部署与实行LLaMa-like模子，并兼容OpenAI chat/completions接口，便于平方使用及与开源引擎的性能与沉稳性对比。

ZhiLight在PCIe卡间通信优化、内存经管以及并发申请经管等方面进行了深入优化，并集成了FlashAttention、Marlin、TensorRT、exllama等开源口头。通过计较与通信overlap和低精度通信等技能，单层Transformer计较时代裁汰了40%以上。在模子限制达到70B时，ZhiLight在TTFT目的上明白优于主流开源推理引擎。

百川智能大谈话模子资深算法众人王宇龙在沙龙上共享了对Agent技能的探索。他觉得，基于LLM运转的智能体相较于传统Agent，好像哄骗大型谈话模子的弘大身手，透澈蜕变智能体的责任神气。这类智能体好像在不同的任务之间切换，并通过瓦解当然谈话来处罚问题。

王宇龙还先容了面前Agent面对的主要问题，并探讨了Agent和LLM的底层细节。他觉得，东说念主工智能有可能以新的神气发现并哄骗计较简化的区域，从而作念出类似和“大要正确”的瞻望。但AI在进行精准、抵制的瞻望时会际遇贵重，特殊是在面对计较弗成约性时。

在相似会上，“教导词布说念师”李继刚也共享了对于Prompt的长远视力。他提倡“Prompt=抒发”，并推崇了“抒发=本意+文意+解意”以及“本意=教授+词汇+学问”的见解。他觉得，与大模子竣事“共振”是Prompt瞎想的中枢，即用最明晰、粗略的抒发指向中枢现实。

李继刚还共享了Prompt的实战教授，觉得Prompt工程师应具备东说念主文和技能两项基本修养，既要能写编程、具备理性数学的想维，又要会写稿、领有理性抒发的想维。

这次大模子技能沙龙不仅为与会者带来了前沿的技能共享和深度相似，也展示了知乎在大模子应用工程化实行上的坚实步骤。知乎将赓续加强与科技行业、技能从业者的相似联动，为互联网行业前沿技能研发和应用孝顺力量。