Zhang

本书更关注为大模型初学者提供整体的技术讲解，为此我们在内容上进行了大范围的更新与重组，力图展现一个系统的大模型技术框架和路线图。本书适用于具有深度学习基础的读者阅读，可以作为一本基础的大模型参考书籍。在准备中文书的过程中，我们广泛阅读了现有的经典论文、相关代码和学术教材，从中提炼出核心概念、算法与模型，并进行了系统性的组织与讲解。我们对于每个章节的内容初稿都进行了多次修正，力求表达的清晰性与准确性。

大语言模型（Large Language Models，LLM）是一种由包含数百亿以上权重的深度神经网络构建的语言模型，使用自监督学习方法通过大量无标记文本进行训练。自2018年以来，包含Google、OpenAI、Meta、百度、华为等公司和研究机构都纷纷发布了包括BERT， GPT等在内多种模型，并在几乎所有自然语言处理任务中都表现出色。2021年开始大模型呈现爆发式的增长，特别是2022年11月ChatGPT发布后，更是引起了全世界的广泛关注。用户可以使用自然语言与系统交互，从而实现包括问答、分类、摘要、翻译、聊天等从理解到生成的各种任务。大型语言模型展现出了强大的对世界知识掌握和对语言的理解。本书将介绍大语言模型的基础理论包括语言模型、分布式模型训练以及强化学习，并以Deepspeed-Chat框架为例介绍实现大语言模型和类ChatGPT系统的实践。

法智大模型是基于GPT-4架构的法律垂直领域大模型，通过融合1.2亿裁判文书和280万部法律法规数据，构建了1300亿参数的LegalGPT-13B模型，具备法律检索、咨询、合同审查、案件分析及文书生成等全场景智能服务功能，显著提升法律实务效率与精准度

AlphaGPT将人工智能法律大模型与律师具体的业务场景相结合，覆盖合同审查、⽂书起草、法律咨询、卷宗阅读、案情研究等多项服务。轻松上手、无需下载、专业准确的律师AI法律助理

“元典问达”是华宇股份推车的一款基于大模型AI与法律知识库的智能法律问答平台，通过深度集成案例洞察、法规研究、全网观点及知识+等功能

北大法宝“律AI多”是通过法律大模型结合数据库和自建知识库，提供全流程知识管理解决方案，实现知识沉淀智能化、查询便利化及资产应用多元化，赋能律所提质增效

得理法搜是深圳得理科技有限公司开发的AI驱动法律数据智能引擎，整合1.3亿+裁判文书、300万+法律法规及5亿+法律数据，覆盖知识产权、地产工程等领域。其核心功能包括智能检索、裁判文书阅读、法律文书生成、案例分析及AI法律咨询，通过自然语言处理技术提升检索效率与精准度

无忧吾律是幂律智能旗下的AI法律服务平台，致力于通过人工智能技术为中小企业提供低成本、高品质的法律服务，涵盖合同起草、审查、法律咨询、风险防控等多个领域

通义法睿是阿里云推出的AI法律顾问助手，基于通义千问大模型，提供法律咨询、文书生成、法律知识检索、案情分析等功能，旨在提升法律服务的效率与精准度

Metalaw类案检索是一款基于人工智能技术的法律工具，通过输入争议焦点或关键词，快速定位相关案例并提供AI分析、思维导图、法律条文引用及报告导出等功能，显著提升法律研究效率。其核心优势在于精准匹配类案、智能总结裁判逻辑，并支持多维度筛选与个性化推荐，帮助用户高效获取法律信息并辅助诉讼策略制定。

法行宝是百度推出的免费 AI 法律助手，依托文心大模型等技术，提供法律咨询、法律文书生成等服务，覆盖多领域，助力用户高效解决法律问题