主要内容
企业人工智能部署面临一个基本的紧张关系：组织需要复杂的语言模型，但又对前沿系统的基础设施成本和能源消耗望而却步。NTT 最近推出的 tsuzumi 2，这是一个在单个 GPU 上运行的轻量级大型语言模型（LLM），展示了企业如何解决这一限制——早期部署显示其性能与较大的模型相匹配，而运行成本仅为其一小部分。商业案例很简单。传统的大型语言模型需要数十或数百个 GPU，产生的电力消耗和运营成本障碍使得许多组织的人工智能部署不切实际。（GPU 成本比较）对于在电力基础设施受限或运营预算紧张的市场中运营的企业，这些要求使人工智能成为不可行的选择。
NTT 的新闻稿说明了推动轻量级 LLM 采用的实际考虑因素，以东京在线大学的部署为例。该大学在其校园网络中运营一个本地平台，保存学生和教职员工的数据——这是教育机构和受监管行业中常见的数据主权要求。在验证 tsuzumi 2 在生产就绪水平上处理复杂的上下文理解和长文档处理后，该大学将其部署用于课程问答增强、教学材料创建支持和个性化学生指导。单 GPU 操作意味着该大学避免了 GPU 集群的资本支出和持续的电力成本。更重要的是，本地部署解决了数据隐私问题，这些问题阻止了许多教育机构使用处理敏感学生信息的基于云的人工智能服务。
无规模的性能：技术经济学 NTT 对金融系统查询处理的内部评估显示，尽管基础设施需求大幅减少，tsuzumi 2 仍能与领先的外部模型相匹配或超越。性能与资源的比率决定了企业的人工智能采用可行性，其中总拥有成本驱动决策。该模型在日语性能方面提供了 NTT 所称的“在类似规模的模型中处于世界领先地位的结果”，在优先考虑知识、分析、遵循指令和安全的业务领域具有特别优势。对于主要在日本市场运营的企业，这种语言优化减少了部署需要大量计算资源的更大的多语言模型的需求。
在金融、医疗和公共部门强化的知识——基于客户需求开发——使得无需大量微调即可进行特定领域的部署。该模型的 RAG（检索增强生成）和微调功能允许为拥有专有知识库或特定行业术语的企业高效开发专用应用程序，而通用模型在此方面表现不佳。
数据主权和安全作为业务驱动因素除了成本考虑因素外，数据主权推动了受监管行业中轻量级 LLM 的采用。处理机密信息的组织在通过受外国管辖的外部 AI 服务处理数据时面临风险暴露。NTT 将 tsuzumi 2 定位为在日本从头开始开发的“纯国内模型”，在本地或私有云中运行。这解决了亚太市场中关于数据驻留、法规遵从和信息安全的普遍担忧。富士胶片商业创新与 NTT DOCOMO BUSINESS 的合作展示了企业如何将轻量级模型与现有数据基础设施相结合。富士胶片的 REiLI 技术将非结构化的企业数据——合同、提案、混合文本和图像——转换为结构化信息。集成 tsuzumi 2 的生成能力可实现高级文档分析，而无需传输敏感的企业内部信息。