技术发布2026年11月17日Редакция 105.kz
LLMON:Granite 4.1 中用于 LLM 的标记语言——减少提示注入、结构化输出
IBM 发布了带有 LLMON 的实验性 Granite 4.1 3B 和 8B 模型,LLMON 是一种明确区分指令与数据的标记语言。这降低了间接提示注入的风险,并简化了工业 LLM 智能体的结构化输出。
要点。 面向哈萨克斯坦工程师:LLMON 是一种实验性的 LLM 上下文结构化方法,其中指令、数据和要求分别编码在不同块中。Granite 4.1 LLMON-preview 模型在 OPI 基准测试中表现出相当的总体能力,并显著降低了间接提示注入的成功率,但这是预览版,不适用于工业生产。在验证俄语数据后,可在封闭环境中进行试点。
发生了什么
2026年11月12日,Hugging Face 博客发布了关于 LLMON(LLM Object Notation)的文章——一种面向因果语言模型的标记语言。与 JSON 用 {、\"、: 等符号定义结构不同,LLMON 使用保留的特殊令牌。这样可以区分结构化分隔符与内容,并明确标注块的边界。作者发布了两个基于 Granite 4.1 的实验性预览模型:granite-4.1-3b-LLMON-preview 和 granite-4.1-8b-LLMON-preview。博客称,在 OPI 基准测试中,LLMON 模型比测试中最好的前沿模型避免了 47% 以上的间接提示注入攻击,比最好的开源模型避免了 95% 以上。同时,总体性能与 Granite 4.1 Instruct 相当。模型、JSON-LLMON 转换器、示例和工具可在 GitHub 仓库获取;Mellea 中也提供支持。
这对哈萨克斯坦企业意味着什么
对于在封闭环境中运行企业级 LLM 的工厂和生产现场,LLMON 的核心价值在于明确区分指令、数据和要求。在工业场景中,模型经常从不同来源接收文档:工作票、维修记录、巡检报告、承包商函件、自动化控制系统导出数据。间接注入可能隐藏在这些文本中;LLMON 降低了模型将数据误认为指令的可能性。这对 HSE 报告和设备维护规程尤为重要,因为错误代价很高。
第二个方面是结构化输出。LLMON 允许定义类型化块,例如 事件、设备单元、建议,并将其与特定指令关联。这样的输出比自由文本或 JSON 更容易与 MES、ERP 或交接班日志集成,因为模型可能生成语法错误的 JSON。对于遵循 ISO 和 ГОСТ 标准的哈萨克斯坦企业,这可以简化缺陷自动分类、从报告中提取参数以及为调度员生成简要汇总。
不过,原始资料中没有对俄语和哈萨克语的质量评估。要在哈萨克斯坦应用,需要自行验证领域语料库,包括技术文档和专业术语(评估)。3B 和 8B 模型相对紧凑,可以在本地部署,而无需极高的计算资源(评估)。
如何应用:8–12 周试点
- 审计文本流程。 选择 2–3 个 LLM 可以承担结构化数据提取的流程:处理工作票、维修请求分类、交接班汇总。评估当前文本中哪些指令和数据混在一起。
- 确定目标输出字段。 例如,对于缺陷报告:设备代码、缺陷类型、严重程度、建议措施。这将作为 LLMON 标记的方案。
- 在测试环境中部署预览模型。 使用封闭服务器,不向外部传输数据。在脱敏的历史文档上测试模型处理俄语术语的能力。必要时准备用于 LoRA 适配器的领域数据集。
- 衡量效果。 将正确填写字段的比例和处理时间与当前人工流程或 JSON 提示进行比较。单独测试在测试文档中故意插入指令时的稳健性。
- 做出决定。 如果质量可接受,则在受限环境下转向带 NDA 的试点。更多实施方法见 企业级LLM 页面和 工业企业 板块。
限制与风险
LLMON 和 Granite 4.1 LLMON-preview 模型是实验性的,不适用于工业生产。作者明确指出:仅供研究和评估,不用于生产环境。对间接提示注入的防护在静态基准 OPI、ASB 和 StruQ 上得到验证;针对多轮对话中展开的自适应攻击的工作仍在进行中。LLMON 的行为是习得的,而非强制保证;可能出现故障。
对哈萨克斯坦企业而言,主要风险是缺乏俄语和哈萨克语以及专业术语的质量数据。小模型在复杂推理上可能不如大模型,尽管总体性能号称与 Granite 4.1 Instruct 相当。与现有 JSON 流程的集成可通过转换器实现,但反向转换的损失需要单独验证。监管要求数据本地化和国家公司的信息安全意味着所有实验必须在封闭环境中进行;生产数据不允许使用云服务。
来源
- LLMON: An LLM-Native Markup Language, now in Granite 4.1 3B and 8B · 2026-11-12T19:07:35.000Z
LLMON, on the other hand, is an XML-like markup whose structural delimiters are reserved special tokens rather than characters, so structure and content use separate parts of the vocabulary.
- Иллюстрация: сгенерирована 105.kz (z-image, Apache 2.0)
本文借助人工智能根据上方所列来源撰写。如发现不准确之处,请发送邮件至 info@105.kz。