ICS 35.240 L 70/84 团 体 标 准 T/SDAAI 0001—2023 人工智能写稿稿件质量评价规范 Specification for quality evaluation of manuscripts written by artificial intelligence 2023-03-31发布 2023-04-01实施 山东省人工智能学会发布 全国团体标准信息平台 T/SDAAI 0001—2023 II 目录 前言................................ ................................ ....... III 引言................................ ................................ ........ IV 1 范围 ................................ ................................ ...... 1 2 规范性引用文件 ................................ ............................ 1 3 术语和定义 ................................ ................................ 1 4 评价指标体系 ................................ .............................. 1 4.1 新闻类别及特点 ................................ ..................... 1 4.2 评价体系分类 ................................ ....................... 2 4.3 报纸新闻稿件质量评价体系 ................................ ........... 2 4.4 广播新闻稿件质量评价体系 ................................ ........... 3 4.5 电视新闻稿件质量评价体系 ................................ ........... 4 4.6 网络新闻稿件质 量评价体系 ................................ ........... 4 5 评价方法 ................................ ................................ .. 5 5.1 评价方法分类 ................................ ....................... 5 5.2 主观评价方法 ................................ ....................... 5 5.3 客观评价方法 ................................ ...................... 10 6 评价流程 ................................ ................................ . 28 7 人工智能写稿稿件质量等级划分 ................................ ............. 28 附录 内容目标禁忌 词汇汇总 ................................ .................. 30 全国团体标准信息平台 T/SDAAI 0001—2023 III 前言 本文件按照GB/T 1.1 —2020《标准化工作导则第 1部分：标准化文件的结构和起草规 则》给出的规则起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。 本文件由山东省人工智能学会 提出并归口。 本文件负责起草单位： 山东大学， 中国科学技术大学， 杭州电子科技大学 ，人民日报 社， 山东舜网传媒股份有限公司 。 本文件主要起草人： 任昭春， 陈竹敏，任鹏杰，辛鑫，高莘， 郝艳宾，俞俊，张弛，韩 强，许海振，王延超，吕由钢，王梓涵 。 全国团体标准信息平台 T/SDAAI 0001—2023 IV 引言 步入新世纪以来，云计算、大数据、人工智能等信息技术飞速发展，逐渐影响人类生活 的方方面面。机器新闻写作就是在新闻传播业中人工智能技术应用的产物，它能够借助计算 机程序在很短的时间内自动抓取海量的信息，从中整理和归纳，自动生成新闻内容，颠覆性 地改变了传统新闻生产的方式，也为新闻业带来了极大变革。 由于边际成本很低而且能快速 生成大量新闻，目前 机器新闻写作 技术在不同题材已有不少应用，满足了不同读者的阅读需 求。 高标准的稿件质量评价方法对人工智能写稿技术更好地应用起着重要作用。传统中，新 闻质量评价通常有主观评价和客观评价两种方式。其中，主观评价是由普通读者或报社专业 编辑对稿件做出评价，形成人工反馈；客观评价是计算机算法 给出稿件质量 的量化指标。主 观评价方法存在量化评估难、效率低等问题， 而客观评价方法存在评价准确性与人工反馈有 较大差距 的问题。目前，业界缺乏对人工智能稿件质量主客观一致的有效评价方法，在一定 程度上影响着人工智能写稿算法及技术的广泛应用。 本文件面向人工智能写稿系统生成的多模态 新闻稿件质量评价 ，聚集了国内人工智能 写 稿及新闻 质量评价领域的技术专家，开展了多种形式的专题研讨和征求意见活动，在保证标 准科学性、合理性和可行性的同时，确保了标准研制过程的公开性和透明性。 全国团体标准信息平台 T/SDAAI 0001—2023 1 人工智能写稿稿件质量评价规范 1 范围 本文件规定了人工智能写稿稿件质量的评价 指标体系、主客观评价方法、 评价流程 及稿件质量 等级划分。 本文件适用于第三方机构对人工智能写稿系统生成的稿件质量进行评价，也适用于人工智能写 稿系统开发方自评。 2 规范性引用文件 本文件没有规范性引用文件。 3 术语和定义 下列术语和定义适用于本文件。 3.1 人工智能写稿 Artificial intelligence based writing 计算机模型使用自然语言处理和知识图谱技术自动撰写新闻稿件。 3.2 稿件质量评价 Writing quality evaluation 根据新闻稿件质量评价体系对新闻稿件内容量化 评分，区分 新闻稿件质量优劣。 4 评价指标体系 4.1 新闻类别及特点 新闻类别及特点 如表1所示。 表1 新闻类别及特点 新闻类别 写作特点 报纸新闻 严谨，力求真实、准确地还原新闻事件。 要在有限的篇幅内高度还原新闻事实，还要体现鲜明的媒体观点。 全国团体标准信息平台 T/SDAAI 0001—2023 2 表1 新闻类别及特点 （续） 新闻类别 写作特点 报纸新闻 专业性强，大多是记者实地采访后的原创作品。 版面有限，强调严谨性，受拘束较多。 广播新闻 口语化、通俗化（追求新、快、短） 。 语体是谈话体、文书体（像谈话一样亲切自然，易被受众接受） 。 语境是一对多（常见于口播）或一对一（常见于新闻评论） 。 电视新闻 有声画合一 /声画对位两种组合方式。 有图像型（画面为主导，以突发性新闻为代表） 、解说型（解说词为主导、以综合性报道为代 表） 、图像解说型（图文并重）三种组合类型。 网络新闻 全时性，即时、连续地对公众关注的新闻主题进行报道。 风格化，不同的媒体拥有自己的报道特色和受众群。 层次化，有标题、导语、正文、关键词、背景链接和延伸阅读。 强浏览性，语言注 重表达简洁、清晰，对新闻内容按照重要程度排序，重要的内容放在前面， 非重要的放在后面 ；每段文字表述一个内容，方便受众掌握 ；精心设计关键词。 4.2 评价体系 分类 4.2.1 评价体系 分类依据 针对新闻类别及其特点， 人工智能写稿稿件质量评价体系 分为报纸新闻稿件质量评价体系、广 播新闻稿件质量评价体系、电视新闻稿件质量评价体系及网络新闻稿件质量评价体系 。 4.2.2 评价体系 构成 四个评价体系 中的一级评价指标是各新闻类别的新闻 组成结构，二级 评价指标是针对相应新闻 组成结构设置的评价指标。 4.2.3 评价体系 运用 一级评价指标和二级评价指标设有权重 系数，利用主观评价方法或客观评价方法对二级指标打 分后，利用评价体系加权汇总得到新闻稿件质量评分。 4.3 报纸新闻稿件质量评价体系 报纸新闻稿件质量评价体系如表 2所示。 全国团体标准信息平台 T/SDAAI 0001—2023