对上海电机学院大数据应用特点,基于底层数据指标层计算框架输的高校通用数据指标,实现校内各级、各实体对象(师生、专业、建筑物等)指标的模型梳理、原子指标、派生指标、复合指标计算等过程,实现指标统一存储和管理,形成高校KPI库,对外提供个性化的、动态的指标场景库、指标输出,满足各类指标查询、分析、预警需求。 建设需求: 1.提供包括指标库(存储、检索、管理指标)、数据模型(构建、维护数据关联逻辑)、指标管理(全生命周期管控指标)、应用场景管理(搭建、管理应用场景)、预警管理(设置、触发异常预警)、第三方应用开放(授权、应用管理)等,满足日常指标操作需求; 2.提供场景监控能力,对各类指标应用场景进行实时监测,每个场景监控包含指标实例数量、指标累计执行次数以及场景最近一次执行时间等;支持查看场景下的指标情况,支持针对场景进行上线或下线管理,支持查看场景下各指标运行记录,支持通过下拉方式快速切换不同场景。 3.支持以图形化方式全景展示从数据接入到形成指标库并应用到各类场景的完整流程;支持多种数据接入方式,包括Mysql、Postgresql、Oracle、Elasticsearch等数据库接入,定制API接口接入及文件接入等;指标库支持按业务域分域展示指标数量,并支持查看相应业务域的详细指标;场景库支持展示基于指标构建的各类应用场景,并支持查看具体场景的详情。 4.支持指标域分析,可从业务域的维度展示某个域的指标数量和应用场景数量,并支持查看该业务域下指标具体应用到的场景,以及应用到该场景下的具体指标; 5.支持场景分析,可从场景的维度统计该场景的指标数据,以及这些指标的业务域分布数量,并支持查看该场景下各业务域指标的详细信息。 6.支持数据源管理 (1)支持对接多种类型的数据源,包括Mysql、Postgresql、Oracle等关系型数据库,Elasticsearch全文检索库,以及Prometheus、VictoriaMetrics等时序数据库。数据库常见数据源支持JDBC和Catalog等连接方式,要求无需额外配置或开发即可对接学校现有数据中台; (2)支持以列表方式查看所有已接入的数据源信息,包含数据源名称、连接方式、连接地址、用户名、密码、连接数、描述及状态(已上线/已下线)等。 (3)支持对已接入的数据源进行管理操作,包括编辑、启用、停用、删除等。 7.支持数据模型管理 (1)支持通过数据模型名称、模型类型、接入信息、调度类型、状态、创建时间等条件进行快速检索; (2)支持以列表形式展示所有数据模型,列表信息包含数据模型名称、模型类型、接入信息、调度类型、定时任务运行时间、最近一次同步成功时间、模型描述及模型运行状态等。每个数据模型应支持详情查看、立即同步、同步记录查看、编辑、删除、数据模型上下线管理等操作。 (3)新建数据模型支持多种数据源接入模式,包括Starrocks、Mysql、Postgresql、Oracle等关系型数据库,Prometheus、VictoriaMetrics等时序数据库、Excel文件导入,以及常见数据中台厂商的http接口接入等;要求无需额外配置或开发即可对接学校现有数据中台。 (4)新建数据模型支持配置数据模型名称、接入方式、数据源类型、数据模型类型、任务调度类型、定时计划等信息。模型类型包含业务模型、维度扩展模型等;任务调度类型支持定时同步、直连等方式;定时计划支持设置自定义计划,可按任意值、范围、间隔、指定等方式灵活设定。 (5)支持通过SQL查询语句预览已接入的数据模型运行结果。 (6)支持对创建的数据模型进行数据字段配置,包含字段名称、别名、数据类型、字段类型、字段长度、字段描述、关联维度等配置。 (7)支持索引设置,配置项包含索引名称、索引字段、索引类型、索引描述等,并支持索引的添加和删除等操作。 (8)调度设置支持全量同步、增量同步等方式。增量同步支持配置数据主键、增量数据时间戳、增量数据缓冲时间等参数。 8.支持维度管理 (1)支持定性维度管理和定量维度管理。 (2)定性维度支持基于维度名称、接入信息、关联业务模型、状态及创建时间等条件进行检索。 (3)支持以列表形式展示定性维度信息,包括维度名称、接入信息、维值代码字段、维值名称字段、关联业务模型、定时同步计划等内容;并提供查看详情、立即同步、查看同步记录、编辑、删除、维度上线或下线等操作,并支持定性维度数据导出。 (4)新建定性维度时支持配置名称、接入方式、数据源、SQL查询语句、维值代码字段、维值名称字段、关联业务模型、定时同步计划、描述等信息。维值代码字段和维值名称字段支持设置字段配置信息,包括字段名称、字段别名、数据类型、字段类型、字段长度、精度、描述等信息。 (5)定量维度支持通过维度名称、数据类型、创建时间等条件进行快速检索。 (6)支持以列表形式展示所有定量维度,展示内容包括维度名称、数据类型、描述、创建人、定时同步计划等;定量维度应提供详情查看、编辑、删除等操作,并支持定量维度数据导出。 (7)新建定量维度时支持配置维度名称、数据类型、维值设置、描述等信息,其中数据类型须包含数值型和日期型;维值设置支持“当XXX在xx-xx范围内,则返回XX,否则返回XX”判断语句,并支持维值新增和删除。 9.支持指标管理 (1)支持按业务域分类查看和管理指标,并支持基于指标域的名称进行快捷检索; (2)支持基于指标名称、指标类型、创建时间等条件对具体指标进行快速检索; (3)支持以列表形式展示指标信息,展示内容包括指标名称、指标类型、标签、归口部门、创建人、创建时间等信息,并提供查看详情、新建版本、复制、编辑、删除等操作; (4)支持查看指标详情:支持查看指标的基本信息,包括指标名称、指标域、数据模型、统计方式、统计度量、归口部门、标签、指标描述信息等;支持查看指标版本信息,包括版本名称、相关政策内容、计算逻辑等;支持查看指标设定的参数,包括参数名称、参数类型、用途、参数结构、默认值、描述等内容;同时支持查看指标设定的评价标准,包括评价名称、评价规则、描述等信息;支持查看指标的血缘图谱,包括依赖的指标、依赖的数据模型、依赖的数据源、依赖的数据表等。支持对指标进行预览,展示指标的计算结果。 (5)支持以图形化方式展示指标血缘关系,完成呈现从外部数据源表-外部数据源-原子指标-派生指标-复合指标的全链路过程。血缘图支持放大、缩小及下载功能。 (6)支持多种指标创建方式,包括原子指标、派生指标、复合指标、自定义指标等。 (7)创建原子指标须支持配置指标名称、指标域、初始版本、数据模型、统计方式、统计度量、标签、归口部门、计算逻辑、描述、指标参数、指标评价等信息。统计方式应至少支持计数、去重计数、求和、最大值、最小值、平均值、单一字段值、多字段拼接等。 (8)支持指标相似性检测,不允许创建同名指标。在定义指标时,系统应能自动检测是否存在相似指标,并展示相似指标的信息概览,以避免重复创建。 (9)指标参数支持配置参数名称、参数类型、用途、参数结构、描述等信息,其中参数类型可选数值、字符串、日期、时间等;支持目标评价。 (10)指标评价支持配置评价名称、评价规则和描述等信息。其中,评价规则支持自定义新增,配置内容包括规则名称、评价表达式、描述等信息;评价表达式支持对指标结果与常量、参数进行比较,并支持多种比较方式,包括基本数值比较和逻辑扩展比较等。 (11)派生指标支持配置指标名称、指标域、初始版本、选择依赖的原子指标、横比维度、纵比维度、关联定量维度、增量或存量的纵比方式、筛选条件、标签、归口部门、计算逻辑、描述、指标参数及指标评价等信息。 (12)复合指标支持配置指标名称、指标域、初始版本、计算公式、标签、归口部门、计算逻辑、描述、指标参数、指标评价等信息;计算公式应支持由可依赖指标、可用参数和可用函数组成统计语句进行计算,并支持指标计算预览功能。 (13)自定义指标支持配置指标名称、指标域、初始版本、数据模型、数据源、自定义sql语句以及度量、维度、维度字段标签、归口部门、计算逻辑、描述、指标参数、指标评价等信息。 (14)须提供指标版本管理能力,支持对指标的历史版本进行记录,支持查看历史版本详情。 10.支持场景管理 (1)支持新增、编辑、删除场景;支持通过版本名称、创建时间等条件快速检索并查看不同版本的场景详情;新增场景支持配置场景名称、附件、描述等信息。 (2)支持以列表形式展示某一场景下不同版本的详细场景信息,包含版本名称、建设周期、指标实例、定时计划、状态、创建人、创建时间等。同时提供场景上线或下线、编辑、删除、指标实例查看、场景血缘查看、立即执行、执行记录查看等操作。 (3)支持从指标库中选择并添加指标实例至场景,并支持对已添加的指标进行编辑和删除;支持以图形化方式展示场景血缘,完整呈现数据模型-指标实例-场景-应用的链路过程,并支持血缘图的放大、缩小及下载;支持查看指标实例的执行记录,并可通过关键字、指标实例名称及同步状态等条件进行检索。 11.支持第三方应用开放 (1)支持基于应用名称、创建时间等对第三用应用进行快速检索,并支持以列表形式展示所有应用的详细信息,展示内容包括应用名称、应用编号、应用密钥、场景、访问令牌有效期、刷新令牌有效期、描述、创建人等;并提供开放记录查看、设置权限、指标配置、编辑、删除等功能。 (2)支持第三方应用权限设置,可配置该应用的访问用户及需要开放的指标清单。 (3)支持基于场景、登录人、调用时间等条件查询开放记录;并支持以列表形式展示开放记录信息,展示内容包括场景名称、URL、登录人、调用时间等信息;支持查看开放记录详情,包括应用、URL、登录人、请求头、请求体、响应头、响应体等信息。 |