查看原文
其他

利用ShinData DSC实现企业数据库上线变更统一管理

新数科技 新数科技 2024-04-15

背景介绍

在数字化转型的大背景下,某金融企业的各项业务不断发展。一方面由于各类业务系统不断增加,导致承载各类应用的数据库种类和数量也日益增多;另一方面业务的敏捷程度越来越高,导致各数据库上线变更的频率越来越高,这对数据库生产变更的效率和安全性有了更高的要求。

业务场景分析

该企业的原有数据库生产变更主要过程如下:

  1. 应用开发团队在测试环境完成开发测试,准备和整理用于生产环境变更的语句或脚本;
  2. 应用开发团队在工单系统中提交数据库变更申请,上传生产环境变更语句或脚本;
  3. 数据库管理团队人工审核变更语句和脚本,通过后在生产系统上协同应用变更同步执行数据库变更;
  4. 变更完成后应用开发团队完成功能验证。
随着数据库数量和变更频次的不断增加,该变更过程存在如下挑战
  1. 数据库规范难以落地:SQL语句是否合规依赖人工审核,工作量大且难保证质量;
  2. 审批系统与测试、生产系统分离:无法保证审批、测试和生产上线的一致性;
  3. 安全风险高:生产变更纯人工操作,可能出现误操作和越权操作;
  4. 事后追溯困难:变更操作没有留痕,事后难以审计和追溯;
  5. 对数据库管理团队依赖,各项变更、审核和运维任务堆积,分身乏术。
这些问题不仅带来了巨大的工作量,还对数据库的运行安全和数据安全带来了挑战。

解决方案

为提高数据库管控效率,提升数据库运行安全和数据安全,2022年该企业基于北京新数科技有限公司的数据库安全管控平台(ShinData DSC)产品建设统一数据库变更平台,实现了覆盖测试与生产环境,并无缝集成ITSM工单流程管理的一体化数据库变更管理体系。平台提供了数据库变更管理的统一入口,支持从开发、测试、审核、审批、备份、执行到审计的数据库变更生命周期管理。

1、提供统一的SQL开发管理能力

平台支持多种数据库类型,并通过简单易用的Web界面提供了SQL开发和管理能力:SQL编辑窗口提供语法高亮、自动补全、格式化、SQL收藏和分享功能;SQL执行支持单次执行、批量执行、整体事务、独立事务等不同的执行方式;对象管理支持数据对象定义查看和导出;平台还内置了快速审核、执行计划、自定义查询工具等功能。

图1:SQL编辑器

2、内置SQL审核能力确保数据库和SQL规范有效落地

内置SQL审核能力能够自动识别出低效、不合规和高危的SQL语句,引导开发人员在开发测试阶段加强SQL语句的合规性。同时在提交执行任务的时候生成审核建议,供审批人员高效准确判断。

图2:SQL审核结果

3、高危拦截和双人复核确保万无一失

平台能够自动识别提交上来的SQL语句或脚本中是否包含高危操作,相应的高危拦截和双人复核流程确保高危操作在执行之前经过严格的审查。

图3:SQL高危拦截

4、提供安全和高效的SQL执行能力

SQL自动执行能力可以避免人工操作,平台还支持执行前自动备份数据,确保数据安全;SQL计划执行和批量执行能力可以满足对多个目标数据库同时执行变更的需求,提升了变更效率;平台还提供了权限管理体系,支持对象级别的权限管理能力,杜绝越权操作,确保数据安全。

图4:SQL批量执行

5、测试和生产变更流程无缝对接

平台将该企业ITSM审批系统集成到SQL开发上线流程当中,SQL变更在准生产环境运行正确、验证通过后,才能申请执行生产,构成企业SQL生产上线的双重质量管控。平台将准生产环境和生产环境数据库信息打通,建立并维护了关联关系,实现生产变更执行时自动匹配,执行在准生成环境验证通过的 SQL,其流程如下图所示:

  • 开发测试人员在测试环境编辑和测试SQL/脚本,确认无误后上传至ITSM系统;

  • DBA或管理人员根据SQL审核结果审批其是否能在准生产环境执行;

  • 审批通过后,SQL/脚本在准生产环境自动执行,测试团队验证执行结果;

  • 准生产环境验证无误后DBA或管理人员通过运维审批,并提交至生产环境;

  • 审批通过后生产环境将自动执行变更操作。

6、审计和追溯能力让所有操作有迹可循

所有通过平台执行的操作,都会在平台上记录,确保数据库变更操作留痕,并提供多种不同维度的分析和展现。

企业统一变更平台还与数据库管理dbPaaS平台(ShinData DMP)无缝集成,在提升SQL生产上线效率和安全同时,利用数据库管理平台的监控和分析能力,随时掌握数据库运行状况,及时告警和处理,全面保障数据库业务正常运行。

项目成效

自统一变更平台上线以来,流程化、标准化和自动化的变更流程有效降低了变更过程中的误操作和越权操作,数据库运行安全和数据安全显著提升;同时测试和生产一体化的变更流程明显降低手动工作量,使变更效率显著提高,有效降低运维成本,为业务系统的稳定运行提供了关键支撑。

ShinData DSC数据库安全管控平台可与企业工单系统无缝集成,保证了变更流程的完整性,自动化执行的方案设计无需人工介入,快速准确,保证了开发、测试、生产上线SQL/脚本的一致性,并可无缝融入ShinData DMP数据库云管理平台,帮助企业建设数据库统一管理体系,实现了SQL开发、测试、审核、上线变更全生命周期管理,全方位为数据库安全保驾护航。

关于新数

ShinData新数科技是业内数据库管理软件创新引领企业,产品领域涵盖数据库dbPaaS云管理平台、数据库安全管控平台、数据库容器云平台、数据迁移传输平台和ShinDB数据库解决方案等。广泛应用于金融、制造、能源、零售和通信等行业,为广大企业在新时期云计算、大数据、人工智能等环境下的数据库基础软件转型变革提供持久源动力。

推荐阅读

ShinSight V9新版发布,运营模式全面升级

ShinData DMP 9.0重磅发布,开启信创数据库管理新时代

「新数科技」完成新一轮融资

新数科技与阿里云完成产品生态集成认证

新数科技&观测云,共同赋能企业数字化系统


继续滑动看下一个
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存