大数据治理平台

企业名称:新智认知数据服务有限公司

产品概况：
大数据治理平台面向公安交管行业，数据引擎满足大数据从接入数据中心到向外提供服务整个生命周期管理。面向复杂的外部数据来源，数据引擎支持结构型数据、半结构型数据以及非结构型数据，将海量数据进行逻辑化清洗、转换、分类等处理，再进行结构化存储，并根据业务标准以及业务需求建立标准库区、专题库区，实现对于大数据的标准化管理以及专业化分析。数据引擎主要采用流式数据进行大数据的接入、采集、处理与数据共享等数据管理，建立产品数据总线，能够满足海量数据的吞吐，提高数据采集、处理、输出效率。
    为用户提供可视化数据规则管理（元数据），支持元数据采集、建模、发布共享，并将元数据应用到数据质量、数据处理、数据对标、数据运维、数据专题等等数据治理需求，以实现数据资产可视化、治理规则自定义、治理数据可回溯等灵活的治理手段，并且为用户能用更加清晰的数据检索功能，并在今后根据元数据模型建立知识图谱，完成数据关联性整合。
关键技术指标：
3台服务器用作kafka server，record 大小为10字节的时候可以达到30Mrecord/s，即每秒3千万条数据，在每条record大小为510字节的时候达到8Mrecord/s。

latency在30Mrecords/s的情况下<150ms，latency在30Krecords/s的情况下<5ms。
产品创新点：
1、多样化的数据源接入
支持结构化数据、非结构化数据及半结构化数据数据。
3、多形式的数据存储
大数据场景下，数据通常存储在HDFS及HBASE，但也需考虑小数据量场景，数据引擎平台提供多样化的存储方式：
关系型数据库（Oracle）存储数据库数据；
关系型数据库（Oracle）存储数据流数据；
非关系型数据库Hbase存储数据库数据；
非关系型数据库Hbase存储数据流数据；
HDFS存储采集的文件(文本、文档、音视频文件）；
Linux/windows文件系统存储采集来的文件。
3、支持多种采集方式
包括周期采集和实时采集方式。周期采集支持Flumn、http、https等采集技术，实时采集支持DBStreamer、FileStreamer、DCN等采集技术。
4、产生高质量的数据
数据治理平台可以建立规则和标准，为分散于各业务部门的数据提供一致的定义，监管数据质量，已产生高质量的数据，增强数据可信度。
5、可视化元数据管理
元数据可视化建模、元数据创建支持自定义与引用数据标准，元数据范围囊括整个数据治理平台与数据引擎平台，清晰了解数据治理整体概况。
国内外市场推广情况：
一、推广地市：
1、上海徐汇分局数据中心项目
2、廊坊市大数据智慧警务联合实验室项目
3、云南省昆明市公安局交通警察支队OT项目
4、上海松江分局指挥平台一期佘山分中心建设
二、产品获得荣誉
2017年获得软件专利2件