网站虚拟主持人代码,网站文章不显示,工作经历怎么写?,如何开发微网站处理模式
模式名称常见场景常见框架批处理夜间几个小时#xff0c;无人值守hive spark datax流处理7*24H一直运行#xff0c;无人值守maxwell, flink, flume, kafka即席处理人机交互接口访问 web页面
数据治理的意义
数据质量低#xff1a;数据错误#xff0c;不准确或不…处理模式
模式名称常见场景常见框架批处理夜间几个小时无人值守hive spark datax流处理7*24H一直运行无人值守maxwell, flink, flume, kafka即席处理人机交互接口访问 web页面
数据治理的意义
数据质量低数据错误不准确或不一致导致决策依据不可靠数据孤岛各部门和系统之间的数据无法有效整合形成数据孤岛降低数据的利用价值和沟通效率(数据负责人走了之后无人可以看懂)。数据安全风险缺乏有效的数据保护措施规范性问题在数据使用、存储和传输过程中可能无法满足规范性要求增加数据的理解难度降低利用率计算存储的冗余
数据治理的方案
1.数据中台
提供一个大而全的平台将数据建模、数据开发、数据运营、指标可视化…都放到一个平台中。优点是好用缺点是开发周期长租用费用贵。
2.数据治理考评
通过设定各种治理项指标对指标进行考核评分排名结果导向倒逼开发人员不断改进数据治理的各项问题。优点成本低直击问题本身。缺点缺少工具。 主要指标
规范 有技术owner有业务owner表名合规表有备注 存储 生命周期合理是否空表存在相似表 计算 长期五产出长期无访问计算中有错误简单加工sql语句中没有任何join、group by、union函数的复杂计算计算中存在数据倾斜 质量 表产出时时效监控表产出数据量监控 安全 未明确安全等级目录文件数据访问权限超过建议值
架构
数据来源
hive元数据字段名、表名、备注hdfs元数据访问权限、访问写入时间、数据量大小dolphinscheduler调度器sql定义运行时间spark的运行日志分析数据倾斜手工录入信息owner, 安全级别生命周期 Web服务 web框架前世今生
各类老框架php \ perl \ asp \ c#(.net 必须跑在window系统)ssh框架 struts(1,2) spring hibernatessm框架 springmvc spring mybatis(ibatis)springboot ssm的基础上包装的便于使用的框架 特点 节省大量配置约定大于配置内置web服务容器打包部署服务非常方便非常方便整合各种第三方框架starter机制对接 和java学习时的不同点 main函数只是启动程序服务器业务逻辑在其他函数中程序逻辑是MVC三层架构的
为什么要分层
提高代码的复用减少重复代码的反复编写结构清晰方便定位问题的出错位置 使用规范
尽量逐层调用控制层每个类一般代表一种业务请求每个方法代表某个特定的业务请求服务层每个类代表一种业务操作数据层每个类代表一张表每个方法代表对该表的一跳SQL语句
SpringBoot项目特点
本质上还是一个maven的java项目预加入了一些依赖多了一个配置文件application.properties多了一个启动程序Application, 主方法直接运行即可
参数 路径查找使用RequestMapping(“/”), 用来标记类或方法定义参数的方法 RequestParam(name)来定义参数使用RequestParam(name)来获取参数。一般用于查询赋予多个条件RequestMapping(/info/{id}), 使用PathVariable(id)放在函数列表中来获取参数。用于依靠一个唯一值参数进行查询 请求方式request method get查询: 实际上的读操作GetMappingpost写入非幂等性写入实际上的写操作PostMappingput写入幂等性写入基本上不用delete删除偶尔会用 请求体参数发送时使用postman工具将数据写出Json格式放入到请求体中使用RequestBody来获取post发送过来的数据。如果需要把键值对参数封装到一个bean对象中可以在参数列表中什么注解都不加spring boot会帮你自动封装数据信息到bean对象中。状态码 1xx:访问中2xx:访问成功3xx:重定向跳转4xx: 400 bad request 参数个数或类型不匹配403禁止访问权限问题或IP被禁404not found 路径资源不匹配405method not allowed 请求方式不匹配 5xx: 500: 服务器内部错误查看java console异常 xxx: 自定义状态码
容器与组件
Spring 容器启动时
以单例饿汉方式的方式创建所有组件启动服务器时就创建常见的组件为RestController, Service, Mapper, Component会扫描所有的Autowired会自动装配所有组件的引用
