2018.03- 2020.07
深圳市中软国际科技服务有限公司大数据工程师
1、impala大数据集群的数据处理，实现每周跑数据，为业务se提供数据支持。
2、Oracle数据处理，impala数据与Oracle数据库用sqoop互相迁移，Oracle数据库迁移。
3、Oracle存储过程编写，短期的PostgreSQL 数据库的地理位置处理。
4、Linux shell，python多进程作为辅助工具编程调度impala sql文件实现调度数据处理。
一 、三方数据建模改造：原来的调度是由Oracle数据库调度impala进行数据处理，改造成实现自动化实现数据表的周期性生产。改造过程中会遇到很多问题，与运维人员对接，进行问题反馈，改进流程，想办法缩减任务数，优化sql，保证数据可以及时交付。同时为同项目组人员提供问题的解决方案。
改造过程中需要对sql文件进行参数化以及替换来源表，数据依赖比较多，有些数据表的sql语句上千行，一些数据表出现问题，进行排查问题，保证数据的准确性。
二、负责接收业务se提出的新需求，并且与业务se进行沟通实现细节，提示业务员某些设计的风险，优化原有设计方案，保证数据表可以及时上线，并归入数据建模系统，实现自动化调度。
