1、大数据平台搭建与架构设计:依据涉海行业业务需求和数据特点,调研并挑选契合的大数据技术框架与工具,如Hadoop、Spark、Flink等;负责高可用、可扩展的海洋大数据平台的实际搭建与部署工作,涵盖服务器集群的配置、软件安装与调试;
2、数据处理与分析流程开发:设计并开发数据采集程序,从多种数据源获取数据,包括关系型数据库、日志文件、传感器、雷达站、监控视频、无人智能装备等。运用MapReduce、Spark等大数据处理框架,开发数据处理逻辑与算法;
3、数据存储与质量管理:掌握多源海洋数据(卫星遥感、浮标、Argo、船舶、台站、数值模式)的集成方法,根据数据结构和查询需求,选择合适的数据库系统;熟悉海洋观测数据的误差来源与校正方法;
4、系统优化与维护:持续监测大数据平台及相关应用的性能指标,如CPU使用率、内存占用、网络带宽等,定位性能瓶颈并进行优化;负责大数据平台的日常维护工作,包括软件版本升级、安全补丁安装、服务器状态监控等;建立完善的监控和预警机制,及时发现并处理系统故障。
1、学历/专业要求:
硕士及以上学历,数据科学与大数据技术、计算机科学与技术、信息与计算科学、软件工程、统计学等;
2、工作经验:
具有3-5年大数据平台开发经验,3年以上海洋、航运、渔业等相关行业大数据平台或系统开发经验;3、职业资格:
具有良好的业务理解、需求分析及学习能力,熟悉大数据架构体系,能基于行业特点进行大数据平台的整体规划与设计,独立完成系统开发的核心模块;具有以下证书优先:大数据相关认证(Cloudera Certified Data Engineer(CCDE)、阿里云/华为云大数据工程师认证)、数据分析认证(CDA 数据分析师认证、Tableau认证)。
4、专业能力:
精通Hadoop、Spark、Flink等大数据处理框架,熟练掌握SQL、Python等编程语言,熟练运用数据挖掘和机器学习算法,熟练使用常见的开发工具与数据可视化工具及大数据平台操作,推动海洋大数据在各业务场景的深度应用;具备高度的责任心和严谨的工作态度,良好的团队协作能力,良好的抗压能力与创新意识。
最新资讯 | 企业大事
标杆案例
010-59738989-分机号0(周一至周日 9:00-22:00)
监督邮箱:wanglm@highlander.com.cn
北京·海淀·地锦路7号院10号楼
Copyright © 2025 北京海兰信数据科技股份有限公司 All rights reserved.