vlambda博客
学习文章列表

DataOps 赛道发展势头强劲，随着大数据领域越来越火热，人才短缺的问题也日益明显。Apache DolphinScheduler 社区在与用户、合作伙伴交流的过程中发现，很多企业在大数据开发者人才方面存在着很大的缺口。疫情期间，一方面是企业“招工难”，另一方面是人才“找工作难”，尤其是熟悉 Apache DolphinScheduler 平台开发的开发者。为此，Apache DolphinScheduler 特开启“薪火令”专栏，希望为双方搭建起信息沟通的桥梁，让大家在社区玩得开心的同时，能够获得更大的“薪”能力！

本期 4 月份社区职位 Mart 为大家带来北上广深专场，7 家大厂职位信息等你来看，赶快投出你的简历，祝大家早日拿到心仪的 Offer！

工作地点：北京

公司简介：联通数字科技有限公司是中国联通的全资子公司，下设产品、营销、研发和综合四大板块，其中产品板块以事业部模式运行，包括系统集成、云计算、数据智能、物联网、安全五大事业部。联通数科在数字化转型领域具有“云网融合、数智领先、安全可信、贴身服务”的优势，集中打造了“物云数智链安”六大创新基础平台能力。

职位描述：

1. 深入理解业务需求，完成相关技术设计、开发、文档和测试等工作；

2. 深入理解系统架构及框架，分析并提高系统质量，性能和安全性；

3. 参与需求、方案讨论，技术调研，代码评审，解决开发中的技术难题；

4. 参与对系统进行持续优化、重构,引入新技术,提升研发效率。

岗位要求：

1. 5年以上Java开发工作经验，熟练掌握MVC编程思想及Spring架构;

2. 熟练掌握web应用开发，具有高并发，大数据系统设计、研发、调优经验；

3. 熟练掌握Spring Boot/Mybatis/Dubbo/Spring cloud等主流JAVA框架；

4. 熟悉主流的分布式系统相关技术,如:Nginx、Zookeeper、Nacos、Redis、Memcached、MongoDB、Rabbitmq、kafka；

5. 熟练使用mysql、Oracle、Tbase，对数据库SQL优化、主从备份、数据分片有一定经验；

6. 具有Hadoop / HBase / Spark / Storm / Dubbo 等经验者优先；

7. 有良好的沟通和学习能力、有较强的团队协作能力以及快速解决问题的能力。

8. 学历要求全日制本科以上、

简历投递：

[email protected]

工作地点：北京

工作职责

1. 负责自如大数据基础平台的运维与开发相关工作

2. 负责 Ambari、HDP、HDF、数据湖、flink on k8s等相关大数据离线和实时组件的日常运维与二次开发工作

职位要求

1. 5年及以上大数据运维经验，深度运维过百台以上规模Hadoop集群一年以上

2. 熟练掌握java、python一门编程语言，对数据结构和算法具有良好的掌握

3. 能够熟练使用和配置常用运维监控工具，如Ansible/Saltstack、Prometheus、Grafana

4. 有HDP集群部署、维护、二次开发经验优先，

5、具备常见数据湖（hudi,iceberg）一年以上运维经验

6、具备flink on k8s运维经验

7、具备两年以上k8s运维经验

8. 具备良好的团队合作精神、较强的自驱力，抗压能力，沟通能力，责任心以及独立解决问题的能力

9. 熟悉SRE的主要职责，对可用性保障工作有深刻理解和认同

简历投递：

[email protected]

工作地点：北京

公司简介

名创优品由叶国富先生于2013年创办，总部位于广州市，是一家以设计研发为驱动、线上线下共同发展的新消费企业，已成为全球自有品牌综合零售第一名，目前全球布局终端门店超过5000家，覆盖全球99个国家和地区。

工作职责：

1、参与大数据平台的开发与运维，负责数据总线开发与自研数据平台的研发

2、负责大数据产品的实时计算平台的开发，迭代，及业务支撑

任职资格：

1. 本科以上学历，计算机相关专业

2. 有大数据实时处理开发经验例如flink、spark、hadoop经验

3. 具备较强的编程能力和实际项目开发经验，熟练使用Java、Go编程语言及主流框架

4. 熟悉DolphinScheduler平台开发经验者优先

5. 强烈的责任心、团队精神和学习能力，善于沟通合作

公司介绍

荣耀（HONOR）是全球领先的智能终端提供商，致力于打造全球标志性的科技品牌，创造属于每个人的智慧新世界。荣耀以品质、创新和服务作为战略控制点，坚持研发及前瞻性技术的持续投入，通过全系列手机及智能生态产品，为全球消费者带来创新、领先、可信赖的产品与服务，打造极致的全场景智慧生活体验。

岗位职责

1) 参与数据中台一站式开发平台的设计和研发，涉及数据采集、作业调度、数据质量、元数据管理、指标管理等模块；

2) 承担大数据平台服务组件的搭建和维护，能够持续优化并改进现有的技术框架，保证高可用、稳定、低延迟的优质服务体验；

岗位要求：

1) 具备2年以上大数据项目开发经验或数据中台产品研发经验；

2) 掌握Hadoop、Spark、Hive、Flink、Kafka、ES等主流的大数据技术；

3）对Apache Ranger、Atlas、Griffin、Impala、DolphinScheduler、Azkaban等开源大数据组件有深度优化或者二次开发经验优先。

4）熟练掌握Java，有Scala或Python语言开发经验；

5) 有数据采集、作业调度、监控告警、数据治理等平台设计和开发经验的优先。

6) 擅于沟通和解决问题，乐于总结分享，有想法，有冲劲，有团队精神和主人翁意识和责任感。

工作地点：上海

公司介绍

上海喜马拉雅科技有限公司成立于2012年，是深受用户喜爱的在线音频分享平台，致力于用声音分享人类智慧，用声音服务美好生活，提供一家人一辈子的精神食粮。如今，喜马拉雅已经建立了从头部IP 到长尾内容全面覆盖的健康、均衡、有活力的生态内容体系，在线音频服务已经涵盖了用户从-1岁到100岁不同年龄阶段所需要的丰富内容，累积了包含98个品类的2.9亿条音频内容。

职位描述：

1.负责公司自研离线、实时、adhoc 大数据计算平台的设计及开发：类似Dataworks/Airflow/dolphinscheduler、NoteBook等产品。

2.维持大数据计算平台的高效稳定，支撑业务快速扩张

3.日常用户支持与平台运维工作

4.负责大数据平台开发治理：包括任务治理、数据治理、平台治理等。

职位要求：

1.具备扎实的计算机基础知识

2.扎实的Java编程基础，有Java Web开发经验，熟悉 Spring 等常见框架、对并发、分布式、网络编程、设计模式有一定了解、熟悉SQL和NoSQL的设计和开发。

3.有Hadoop、Spark、Flink、HBase、ElasticSearch、Kafka等大数据框架一种或多种使用经验者优先

4、具备快速学习能力，善于思考，能独立分析解决问题，具备主人翁精神和团队精神，沟通协调表达较好，有责任感。

5.有Scala开发经验者优先、有大数据开发治理平台经验者优先

6.向开源社区贡献过 patch 者优先。

工作地点：北京

职位描述

1.有汽车领域或互联网经验（离线数据方向）能够理解业务需求并制定技术方案，具备独立解决问题的能力

2.熟悉Java技术栈，对springboot微服务有实践经验

3.熟悉Hadoop生态，不限于hive hbase Doris hdfs spark flink es sqoop iceberg等，至少掌握3种

4.对开源调度系统airflow dolphinscheduler oozie azkaban 有实践经验，理解底层源码逻辑的优先

5.参与过数据平台项目优先，离线方向不限于调度、元数据管理、同步工具、指标管理、bi、数据质量、告警等

6.数据基础算法数据结构，能够熟练使用SQL，了解MySQL基本原理

7.有过数据存储引擎调优经验优先

8.有互联网大厂、车企、985、211优先

公司简介

白鲸开源成立于2021年8月，由 Apache DolphinScheduler 开源项目核心团队和来自全球范围内的数据领域专家组建。该公司致力于打造下一代云原生DataOps 平台，助力企业在大数据和云时代，智能化地完成自身数据的处理、调度、治理和数据资产的管理。白鲸开源致力于让本土开源走出中国，打造一个更先进的的大数据处理与治理系统。目前已经有近千家公司在生产环境上使用 DolphinScheduler & SeaTunnel。如果您热爱开源并想深度参与，白鲸开源将是您的一个很好的选择！

工作地点：北京或远程

一、分布式数据同步开发工程师&技术专家

经验不限，学历不限  25K - 60K  16薪
职位描述

1、参与数据集成平台的架构设计与研发；

2、开发和维护分布式数据同步产品；

3、保障系统可用性、稳定性和可扩展性。

岗位需求
1、深入理解分布式系统原理，例如 CAP、分布式一致性协议、高可用策略、分布式应用编程等；

2、计算机理论基础扎实，如对操作系统原理等需要有比较深入的理解；

3、具备数据库迁移、同步、集成等中间件开发经验者优先；

4、熟悉 Airbyte/Flink CDC/Canal/Datax/Flume 等开源中间件等数据集成等相关技术者更佳, 对 Fivetran 等商业数据集成产品熟悉更佳；

5、具备良好的团队协作能力、语言表达能力，有责任心；

6、有开源社区贡献优先。

二、大数据架构师

至少 3 年以上工作经验，学历不限  30K - 60K  16薪
工作职责

1、负责大数据组件的扩展性和可靠性架构的设计，开发和优化；2、负责大数据基础架构的整体规划；3、负责业界新技术跟踪调研及对外技术交流。

任职资格
2、熟悉 Java 或者 Scala 语言和 JVM 机制；2、熟悉分布式系统的设计，有大规模计算或存储系统的开发实践经验；3、熟悉计算引擎，如 Spark，Mapreduce，Hive，Flink，Clickhouse等之一；4、熟悉资源调度管理， 如 Yarn 和 Kubernetes 等优先，对源码有深入研读者优先；5、熟悉 Linux 系统下软件性能监控和调优技术；6、强烈的工作责任心和对技术的热情。

职位优势

1、业界领先的大数据方案，对源码的深入研究和开发优化；

2、熟悉 Fivetran、DBT、Airbyte、Dataworks 等优先。

三、前端研发专家

经验不限，学历不限  25K - 60K  16薪
工作职责

1、用最前沿的前端技术来实现前端交互；3、主导前端框架建设，并不断优化前端工具库；4、完善协作流程，与后端伙伴一起制定 API ，优化技术标准和规范；5、新人培训和前端技术布道；6、关注用户体验，不断改进产品的易用性。

任职要求
1、3 年以上开发经验，能编写高质量的前端代码；

2、熟练掌握 Vue 、React、TypeScript 等技术之一；

3、熟练掌握 CSS3 、HTML5 等规范和技术；

4、熟练使用 Canvas 、 SVG 、 D3.js 等可视化技术者优先；

5、有广泛使用的开源项目优先；

6、有前端深度优化经验者优先；

7、有类似阿里 Dataworks 等开发经验优先。

四、高级大数据平台调度工程师/专家

经验不限，学历不限  25K - 60K  16薪

熟悉 Azkaban、Airflow 等目前市面上开源调度的优缺点，致力于打造一个更先进的的调度系统

岗位职责

1、负责大数据工作流调度系统的架构设计、研发及优化，致力于研发更先进的调度系统；

2、持续完善调度系统的功能和稳定性；

3、与调度相关的组件研发。

职位要求
1、至少熟悉 DolphinScheduler、Perfect、Azkaban、Airflow之一或者对分布式工作流调度有深入认识亦可；

2、熟悉 Hadoop 生态系统， 向社区贡献过 patch 者优先；

3、对开源调度有过二次研发优先；

4、优秀的编码能力，良好的沟通表达能力，对工程质量有很高的自我追求。

五、高级自动化测试工程师/专家

经验不限，学历不限  15K - 35K  16薪

工作职责

1、完善开源产品自动化测试流程，开发测试工具和自动化测试框架，自动化脚本，进行自动化测试，构建持续集成环境，提高测试效率；

2、保证产品质量，并通过测试流程和方法创新，努力提升研发的质量和效率；

3、设计和执行测试用例，跟踪定位产品软件中的缺陷或问题，推动问题解决；

4、对产品，流程提出持续性改进意见，推进质量体系建设。

任职资格

1、对于开源软件测试有浓厚的兴趣，有很强的分析能力和问题定位能力，突出的沟通与推动能力；

2、两年以上软件开发测试或自动化测试工作经验。精通测试流程和测试用例设计，能主动进行技术钻研；

3、熟练掌握 Linux 操作命令，有自动化测试经验优先；
4、精通 java 以及常用的 java 框架，有 Spring开发经验者优先；5、有过测试框架开发或者在某一测试领域如性能、自动化等具备很强的专业技能着者优先；

6、较强的学习能力和技术钻研能力，积极主动，自驱力强，良好的沟通能力，善于团队合作。

六、服务端技术专家

3 年以上工作经验，本科  30K - 60K  16薪

岗位职责
1、能独立完成大中型产品的系统架构设计、能编写核心代码；

2、持续改进现有系统的性能、功能和稳定性；

3、相关的组件架构设计与研发。

职位要求
1、本科以上学历(特别优秀者可以放宽学历)，三年以上工作经验，对高并发、分布式架构有深入认识；

2、熟悉大数据生态系统， 向社区贡献过 patch 者优先；

3、优秀的编码能力，良好的沟通表达能力，对工程质量有很高的自我追求；

4、熟悉云原生，熟悉 K8s 优先，熟悉 Dataworks、DolphinScheduler、Azkaban、Airflow、Argo、StreamSets、Fivetran、DBT、Atlas、Datahub等其一优先；

5、热爱开源，贡献过开源项目者优先。

七、高级数据产品负责人

至少 3 年以上工作经验，本科  30K - 60K  16薪

岗位职责
1、负责调研国内外的大数据优秀产品；

2、大数据前沿产品的设计、规划和落地；3、调研各行业用户需求，根据用户需求提炼出产品功能；

4、推动产品和研发团队使得产品能够快速落地；

5、完成产品商业化闭环。

任职要求
1、扎实的数据平台产品开发或设计基础，3 年以上相关经验；

2、技术背景深厚，对于技术类产品的架构和实现原理比较熟悉；

3、有很强的产品 Owner 意识，良好的自我管理能力、环境适应能力和执行力，能较大压力下保持工作激情；

4、善于沟通，有跨地域沟通协调协作能力；

5、有企业级软件产品设计经验优先，有全球领先数据产品视野优先，有数据产品洞察能力优先；

6、有开源或者是商业的数据平台/产品研发设计、或商业化经验优先；

7、熟悉 Dataworks 、Fivetran、DBT、StreamSets 等产品优先。

联系方式：

叶芃 13121273786

[email protected]

白鲸开源