[深圳][一面数据] Python 工程师，数据平台（数据仓库、ETL）方向

关于一面数据

我们是一家做大数据的公司，专注于多元化的数据采集，存储，建模，挖掘与可视化。目前在日化、鞋服、零食、汽车行业都有成熟的解决方案和成功案例，已经服务了多家行业龙头。

下面是一些和公司有关的链接：

• 公司官网 https://www.yimian.com.cn/
• 超过 16 万粉丝的知乎专栏 数据冰山
• 快速制作可视化报告的工具 文图

关于数据平台

数据平台负责公司的数据存储、仓库、清洗、监控等。在工作环节上，位于爬虫团队和数据分析团队之间。一个典型的场景是，爬虫团队抓取了一批数据，保存在 MySQL 里，我们把数据同步到 Hadoop (Hive)，并做必要的清洗、转换、建模，提供给分析师做后续的分析使用。

我们用到的一些技术

• Python：爬虫、数据清洗、Web 服务等都用了 Python
• Go：爬虫、基础服务、高性能 API 等用了 Go 语言
• MySQL/TiDB （官网）：存储爬虫获取的数据，OLTP
• Cassandra：存储爬虫获取的数据
• Hive: 数据仓库，存储和 ETL
• Impala：Hadoop 上的交互式 SQL 查询引擎，OLAP
• AWS Redshift: OLAP 数据仓库

其他的还有 MongoDB、Redis、Vue、Docker、ElasticSearch、Kibana、Apache Airflow 等。

我们需要什么

公司目前处于快速发展状态，数据平台（数据仓库、ETL ）团队急需新人来提升团队战斗力。目前准备招 2 ～ 3 个有经验的工程师，希望能满足这些条件：

• 必须会 Python，至少 1 年使用经验，有良好的编程风格
• 至少熟悉 MySQL 等关系型数据库的使用和简单的调优
• 用过 Hive、Redshift 等数据仓库
• 本科及以上学历，最好是计算机、数学或相关专业
• 尽可能提供 GitHub、技术博客地址
• 熟悉 Spark、Kafka、Airflow 等尤佳

基础好，学习能力强的实习生、应届生也可以考虑。

薪资福利

工资 15k-30k，也可以看我们在 拉勾的招聘页面

福利就不多说了，12 天年假、零食、生日会、篮球羽毛球什么的，官网有介绍。

工作地址：深圳 - 南山区 - 科技园 - 深南大道 9966 威盛科技大厦

欢迎大家来交流指导，有兴趣可以投简历到 [email protected] ，最好附上 GitHub 和个人技术博客链接