數據工程主管 Data Engineering Manager

 工作內容

• 團隊管理：

1. 招募、培訓和管理數據工程團隊，確保團隊成員能發揮專長。

2. 制定並監控團隊目標和績效指標，推動團隊持續進步。

3. 推動創新、合作與責任文化，確保團隊成員的專業成長。
   

• 專案規劃與執行：

1. 與產品經理密切合作，定義搜尋與推薦系統的技術需求與優先級。

2. 主導搜尋與推薦的品質優化與技術演進，確保服務品質處於業界頂尖水準．

3. 領導基於機器學習、自然語言處理和數據分析的個性化功能開發。

4. 提升搜尋結果的精確度和用戶體驗。

5. 設計和構建高效的數據管道，支持實時和批量數據處理。

6. 主導資料基礎架構專案的規劃與執行，確保按時交付並滿足業務需求。

7. 推動數據分析和A/B測試，用以優化搜尋和推薦功能。

8. 協調跨部門合作，包括與資料科學、產品、分析及 IT 團隊的溝通與協作。

• 技術方向與系統設計

1. 指導搜尋、推薦和數據系統的架構設計和實現，確保可擴展性與高效性。

2. 審核代碼並提供技術建議，確保系統的高質量與穩定性。

3. 緊跟技術趨勢，並將相關技術整合至公司的技術堆棧中。

4. 高效管理多項目優先級，確保按時交付高質量的技術成果。

5. 主動識別和解決技術和流程中的風險。

• 技術戰略：

1. 與資深/首席資料工程師合作，定義資料平台的技術方向和最佳實踐方法與工作流程。

2. 推動開源技術與公有雲SaaS 齊頭並進的應用，交付最適合公司狀況的解決方案。

3. 制定清晰的技術路線圖，並與業務目標保持一致。

• 資源管理：

1. 制定團隊資源分配計畫，優化人力與技術資源的使用效率。

2. 控制專案的預算並確保效益最大化。

• 跨部門協作與溝通

1. 與設計、產品、數據科學和其他業務部門密切協作，確保項目順利推進。

2. 清晰地向技術和非技術相關方傳達項目狀態、挑戰與解決方案。

常用工具

• 團隊與項目管理:

  • JIRA/Asana：任務、Bug 與敏捷流程管理。
    

• 開發與部署:

  • GitHub/GitLab：版本控制與代碼管理。

  • Jenkins/Travis CI：持續集成與部署。

  • Docker/Kubernetes：容器化與部署編排。

• 數據處理與分析:

  • Spark/Kafka：大規模數據處理與流式處理。

  • Elasticsearch/Solr：搜尋與數據檢索。

  • TensorFlow/PyTorch：機器學習與深度學習框架。

  • Airflow: 工作流程管理與監控

• 監控與測試:

  • Cypress/Selenium：自動化測試。 

• 經驗與技能：

1. 至少 5 年資料工程相關工作經驗，且有 2 年以上管理團隊經驗，具有搜尋、推薦或數據專案背景者優先。
2. 深入了解資料基礎架構設計與實現，包括 ETL/ELT 管道、資料儲存與處理。
3. 熟悉常見的開源工具與技術（如 Apache Hadoop、Spark、Kafka、Airflow）。
4. 熟悉資料庫技術（如 PostgreSQL、MySQL、MongoDB）與分散式系統。
5. 深入了解搜尋技術（如 Elasticsearch、Solr）和推薦系統算法（如協同過濾、深度學習）。

• 管理與領導能力：

1. 能有效管理多項專案，靈活分配資源以應對快速變化的業務需求，並具備出色的問題解決與決策能力。
2. 能建立高效團隊，專注於成員專業成長，具備成功管理與擴展工程團隊的經驗，以及優秀的組織與細節處理能力。
3. 熟悉敏捷開發流程（Agile/Scrum）。

• 溝通與協調：

1. 出色的跨部門溝通能力，能將技術需求轉化為業務價值。
2. 熟悉雙語（中文與英文）溝通環境，能與國際技術趨勢無縫接軌。

• 業務洞察：

1. 了解電商行業的數據需求及關鍵指標，能將技術與業務目標有效結合。
2. 對大規模高流量環境的資料挑戰有豐富經驗。

1. 具成功領導資料平台從無到有的實際經驗。
2. 熟悉實時資料處理框架（如 Apache Flink）。
3. 了解 DevOps 工具與流程（如 CI/CD、容器化技術）。
4. 有機器學習平台基礎設施設計經驗。
5. 熟悉隱私保護技術（如數據加密、去識別化處理）。

1. 有競爭力的薪資與績效獎金。
2. 完整的培訓與進修機會，支持技術深造。
3. 彈性工作環境與開放的公司文化。
4. 接觸最前沿的資料技術，參與大型資料工程項目。