1. 解析以及獲取各大社群平台數據 (Facebook、Instagram、YouTube、Tiktok、Twitter)。
2. 參與爬蟲架構設計,爭取最高速率獲取完整正確資料。
3. 維護爬蟲可用率。
4. 設計/調整爬蟲數據整合機制,自動驗證爬蟲數據正確性機制。
5. 與其他 Backend 工程師協作完成 API 功能、攥寫文件。
6. 參與 ETL 設計與實作。
1. 一年以上 Backend 經驗,使用Golang or Node.js 一年以上。
(面試會以目前團隊所用 Tech Stack 進行- Golang or Node.js)。
2. 熟悉 Git 協同開發流程。
3. 熟悉 SQL 與資料庫觀念。
4. 喜愛分享、討論與學習新技術、有獨立 survey 串接 API 的能力。
5. 對 HTML 結構清楚,能夠解析網站交換資料的順序。
6. 有實作爬蟲經驗、估算爬蟲效率、有能力對應各種反爬蟲解決方式。
1. Maintain Proxy 經驗。
2. 有過 Agile/Scrum開發經驗。
3. 程式重構、大型專案架構設計之經驗。
4. Github 上有作品或參與過 open source project 開發。
5. 熟悉 Google Cloud/AWS/Azure 任一公有雲架構。
6. Docker/Kubernetes 等等容器化經驗。
7. 有 CI/CD 設計或是改善的經驗。
.