探索 Quid 的數據工程實習之旅：技術成長與團隊文化的完美結合

在 Quid 擔任 Data Engineer Intern 的第十二個月即將畫下句點，如果你也熱愛追求技術成長，那我相當推薦到 Quid 實習！

徵才月的偶遇

當時大概在 2 月左右開始在各大求職網站，或是校園徵才博覽會找實習。在政大徵才博覽會的時候，剛好遇到了非常耐心介紹公司和講解職缺內容的人(剛好是之後的 mentor XD)，頓時對 Quid 十分有興趣，並且還順便推坑了一堆同學!

同時也在徵才月中，了解 Quid 主要是一間做 B2B 輿情分析的公司，擁有巨量的社群媒體資料，提供企業在做品牌行銷或社群監測時所需的 insight。

面試流程

Quid 的面試流程有 offsite test 和三關面試。

第一關是 manager 面試，大約一個小時，聊聊你的動機、你的履歷，這也是向對方詳細詢問公司業務，還有未來工作內容和環境的時間。第二關就是工程師們來面，大約一至兩個小時，白板題就會在這關出現，最後簡短聊聊過去經歷和動機。第三關是 HR，大約一小時。主要聊聊個人特質和簡短英文對談。每一關的最後也都有機會提出你自己想了解公司的問題。

為何選擇 Quid 實習

見識大規模 Data pipeline：在學校學習 AI 相關的課程時，常常都需要自己去收集資料然後使用自動化的方式整理資料成可分析的狀態。在這個過程中，我蠻喜歡去整理資料並且轉換成可解讀的結果，因此希望透過實習的方式去了解公司是如何在資料規模較大的情況下，有效率地處理資料。
樂於分享的的同事：在面試的互動中，面試官們會詢問且聆聽我的想法並給予回饋，我至今還記得當初問面試官的問題XD
完善的 Onboard training：剛進公司時，Mentor Annie 和 Tim 非常認真地安排了一個 To learn list，然後也出了小作業讓我練習未來會使用到的工具。寫這個小作業的過程甚至像破關一樣，每達到一個里程碑就可以獲得 feedback 並解鎖下一個更進階任務，讓我在收到正式 ticket 之前有練習的機會，真的十分感謝。

實習內容

這一年的任務主要可分成以下兩大類：

Business Intelligence

協助 Business Analyst 進行公司內部資料的處理，過程中我接觸到許多 ETL 工具 (e.g. dbt) 以及 data warehouse 等。因為 Business analyst 在建 dashboard 的同時會去觸發上游 data pipeline，因此在寫中間的 SQL 的時候，更需要考慮查詢的效能，以及資料更新策略。除此之外，我也使用了 Python 去寫腳本擷取 log 資料，讚嘆一下同事們寫的 Python framework，真的十分厲害。

最令我印象深刻的是，有時候要去解 data pipeline alert 的時候，意識到了架構的重要性，在往上游追資料的問題時候能比較有效率地找到根因。

Data Engineering

最大的收穫是參與了 CI/CD 的建置，也接觸到了 Docker 和 K8s。其中比較有挑戰的是改寫 makefile，去跳過 docker CI 中不必要的步驟。另外也更了解軟體 release 流程，過程中透過 Github Actions 等 CI/CD 工具把整個流程自動化。最後也有一個 demo 的機會把和同事一起開發的 CI/CD pipeline share 給公司其他同事。其中最有成就感的地方是我參與了從現有 CI/CD Pipieline 問題反思，使用者面臨到的痛點到最後的優化方法的討論，過程中讓我學到如何設計出符合使用者需求的工具。