我在NetBase Quid實習的日子 - Data Engineer 實習分享
沒想到時間飛快,我在 NetBase Quid 實習的日子來到終點,想當初申請前,我還得上網搜尋Job Description 上面寫的 ETL 是什麼意思,現在的我則是收穫滿滿!
當時選擇 NetBase Quid 美商網基實習的原因?
相較於其他公司,NetBase Quid在招募實習生的規格算滿高的,相當於正職,需要先經過 take-home pretest,之後才是面試。面試總共三關:第一關是 Hiring manager、第二關是工程師們、第三關是 HR,記得當初面試了 4.5 個小時才結束。
其中印象最深刻的大概就是第二關,因為總共有 4 位工程師出現(不過主要面試就 2 位),可能因為我滿緊張的,一直覺得面試官很嚴肅,一直到上工才發現原來是要一起工作的同事,還因為面試有點陰影,說話戰戰兢兢,甚至要先打草稿,但事實證明,每個都是非常好相處的工作夥伴!
我選擇 NetBase Quid 的原因除了工作內容、公司業務之外,很大一部分就是因為面試。面試中每個提問都讓我覺得受到重視,不論是討論 pretest 的答題或是詢問履歷上的細節,面試官都是認真聽過你的答題邏輯,看出你欠缺或是漏掉的地方,適時提醒;或是聽過你的故事,深入提問,而不是隨便應付了事,連最後的提問環節都很誠實回答、不官腔。在這些一來一回的過程中,就可以體會到各個面試官在各自領域的專業,以及公司同事間的工作模式,所以可以說是因為這場面試,我選擇了 NetBase Quid。
工作內容
這段期間主要在 BI team 底下擔任 Data Engineer Intern,協助Analysts 處理公司內部的資料,讓他們可以順利取得所需資料,從中得出重要的 insights 來做決策、改善公司產品及服務,所以工作內容都是圍繞著 BI 的 data pipeline 進行,可以看到各種不同的資料源是如何被彙整到 data warehouse,最後透過 visualization 工具被做成視覺化的圖表。工作內容會接觸各種工具,像是 Stitch、dbt、AWS Redshift、Looker……等等。
從各個小專案中,我第一次見識到完整的 data pipeline,跟之前工作接觸到從單一 DB 存取資料有著很大的差異,像是存儲方式、資料量級等等,而且除了存取之外,也要懂的如何 monitoring,才能及時在資料出現問題或異常的時候,可以快速除錯,讓我理解到在大量數據下,架構的設計、平行處理、後續的維護都是環環相扣,很不容易的。
公司文化
實習帶給我的
我是一個很依賴實際操作去學習的人,有時候太多理論我會吸收不良,所以在實習前我覺得架構這類的概念很抽象難懂,甚至我無法理解為什麼需要畫出架構圖。還記得在 onboard training 的時候,mentor 在我面前攤開一張 BI pipeline 的架構圖,我只看得懂一堆 logo 和拉來拉去的線條,不懂其中的含義,但是透過一張一張 ticket 的累積,我逐漸理解到架構的重要性,它可以讓大家在討論時 on the same page,幫助我們在除錯的時候,可以更快速找出問題點,而且我很慶幸我在這段時間慢慢培養出利用架構圖的能力,遇到新的 task,我開始能夠從中找出問題點,慢慢 narrow down 到是哪個工具出了問題,具體到哪段程式碼出問題,講出我的理解和預期解法與 mentor 討論,到最後成功除錯,對我來說這是最有成就感的進步。
最後最後,最想感謝的就是跟我接觸最多的 DE 團隊和 BI 團隊各位,我在實習過程中,最常聽到的一句話就是「最近有遇到什麼問題嗎?」這句話真的大大拯救了我,我是害怕問出笨問題的人,但謝謝你們都會定期來關心我的狀況,只要線上訊息一敲,都很願意放下手邊的工作,馬上跟我通話、解答我的疑惑(在此謝謝被我煩過的每個人!)