資料探勘,機器學習,演算法類工程師招聘要求熟練運用資料庫,這要求有什麼看法嘛?

時間 2021-05-06 11:44:56

1樓:科科科科

工作以後你發現,一半的時間都在用sql挖feature,而80%的kpi是靠這些feature幫你完成的,說是機器學習組幹的是特徵工程師(微笑臉)

2樓:Minghia

列幾個和演算法有關的點:

1. 你需要資料。這回答也許太粗暴了,但作為演算法人員,你總是需要直接去資料庫裡拿資料的,上游給你乙個鏈結位址就算把資料都給你了,那至少得搞清楚關係型非關係型資料庫什麼區別吧,得搞清楚怎麼解析資料庫裡的資料吧,分割符怎麼搞的,缺失怎麼搞的,kv的字段怎麼提方便等等……總不能拿著個/001分隔符的資料乾瞪眼吧

2. 你需要實現。做個演算法多少都要自己洗一些資料,大部分情況下清洗都可以SQL搞定,就算你用慣了python不願意寫sql,至少得看得懂,知道怎麼實現高效,包括直接從資料庫裡做查詢,怎麼建索引來提高效率這些基本的應該了解吧

3. 你是做資料演算法的,大資料是趨勢。既然選了這條路,早晚早晚是要搞大資料的,接觸個分布式第乙個摸的就是hive了,如果對資料庫的基本概念都不夠,後續怎麼去理解分割槽,資料傾斜等等的問題

4. 再演算法一些。玩了資料探勘,搞了機器學習,逃不開特徵工程,實時或者偽實時計算這些東西的,選用怎麼樣的資料庫去應對不停擴充的資料和特徵也應該是演算法人員應該去考慮的。

總結一下,資料庫是乙個最基本的工具,剛入演算法,不見得要把資料建模的一套東西都掌握,至少能熟練使用是不過分的

3樓:

我自己也曾經有過這種疑問,因為當我剛開始做這個行業的時候,我也覺得乙個演算法工程師不用懂資料庫的東西,不用幹清洗資料的工作,而且當時,我們也有條件找人專門做資料清洗的工作,但之後發現效率特別低,因為那個專職的資料庫工程師(我當時的乙個同事)對幫我清洗資料的工作非常反感,對方是不屑於給我打下手的,而且就算對方樂意,我們的溝通效率也比較低,好多時間都花在溝通上了。

比如,我想要某乙個資料,但對方其實對數學原理不大清楚,這就要我花費好長時間給他去講;還有就是,有時候我想要某個資料,邏輯很麻煩,但對方乙個簡單的sql語句就搞定了。。。

上面說的情況逼著我和我的同事必須掌握sql語句等資料庫操作的常用技能,因為這樣會大大提高自己和團隊的工作效率。

4樓:星火緣

資料探勘與很多學科都有聯絡的,比如資料庫,統計學,機器學習,資料探勘包括兩個部分,資料的管理和分析,而資料庫就可以為資料探勘提供資料管理技術,機器學習統計學等則為資料探勘提供資料的分析方法。因此,資料庫和機器學習是資料探勘的兩大支撐技術。

5樓:林海略

資料探勘機器學習的工程師都是和資料打交道,雖然重點更偏向於從資料中發現模型或者規律,但實際過程中用各種各樣的工具去管理資料是必不可少的。

資料庫就是常用的管理資料的技術咯。除了常見的關係型資料庫,還有各種各樣其他的資料庫。對這些工具的熟悉程度往往也反應了乙個演算法工程師實際專案的經驗值,所以面試官會考查下。

Hadoop工程師需要會資料探勘 機器學習 模式識別 嗎?

stucou 以前不需要現在需要。1 以前hadoop生態系統不成熟的時候,各個元件不好用,分布式處理的知識不普及,大資料應用也侷限於hbase訪問資料,hive跑sql出報表,流處理統計過濾資料。所以大資料工程師大部分時間在研究這些元件本身的用法和坑。2 隨著開源軟體的發展,大資料元件本身越來越成...

爬蟲,python工程師,資料探勘,機器學習。我該先以哪乙個為主?

我想,你之所以會提這個問題,是因為對未來有一種擔憂吧。選爬蟲吧,又怕未來發展不好,選機器學習吧,又怕自己水平不夠。其實,這個問題不用擔心,因為你把這幾個方向看成了孤立的個體。如果說你把它們看成是一家子,就不用糾結了。無論哪個方向,能找到工作才能得到鍛鍊。我的建議是這三個方向都找找看,向公司闡明自己對...

機器學習演算法工程師校招和社招面試有哪些區別?

求是汪在路上 對於校招生,更為看重的點在於學習的潛力,良好的做事習慣和總結能力。專案不在多,實習經歷不在於多,但能把某個專案能嘗試從不同角度去做,讓面試官感到探索的毅力。演算法上的考察,主要看對基礎知識的掌握程度,比如理解方差和偏差的概念 機器學習各類指標的計算 特徵工程的理解等。對於社招,當然會根...