Kaggle的比賽和平時的資料分析有哪些區別？

1樓：乖乖瀦

資料剖析師是怎樣作業的資料清洗特徵工程:特徵決議了你模型準確率的上限,而不同的找作業最好換一些開源軟體。《R言語實戰》比賽渠道kaggle。

gpu是用來做深度學習他們為這些高智商人才供給了比賽的渠道,經過資料發掘和剖析,Kaggle 曾經成功協助 N Zillabyte 是乙個為非專業人員規劃的資料剖析東西。比起現在雜亂的資料剖析東西。

2樓：

做為乙個畢業剛滿一年＋業餘堅持做比賽的新手來說說自己的感受吧1.本人在學校做的是影象相關的內容，轉到網際網路的資料探勘崗位，第乙個感覺就是結構化的資料處理，特徵提取方面，兩者差異很大，如果你打算從事網際網路相關的演算法，資料探勘崗位的化，參加kaggle比賽是很好的學習機會

2,如果所學專業不是資料相關的，通過比賽，參賽選手分享的ppt,code,你可以快速的建立起整體的乙個資料處理流程，在實際工作的可以使用你學到的技巧

3,平時的資料分析挖掘，可能是產品，運營驅動的，你可能用很一般的方法就可以解決，你也可能認為你一直在使用很low的方法，沒有什麼成就感，參加比賽可以體驗到與人競技的快樂，讓你走出工作的舒適區，時刻提醒自己要不斷的學習新技巧

3樓：Yingjie Xiao

e-Maize Challenge

大家有興趣的話，可以看看這個資料探勘競賽！

第一名獎金10萬RMB（稅前）！

目前一開始乙個月，8月1日截止

4樓：三元方差

我覺得最大的問題是kaggle的問題你明白乙個前提，依靠現有的資料是一定可以做出乙個比較靠譜的模型出來的。

但在實際問題中，沒有這個前提，於是你可能會做很多無用功

5樓：

有差別啊！差的簡直不要太多！

我實習的頭兩個月獻給了資料獲取和清洗，獲取方式包括而不侷限於購買、路由器抓包、網頁爬蟲、調查問卷、日誌分析……資料工具不知道掌握的怎麼樣，反而Wireshark、Scrapy和ELK弄的很6。

最後搞了一堆亂七八糟的資料，自己想怎麼提特徵。回頭看看Kaggle裡的那些特徵，簡直不要太完美——人家已經都提好了放在那兒了，Kaggle選手做的「提特徵」就是算高層的抽象提取了……

資料科學大體上由資料-特徵-模型幾個環節組成，模型只是為了逼近特徵工程的效果，但是特徵工程怎麼用Kaggle衡量？很遺憾，Kaggle注意的只是最後者，雖然可以快速起步，但是不能沉迷於此。

6樓：嘉慧Lincoln

Kaggle比賽中：Feature Engineering 為王，Tuning+Ensemble 為後。

參加Kaggle比賽的有一大半是在校學生，剩下零零星星的企業和個人開發者。不得不說，Kaggle為普及機器學習與資料科學做出了巨大貢獻，也著實提高了選手們的技術水平。

但在比賽中，為了降低 Overfitting 讓分數更高，選手不得不追求極限狀態，耗費大量資源組合Ensemble Model，只為提高一點點的成績。造成的結果是：Kaggle比賽結果只有很少一部分能直接應用於現實世界中的企業產品。

所以Kaggle在折騰了數年後還是沒能找到清晰的商業模式，被Google收購也不足為奇了。

7樓：殺掉那只貓

有幾年沒關注Kaggle的資料集了，不過以前的資料集很多就是真實資料集匿名化的結果。當然隱去了很多資料採集清洗的工作。其實選 model 調引數跟 feature engineering 很難完全分開，否則幹嘛不找個人專門干選 model。

不過從資訊邏輯上將，model 本身並沒有增加資訊的內容，因此並不能提高已有資料集的效果，再怎麼樣也不會低於 bayesian error。但是 feature engineering 卻有可能直接降低這個 error，從而在本質上獲得更好的資料集。所以從這方面來說，feature 更重要一些。

現在 deep learning 之所以效果巨好的原因之一，就是它用很多辦法產生和處理了大量的 feature。

在現實工作中，有人專門研究在同樣資料集情況下，model 本身的精確性，有人專注於如何獲取更多更有用的資料。前者多是研究機構和學校，後者多是企業應用。Google 幾年前那個著名的資料和演算法曲線圖，在資料量變化的時候，模型的效果可能發生根本性變化。