第四正規化的人工智慧平台 Prophet 有可能替代 Spark 麼?

時間 2021-06-02 10:56:52

1樓:楊安晉

第四正規化以變革者的姿態,進入了企業級服務領域,乙個受制於客戶意志,能做的事情相當有限的領域。同時,第四正規化這種花錢賺吆喝、免費服務的模式,畢竟難以延續。服務廠商總想用一兩次的低價換得口碑與市場,卻無一例外的陷入了低價中標的惡性迴圈中,最終拖累了自己與同行。

2樓:

作為產品狗,一直在關注第四正規化的商業模式,感覺他們應該對自己的定位很清楚的。不是和自己用spark的公司競爭。關注那些有大量資料需求但是在這個領域有急切需求的。

比如銀行、保險這些。前期專案預演,後期盡量形成標準服務輸出。

3樓:胡時偉

Prophet誕生的原因是因為我們為各種行業提供服務,每個行業的差異化乍一看都不少,按照傳統的方式,我們需要case by case的去應對,給出對應的方法,然後進行實施。但在這個case by case的過程中,大部分的精力是花在如何把對領域專有知識的理解(業務理解)轉換為機器學習過程的具體操作(資料科學家的工作),對於端到端的兩端,資料和服務,反而是比較通用的。那麼如果能夠利用技術和演算法,解決專有知識到對應機器學習過程的對映問題,我們就可以建設乙個通用的平台來使得AI應用到不同場景的代價變小,實現人工智慧的傻瓜機。

Prophet就是這個目標的第一步。

首先Prophet定位在一套完整的平台,包括核心機器學習演算法框架GDBT(沒錯不是GBDT,這是個演算法框架,其作者起名為General Distributed BrainTechnology),以及機器學習任務排程框架TM,以及人機介面Lamma,還有架設在整個框架上的一系列運算元。當然這些都是內部名字無所謂,總的來說Prophet提供的是端到端的機器學習能力,進來是資料,出去是Service。

然後關於GDBT和Spark,應該說對比的是基於GDBT的演算法以及基於Spark的演算法(MLLib實現),由於計算架構的不同,所以簡單的來說多少多少倍是沒有太多的意義,因為如果特徵維度多到一定程度,MLLib在不做資料取樣的情況下是無法完成某些訓練演算法的。但是具體在幾千萬行,幾十個核的場景下,快幾百倍是實測結果。

另外,我們在做的事情,演算法框架是乙個部分,效能也是很重要的,但是做這些的目的是為了降低機器學習應用於具體行業的門檻和先決要求。這個先決要求既包含硬體上的,也包含人在機器學習方面知識的要求。擁有更強大的計算能力和特徵處理能力,意味著我們可以更少的讓人輸入資訊,而更多的依靠計算機自身的學習和計算來找到機器學習演算法在具體問題上應用的最佳結合點,這其中甚至還需要包括如何去利用計算資源的投入避免機器學習常見的一些缺陷。

因此Prophet不會替代Spark,Prophet裡面的很多元件也是基於Spark的,Prophet的目標是把AI的能力較為容易的帶到各個應用場景,為了這個目標,我們會利用好GDBT,也會極致的利用好Spark,也會利用硬體技術的最新進展。

自己搭人工智慧平台,還是用大廠開放平台?

chadui123 個人學習一定用大廠的開始。中小公司做業務應用而非一定發展為科技為主導的公司,也應該用大廠的。但是如果逐漸做大了,大廠的標準方法就會感到越來越不夠好,甚至掣手。不僅是不夠自主或者交費的問題,而是因為大廠所做因為要顧及大量不同使用者,只能盡量做成乙個通用水平的上線,而目前AI特點之一...

未來會發展出可以開發人工智慧的人工智慧嗎?如果人工智慧可以公升級和維護自身,人類還能做些什麼?

醉鈴 所有應用技術的開發都需要基礎科學的支撐,否則它就是有盡頭的。就像再複雜的宇宙航行技術都要以牛頓三定律為支撐。人工智慧的本質,依舊是圖靈0和1的不斷延伸。所以我認為不需要太擔心這個問題,無論多智慧型的人工智慧,依舊是0和1應用而已。人類所有對人工智慧的擔憂都會被乙個偉大的人類解決,就像牛頓三定律...

如何看待現在的人工智慧技術?

大鵬諮道 人工智慧會奪走人類的工作?有人說人工智慧會奪走人類的工作?根據調查,92 相信機械人技術與人工智慧的進步將提公升中國的整體競爭優勢,91 的受訪者認為機械人與人工智慧將為其當前從事的工作帶來積極的影響,其中83 的受訪者表示對未來的工作前景更有信心,84 的受訪者表示,他們並不擔心當前的工...