1樓:張海
T量級的很小了,不要聽大資料的忽悠,這個量級基本還用不上大資料。
方案1:pg或者mysql的集群,資料集做一下分庫分表的拆分,mycat之類的方案做中間層,直接寫sql查詢。
方案2:elasticsearch的集群,資料需要同步,直接寫es的查詢,也可以再安裝乙個sql引擎寫sql查詢。
方案3:比較新潮的技術體系。tidb(分布式資料庫) vertica clickhouse(列式資料庫)之類,缺點是技術能力要求比較高,遇到問題不易解決。
標配需要乙個運維(搭建和維護集群) 乙個DBA(資料同步資料拆分資料遷移 DDL DML) 乙個後端研發(開發對接報表的API介面) 乙個資料分析(寫sql和其它資料分析)組成的團隊。實際上運氣好的話,招到乙個經驗豐富的研發,乙個人就可以搞定上述幾個人的活。
大資料的方案其實也很簡單,用hdfs來儲存資料,再搭乙個hbase(key-value)和hive(sql查詢)。
大資料技術體系一般標配乙個運維(搭建和維護資源集群) 乙個ETL(在各種資料環境中轉換和同步資料) 乙個大資料(寫sql 開發定時週期任務) 可選乙個資料分析師(對接報表從業務角度分析資料),當然也有能力強大的工程師乙個人可以搞定上述所有角色。
如果有業務需求(智慧型分析推薦千人千面最佳路徑之類),還可以加入乙個專門的演算法工程師。
資源自建和直接採購雲端資源,這兩種方式在運維層面投入就差別很大,小技術團隊推薦直接上雲,前期投入和維護成本會降低很多。
報表系統最好也用開源系統或者直接採購(阿里雲QuickBI之類),如果要自研的話,那至少還需要乙個前端工程師和乙個UI(UED)設計師。
技術團隊的彈性很大,能力強大的乙個人就可以搞定整個技術體系。也有「大公司」的CTO可以拉上百人的技術團隊來滿足這個業務需求。比較合理的團隊應該在3-10人之間。
2樓:張良
資料量不算大,儲存和加工可以使用GP資料庫,免費的。
沒必要使用hadoop,因為hadoop在資料處理速度上沒有明顯優勢。
報表工具很多,區別應該不會很大。報表可以直接連線GP資料庫,做好分割槽和索引,響應時間應該是可以滿足要求的。hadoop響應時間很長,要求實時響應的報表不能直接訪問hadoop。
如果非要用hadoop,可以用來儲存歷史資料,做個歷史資料歸檔平台,減少GP儲存壓力。不過初期GP就夠用了。
招聘資料開發工程師或架構師、報表開發工程師即可。
3樓:hzldds2020
大資料即時查詢方向。
如果自建
資料抽取:
etl方便的人員 pl/sql,etl工具人員資料倉儲層:
傳統:oracle 或者db2,專業dba大資料:hive+spark,招聘專業維護人員報表:商用套件,congos,BIEE
4樓:yaoyao
報表由於實時性要求比較低,所以價效比最高的辦法就是:
這樣你要看報表的時候就可以直接拿出來看,無論資料量有多大,都不影響你看報表時獲取資料的速度。
5樓:量化仔
看了下場景,其實就是mpp資料分析引擎,bi工具基本都有的。
看你的預算,幾萬到幾百萬都有,如果最終資料彙總結果很少建議用帆軟
如果資料量大,我推薦用kylin,比較靠譜
6樓:向上的蝸牛
你說場景是及時查詢。
如果自建資料中心:
資料倉儲層:
傳統資料倉儲:推薦oracle 或者 GreenPlum。 有dba就行比較省心。
大資料框架就:hive+spark . 需要招聘大資料工程維護,比較麻煩。
報表層:
商業就用tableau或者帆軟都挺不錯,開源就只有superset,其它的幾乎就不能用。
7樓:
很久之前,有個朋友就和我講過,資料分析不僅僅是個技術活兒資料分析需要兩類人
1、制定規則的人,規劃了需要呈現的資料樣式,公式,效果等等,有點像產品經理的角色,需要的是行業經驗和敏銳的嗅覺,以及對資料組成的熟悉
2、實現定義的人,通俗的說就是技術人員;一般需要熟悉報表工具(如powerbi 等等),以及一定的資料庫知識,資料庫查詢的優化能力是乙個加分項
所以,有條件的情況下,盡量設定兩個崗位,各有專長;
8樓:創帆雲
招人:2、資料視覺化:報表展示、實時重新整理,需要前端工程師,這個好找
技術:
這種分析場景一般是T+1(即晚上跑第2天看資料)和實時場景, T+1一般會用hadoop、sqoop、hive就夠了
實時的稍微複雜下,現在用flink作實時處理流比較多,spark、hbase、redis這些相關技術也要了解些
9樓:資料社
T級別的資料流其實不大,要求快的化,就是用MPP資料庫。GreenPlum、Vertica都是不錯的選擇,Vertica提供了社群版本,支援1T資料。
我在之前也講過Vertica的一些優點和使用方法,可以參考。
如何使帆軟報表工具提公升查詢速度?
帆軟 瀉藥首先很多人卻發現SQL語句在資料庫裡查詢異常的快,可是放到FR報表裡面速度相對慢了,其實最常見的就是三個原因 SQL Server 查詢速度較慢,建議先檢查 SQL 語句是否過於複雜 是否用了太多的鏈結查詢,優化 SQL 語句來提高訪問資料的速度。如果是這乙個原因,建議您參考 高效能SQL...
為什麼其他動物沒有學會創造和使用工具
千峰行塵 黑猩猩會用木棒沾白蟻吃,說明有手就行。水獺會用石頭砸貝殼,手都沒有,有前肢就行。螞蟻會種蘑菇放牧蚜蟲裁切葉子做房間,這算不算是泛化的工具?鮟鱇魚,用觸角的光吸引獵物,不也是一種 創造使用 嗎?可見為了滿足自身需求,各種生物真的在運用各種工具,有的工具是借用外部的,有的工具是長期進化出來的,...
能夠使用工具為什麼成為了人類和動物在進化上的分水嶺?
鵬鵬 是使用,製造,研發工具。會使用工具動物不少,如黑猩猩鸚鵡等。但它們使用工具非常原始簡單,也就是拿個樹枝木棍水平。人類會加工工具,把木頭,石頭,骨頭,皮革加工為複雜的長矛,石斧,骨針,衣服鞋子等。 木月禾 能夠 製造和使用工具 生物界當中確實並不是很罕見,其他回答中給出了很多例子。能夠製造和使用...