提高報表查詢速度,使用什麼工具和技術,招聘需要招什麼樣的人?

時間 2021-05-06 18:58:54

1樓:張海

T量級的很小了,不要聽大資料的忽悠,這個量級基本還用不上大資料。

方案1:pg或者mysql的集群,資料集做一下分庫分表的拆分,mycat之類的方案做中間層,直接寫sql查詢。

方案2:elasticsearch的集群,資料需要同步,直接寫es的查詢,也可以再安裝乙個sql引擎寫sql查詢。

方案3:比較新潮的技術體系。tidb(分布式資料庫) vertica clickhouse(列式資料庫)之類,缺點是技術能力要求比較高,遇到問題不易解決。

標配需要乙個運維(搭建和維護集群) 乙個DBA(資料同步資料拆分資料遷移 DDL DML) 乙個後端研發(開發對接報表的API介面) 乙個資料分析(寫sql和其它資料分析)組成的團隊。實際上運氣好的話,招到乙個經驗豐富的研發,乙個人就可以搞定上述幾個人的活。

大資料的方案其實也很簡單,用hdfs來儲存資料,再搭乙個hbase(key-value)和hive(sql查詢)。

大資料技術體系一般標配乙個運維(搭建和維護資源集群) 乙個ETL(在各種資料環境中轉換和同步資料) 乙個大資料(寫sql 開發定時週期任務) 可選乙個資料分析師(對接報表從業務角度分析資料),當然也有能力強大的工程師乙個人可以搞定上述所有角色。

如果有業務需求(智慧型分析推薦千人千面最佳路徑之類),還可以加入乙個專門的演算法工程師。

資源自建和直接採購雲端資源,這兩種方式在運維層面投入就差別很大,小技術團隊推薦直接上雲,前期投入和維護成本會降低很多。

報表系統最好也用開源系統或者直接採購(阿里雲QuickBI之類),如果要自研的話,那至少還需要乙個前端工程師和乙個UI(UED)設計師。

技術團隊的彈性很大,能力強大的乙個人就可以搞定整個技術體系。也有「大公司」的CTO可以拉上百人的技術團隊來滿足這個業務需求。比較合理的團隊應該在3-10人之間。

2樓:張良

資料量不算大,儲存和加工可以使用GP資料庫,免費的。

沒必要使用hadoop,因為hadoop在資料處理速度上沒有明顯優勢。

報表工具很多,區別應該不會很大。報表可以直接連線GP資料庫,做好分割槽和索引,響應時間應該是可以滿足要求的。hadoop響應時間很長,要求實時響應的報表不能直接訪問hadoop。

如果非要用hadoop,可以用來儲存歷史資料,做個歷史資料歸檔平台,減少GP儲存壓力。不過初期GP就夠用了。

招聘資料開發工程師或架構師、報表開發工程師即可。

3樓:hzldds2020

大資料即時查詢方向。

如果自建

資料抽取:

etl方便的人員 pl/sql,etl工具人員資料倉儲層:

傳統:oracle 或者db2,專業dba大資料:hive+spark,招聘專業維護人員報表:商用套件,congos,BIEE

4樓:yaoyao

報表由於實時性要求比較低,所以價效比最高的辦法就是:

這樣你要看報表的時候就可以直接拿出來看,無論資料量有多大,都不影響你看報表時獲取資料的速度。

5樓:量化仔

看了下場景,其實就是mpp資料分析引擎,bi工具基本都有的。

看你的預算,幾萬到幾百萬都有,如果最終資料彙總結果很少建議用帆軟

如果資料量大,我推薦用kylin,比較靠譜

6樓:向上的蝸牛

你說場景是及時查詢。

如果自建資料中心:

資料倉儲層:

傳統資料倉儲:推薦oracle 或者 GreenPlum。 有dba就行比較省心。

大資料框架就:hive+spark . 需要招聘大資料工程維護,比較麻煩。

報表層:

商業就用tableau或者帆軟都挺不錯,開源就只有superset,其它的幾乎就不能用。

7樓:

很久之前,有個朋友就和我講過,資料分析不僅僅是個技術活兒資料分析需要兩類人

1、制定規則的人,規劃了需要呈現的資料樣式,公式,效果等等,有點像產品經理的角色,需要的是行業經驗和敏銳的嗅覺,以及對資料組成的熟悉

2、實現定義的人,通俗的說就是技術人員;一般需要熟悉報表工具(如powerbi 等等),以及一定的資料庫知識,資料庫查詢的優化能力是乙個加分項

所以,有條件的情況下,盡量設定兩個崗位,各有專長;

8樓:創帆雲

招人:2、資料視覺化:報表展示、實時重新整理,需要前端工程師,這個好找

技術:

這種分析場景一般是T+1(即晚上跑第2天看資料)和實時場景, T+1一般會用hadoop、sqoop、hive就夠了

實時的稍微複雜下,現在用flink作實時處理流比較多,spark、hbase、redis這些相關技術也要了解些

9樓:資料社

T級別的資料流其實不大,要求快的化,就是用MPP資料庫。GreenPlum、Vertica都是不錯的選擇,Vertica提供了社群版本,支援1T資料。

我在之前也講過Vertica的一些優點和使用方法,可以參考。

如何使帆軟報表工具提公升查詢速度?

帆軟 瀉藥首先很多人卻發現SQL語句在資料庫裡查詢異常的快,可是放到FR報表裡面速度相對慢了,其實最常見的就是三個原因 SQL Server 查詢速度較慢,建議先檢查 SQL 語句是否過於複雜 是否用了太多的鏈結查詢,優化 SQL 語句來提高訪問資料的速度。如果是這乙個原因,建議您參考 高效能SQL...

為什麼其他動物沒有學會創造和使用工具

千峰行塵 黑猩猩會用木棒沾白蟻吃,說明有手就行。水獺會用石頭砸貝殼,手都沒有,有前肢就行。螞蟻會種蘑菇放牧蚜蟲裁切葉子做房間,這算不算是泛化的工具?鮟鱇魚,用觸角的光吸引獵物,不也是一種 創造使用 嗎?可見為了滿足自身需求,各種生物真的在運用各種工具,有的工具是借用外部的,有的工具是長期進化出來的,...

能夠使用工具為什麼成為了人類和動物在進化上的分水嶺?

鵬鵬 是使用,製造,研發工具。會使用工具動物不少,如黑猩猩鸚鵡等。但它們使用工具非常原始簡單,也就是拿個樹枝木棍水平。人類會加工工具,把木頭,石頭,骨頭,皮革加工為複雜的長矛,石斧,骨針,衣服鞋子等。 木月禾 能夠 製造和使用工具 生物界當中確實並不是很罕見,其他回答中給出了很多例子。能夠製造和使用...