1樓：心在流浪
儘管知道這是套路，大家還是一本正經的來回答，不一本正經的來打廣告......那我來乙個不是一本正經的回答吧，當未來大家有資料共享的意思後，爬蟲可能需求量就會少很多，當然這是我乙個小白的回答。關於目前的分布式雲採集工具，最多使用者的還是火車頭，當然這是需要收費的，我是實話實話，關於其他的採集工具，或者說雲採集工具，有八爪魚，神箭手等，但是他們收費，有乙個叫發源地的採集工具不收費，但是同時這樣的工具還是需要一定基礎的人才能使用。
路漫漫其修遠兮，吾將上下而求索.....
2樓：八爪魚採集器
國內做分布式雲爬蟲有好幾家公司都在做，這裡面有難度，也有市場，現在國內的雲爬蟲市場，佔整個採集領域，其實是不到10%的。雖然現在很多公司很多主流部門都已經在遷移使用。
八爪魚在這裡面，屬於業內領先，但儘管如此，距離使用者的目標，其實還相差甚遠。不管是技術上，還是產品上。我們做這行業四年了，現在看到多了幾家競品。
實在是高興得很，大家一起把這市場做大，競爭的同時，一起把產品技術做好。
GO GO GO
3樓：
樓主不用苦於這個問題，你可以尋找下一家爬蟲軟體公司啊， 搜數操作還挺簡單的，對於我這樣的小白只希望操作簡單資料精準就可以了。
分布式資料庫的分布式事務？
NebulaGraph 業務系統往往是通過子系統組合的模式來完成,這些子系統很可能是不同的資料庫,甚至可能是 友商 的,互相直接無法保證事務,還是得業務自身保證。 codingfor 你說的單機事物，我的理解其實是指single threaded excution，而不是指在單台機器上做事物 暗含了...
普匯雲的分布式雲儲存技術與其他傳統雲儲存產品技術上有什麼區別啊？
核能氣質少年 記得之前看過，好像是 去中心化 之類的，從我個人的經驗來看，過去的雲儲存方式都是 中心化 雖然發展了這麼多年非常穩定，但是過高的運營費用和越來越低的安全性一直被使用者詬病，而分布式雲儲存改善了這一缺點，由於資料分別儲存在不同的節點中，就算某乙個節點的資料暴露了也不至於影響全域性，而且多...
分布式深度學習訓練中的通訊優化有哪些主流的研究方向？
顏深根 從系統實現上來分，可以分為PS和Allreduce兩個大的方向。對精度是否有影響來分，可以分為同步通訊和非同步通訊。從通訊的內容上來分，可以分為稠密通訊和稀疏通訊。這裡面每乙個方向都會有很多可以優化的方法。比如從通訊底層，可以採用普通TCP IP協議，也可以採用RDMA。PS可以採用單個Se...