1樓：東張
維護乙個流式計算的流水線，流水線上每秒會處理過1萬條左右的message，來自幾百個不同的資料來源。我們需要統計不同的資料來源處理的message數量，以及一些其他的統計量。
我們的計算平台類似於kafka+spark streaming，資料儲存在key-value store中。平台會保證每次訊息的處理產生的IO，要麼全部成功，要麼全部失敗（transaction）。系統的counting也是基於這樣的架構，不同的counting request會按照key分割槽，每個不同的分割槽上的counting request穿行分批處理。
每次取同樣key的一批request然後讀-計算-寫回。這其實就是乙個reduce的過程。
在資料流量較小的時候，這樣基本ok，但是隨著我們的資料量開始增加，這套完全hold不住了。經常就是資料在主pipeline上早處理完了但是在counting的地方堆積了很多。這裡有很嚴重的資料傾斜問題，因為key很少（相對於資料量），且key高度分時傾斜。
不同資料來源之間傳送資料並不是均勻的，往往是這個時段資料來源A來得很多，下個時段資料來源B來得很多。
在經過幾輪分析之後，我們在直接呼叫系統counting之前先做了一次自己的combining，用乙個沒有分割槽的訊息佇列接收所有的counting request，然後沒批（100個）counting request按照key分組，累加，然後每個不同的key向後傳送一次counting request。
經過這一層之後，我們使用counting就再也沒出過任何問題。
2樓：呵呵一笑百媚生
最近剛好做了一點事，可以拿來吹吹比：把乙個千萬級日誌資料的MySQL單錶分頁查詢，從10s+甚至超時失去響應，降低到百毫秒級。
原來的分頁查詢用了（萬惡的）jmesa，主要慢在沒有索引（是的） +模糊查詢+時間倒排序+全量結果count，然後主鍵還是隨機生成的UUID。
那第一件事當然就是趕緊給時間加索引咯。加完時間索引效果立竿見影，因為分頁大小一般只有30條，所以時間倒排序取前幾百幾千條資料絕大多數時候相當的快，即使是不走索引的模糊查詢。
但其實經過profiling發現，整個分頁查詢請求過程中，耗時的大頭在於條件查詢後不帶分頁的全量結果count，這個是掃全表模糊查詢的，相當的恐怖。考慮到使用者一般只關心第一頁結果，也不太關心結果總數，妥協的辦法就是：
SELECT
pageOffset
+COUNT(*
)FROM
(SELECT
idFROM
table
WHERE
conditions
LIMIT
pageOffset
,2000)t
;結果呢，使用者看不到總共有多少符合條件的資料了，只知道目前至少有多少條資料，但隨著使用者向後翻頁，顯示的資料條數會漸漸增加。「跳到最後一頁」這個功能，實際只會跳過幾十頁，但使用者還是可以直接輸入頁號跳轉。
最後，再加上預設只查詢過去一周的資料（30~50萬），百毫秒級別的分頁查詢達成~
其實還有進一步的優化空間，模糊查詢的那個字段，基數800不到……不過我懶得改了，你看我費力搞了半天，人家ES幾下輕鬆搞定。
3樓：歐文韜
加了網路層合包以後，QPS從不到16W/s 上公升到了280W/s
4樓：bytewu
做了乙個介面平台，新系統接入不再需要開發單獨模組了，發布上線，一鍵支援。
做幾個配置，點一下測試，再點一下發布。biu~~ 線上就部署好了......
直接一周+一通宵的活兒， 一天至少幹3個.... ....
5樓：
背景：幫老爹拍滬牌，還是本地客戶端的時候，拍了兩次沒有拍中，最煩的就是所有操作不能用鍵盤完成，輸入後回車鍵提交功能沒有，要滑鼠完成。（拍過的人應該懂）
第三次拍之前，自己用按鍵精靈寫了個幾行的指令碼，解決了自動+300和兩次回車提交功能。個人感覺能減少個一兩秒的操作。
結果：當然是第三次拍中了！！！
當時有想過把驗證碼也給搞掉，但是找了個開發過了下，覺得搞不清楚，而且有點法律風險，遂放棄了。
6樓：文清
還記得那是高三快開學的乙個深夜，通過老師家長，還有附近同學的改進〈一種莫名的緊張氣氛〈我真的收了心。要死要活的拼了一年。從倒數後十，到年級前十，終於邁進了大學的校園。
我只是想說，如果我能從高一改進的話，估計能去我夢想的大學。但是沒有如果。不過從改進的那刻，就永遠不晚。共勉。
7樓：貓行天下
目前註冊程式設計師近4萬，去年同期不到5千。
最關鍵的資料變化，來自於去年9月份，遠端眾包功能上線。
總結：1）讓程式設計師可以賺錢，是程式設計師對我們感興趣的關鍵。
2）讓程式設計師在這裡賺錢可以比在其他地方更爽，更有尊嚴，是能夠激發使用者主動傳播的關鍵。
在程式設計師客棧上僱傭程式設計師做專案有成功的麼？體驗如何？ - 兼職
8樓：紫玉茶海
公司把以前遲到從工資裡扣工資變成了遲到者在前台當場交20塊錢罰款，結果遲到的人從原來一周幾十人次降到了一周幾人次。
知乎的世界跟我所在的世界確實不在乙個次元。在三線城市司空見慣的遲到罰款原來是不合法的，因為遲到罰款還有人會辭職，看來我大鄭州別說跟國際接軌了，即使是跟國家同步都沒達到啊。
不過知友們說的國企遲到不罰款，以前在國企只有早班遲到在嚴查的時候被抓會有罰款記錄，中晚班好像都睜乙隻眼閉乙隻眼過去了，不過罰款在制度裡是有的。
那麼多回覆裡拿BAT的彈性工作制來證明遲到不該罰款，請問有多少人在BAT這樣的公司裡供職呢？
在你們大城市現在為四天半工作制搖旗吶喊的時候，你們是否知道大多數的企業連雙休制都不能實現？
剛問了一些北上做營銷運營的朋友，他們說他們那遲到也罰款啊，看來勞動法在北上執行的也不太徹底。
罰款其實也不是目的，目的只是不讓遲到。
沒拿到手裡的錢就不算錢，很多人扣工資不在乎，但是從兜裡掏錢會很心疼；還有些人比較好面子，從工資裡扣不算啥，但是自己到前台當著那麼多人的面交錢會就會覺得很丟人；有知友提醒，也許是懶得準備零錢。
9樓：大島雅人
將我的消化系統改進後，體重數值大幅上公升…
竟然問我怎麼改進的。。。我告訴你們兩個字：鍛鍊！
將你的消化系統鍛鍊到可以消化無數食物，你的消化器官自然能有更好的彈性，承受更大的壓力
通俗點說就是，多吃……
你做過哪些有深意的夢？
我記得我夢到，我和乙個喜歡很久的女孩 以下簡稱z 一起回家，然後突然就出現了一條路，也沒想多少走了上去，那條路走的走的就成了直立的，z坦然的走了上去，我一下掉了下來，然後醒了 閉眼繼續睡 然後到了第二天，我的乙個好朋友上學的時候告訴我z要去找她的前男友 纖說 哼 我這麼膚淺的人怎麼可能做有深意的夢，...
你用過的產品中，有哪些產品或哪些功能讓你有過「噢，他真體貼」的感覺？
第一次看筆記本測評macbook，那吸附式電源介面卡，研究那玩意兒好久 oh！充電的原來可以這麼做的，瞬間高大上了，很貼心很美觀的設計，ps macbook的呼吸燈設計，旁邊摁鍵對應的百分比顯示燈，都很貼心 小小夏公尺 用支付寶，新增了一張新的信用卡進行支付後，下次用 信用卡還款 功能時，發現已自動...
你做過的哪些夢讓你醒來之後覺得幸虧是在夢裡？
餘又一 說乙個印象最深刻的，被自己的哭聲吵醒的。高中的乙個下午，天氣悶熱，難得的週日放了小半天假，躺在床上補覺。我這個人下午睡覺的時候睡得特別不穩，經常會覺得似睡非睡，不過已經習慣了。那天也是這樣，只不過夢到了從小到大一直照顧我的奶奶去世了，她躺在抱著小時候的我睡的床上，旁邊圍著姑姑姑父哥哥姐姐，我...