系統技術非業餘研究 » 商品庫MySQL優化實踐
請教個問題,像淘寶產品庫這麼多的資料,能簡單介紹一下水平切分方案嗎?還有這麼多的資料對儲存要求也比較高,當單獨的儲存不能承擔的話,你們是怎麼個解決方案。謝謝,純技術探討。
Reply:
June 23rd, 2011 at 12:47 pm
我們是比較簡單的根據ID切分的,容量預先估計好的,留有比較多的餘量。
brawnen Reply:
June 23rd, 2011 at 10:23 pm
謝謝。的確這個問題目前也沒有太好的解決方案。
相關推薦
系統技術非業餘研究 » 商品庫MySQL優化實踐
請教個問題,像淘寶產品庫這麼多的資料,能簡單介紹一下水平切分方案嗎?還有這麼多的資料對儲存要求也比較高,當單獨的儲存不能承擔的話,你們是怎麼個解決方案。謝謝,純技術探討。 Reply:June 23rd, 2011 at 12:47 pm我們是比較簡單的根據ID切分的,容量預先估計好的,留有比
系統技術非業餘研究 » Fio模擬Mysql伺服器IO壓力指令碼
fio是個非常好用的io壓力模擬工具,功能非常齊全, 有興趣的同學參看 這裡。 這裡我用fio模擬我們線上mysql伺服器的壓力來為廠家送來的pci-ssd卡做壓力測試,底下是指令碼(已經測試正確),也許有的同學有用。 $ cat mysql-test # QPS: 40000(10 core
系統技術非業餘研究 » binary的常量優化
erlang的binary在這個網路程式裡面佔著非常重要的地位,所以otp團隊採用了非常多的優化手段包括: 1. binary操作對應著 opcode 2. 根據生命期和作用,有4種類型的binary 3. hipe優化,把bs_操作直接翻譯成asm指令 4. 編譯器層面消除無必須的操作。 下面
系統技術非業餘研究 » rebar和common_test使用實踐和疑惑澄清
rebar is an Erlang build tool that makes it easy to compile and test Erlang applications, port drivers and releases. rebar is a self-contained Erla
系統技術非業餘研究 » MySQL資料庫架構的演化觀察
MySQL資料庫架構的演化觀察 December 14th, 2017 Categories: 資料庫 Tags: mysql
系統技術非業餘研究 » sysbench oltp測試MySQL問題
昨天有同學在使用sysbench時候遇到了點小麻煩: $ sysbench --test=oltp --oltp-table-size=100000000 --oltp-read-only=off --init-rng=on --num-threads=16 --max-requests=0 --
系統技術非業餘研究 » MYSQL資料庫網絡卡軟中斷不平衡問題及解決方案
最近公司在MySQL的資料庫上由於採用了高速的如PCIe卡以及大記憶體,去年在壓力測試的時候突然發現數據庫的流量可以把一個千M網絡卡壓滿了。隨著資料庫的優化,現在流量可以達到150M,所以我們採用了雙網絡卡,在交換機上繫結,做LB的方式,提高系統的吞吐量。 但是在最近壓測試的一個數據庫中,mps
系統技術非業餘研究 » 系統標準庫的hipe支援(高階)
前篇文章http://mryufeng.javaeye.com/blog/428845 講述瞭如何啟用erlang hipe支援,但是使用者程式大量依賴的標準庫如stdlib, kernel等預設都不是native模式的, 所以我們的程式雖然啟用了hipe,但是隻是部分啟用了。用oprofile等
系統技術非業餘研究 » Tsung用於壓測MySQL伺服器的指令碼
這個MySQL伺服器壓測的需求是 : 環境: Linux RHEL 5U4 X86-64, 24G記憶體, 16核. MySQL伺服器在xx.232.36.1上。 壓力由最多32個客戶端發起,每個客戶端分別做update, insert, delete操作,概率分別是50%, 30%, 20%
系統技術非業餘研究 » 低成本和高效能MySQL雲資料的架構探索
該文已在《程式設計師》2012年10期上發表。 MySQL作為一個低成本、高效能、可靠性好而且開源的資料庫產品,在網際網路企業應用非常廣泛,例如淘寶網有數千臺MySQL伺服器的規模。雖然近兩年來NoSQL的發展很快,新產品層出不窮,但在業務中應用NoSQL對開發者來說要求比較高,而MySQL擁有
系統技術非業餘研究 » mysql.taobao.org對外開放
我們的mysql官方網站在這裡:http://mysql.taobao.org, 正式對外開放了. 目前介紹了下我們目前在做的工作, 研究方向,以及部分資料可以下載, 後續我們會提供經過生產系統驗證的mysql binary下載, 敬請期待! 截圖如下: 玩得開心! Post Footer a
系統技術非業餘研究
ItPub寫的文章“2017 年度 DB-Engines 資料庫冠軍得主:PostgreSQL 封王!”, 點選 這裡 進一步閱讀 升的最快的幾個資料庫,我簡單的無責任點評: PG資料庫是很老的資料庫,不過這幾年冉冉升起,因為是學院派的,有很好的學術和智力的支援,一直以來在資料庫的體系結構,程式碼
系統技術非業餘研究 » inet_dist_connect_options
Erlang 17.5版本引入了inet_dist_{listen,connect}_options,對於結點間的互聯socket可以有更精細的控制,RPC的時候效能可以微調: raimo/inet_tcp_dist-priority-option/OTP-12476: Document ke
系統技術非業餘研究 » 推薦工作機會
最後更新時間:2014/11/28 請賜簡歷至:[email protected], 感謝您對加入我們公司有興趣,我們希望能早日和您共事。 以下幾個職位1年內有效,歡迎內部轉崗: 資深資料工程師 公司:阿里(核心系統資料庫組) 工作地點:杭州(西溪園區) 崗位描述: 分析雲服務產生的海
系統技術非業餘研究 » 新的工作和研究方向
和大家更新下: 做了將近8年資料庫後,我的工作和研究方向將會延伸到虛擬化和計算相關的雲服務,希望能夠和大家一起進步,Happy New Year! 預祝大家玩得開心! Post Footer automatically generated by wp-posturl plugin for w
系統技術非業餘研究 » 叢集引入inet_dist_{listen,connect}_options更精細引數微調
Erlang 17.5版本引入了inet_dist_{listen,connect}_options,對於結點間的互聯socket可以有更精細的控制,RPC的時候效能可以微調: raimo/inet_tcp_dist-priority-option/OTP-12476: Document ke
系統技術非業餘研究 » 2017升的最快的幾個資料庫無責任點評
ItPub寫的文章“2017 年度 DB-Engines 資料庫冠軍得主:PostgreSQL 封王!”, 點選 這裡 進一步閱讀 升的最快的幾個資料庫,我簡單的無責任點評: PG資料庫是很老的資料庫,不過這幾年冉冉升起,因為是學院派的,有很好的學術和智力的支援,一直以來在資料庫的體系結構,程式碼
系統技術非業餘研究 » Erlang 17.5引入+hpds命令列控制程序預設字典大小
Erlang 17.5釋出引入控制程序預設字典大小的命令列引數: Erlang/OTP 17.5 has been released Written by Henrik, 01 Apr 2015 Some highlights of the release are: ERTS: Added co
系統技術非業餘研究 » inet_dist_listen_options
Erlang 17.5版本引入了inet_dist_{listen,connect}_options,對於結點間的互聯socket可以有更精細的控制,RPC的時候效能可以微調: raimo/inet_tcp_dist-priority-option/OTP-12476: Document ke
系統技術非業餘研究 » 老生常談: ulimit問題及其影響
ulimit最初設計是用來限制程序對資源的使用情況的,因為早期的系統系統資源包括記憶體,CPU都是非常有限的,系統要保持公平,就要限制大家的使用,以達到一個相對公平的環境。以下是典型的機器預設的限制情況: $ ulimit -a core file size (blocks,