導讀(為什麼要優化?):

在spark開發中,如果資料量很大的情況下(億級),即使是基於記憶體的spark也會吃不消,很可能會發生意想不到的一些異常(堆疊溢位、OOM記憶體溢位等),

這時,如何優化使得我們的程式效能更加的好,速度更加的快就是第一任務了,以下是針對資料結構的一些優化解決方案供大家參考

資料結構耗費記憶體情況:

1、每個Java物件,都有一個物件頭,會佔用16個位元組,主要是包括了一些物件的元資訊,比如指向它的類的指標,如果一個物件本身很小,比如就包括了一個int型別的field,那麼它的物件頭實際上比物件自己還要大。

2、java的String物件,會比它內部的原始資料,多出40個位元組,因為它內部使用的char陣列來儲存內部的字元序列,並且還得儲存諸如陣列長度之類的資訊,且String使用的是UTF-16編碼,所以每個字元會佔用2個位元組,比如,包含10個字元的String,會佔用60個位元組。

3、java中的集合型別,比如HashMap和LinkedList,內部使用的是連結串列資料結構,所以對連結串列中的每一個數據,都使用了Entry物件來包裝,Entry物件不光有物件頭,還有指向下一個Entry的指標,通常佔用8個位元組。

4、元素型別為原始資料型別(比如int)的集合,內部通常會使用原始資料型別的包裝型別,比如Integer,來儲存元素.

適用場景:

運算元函式內部的區域性資料,或者是運算元函式外部的資料,均可參考以下資料結構的優化方案。

方案(一)

1.優先使用陣列以及字串,能不用集合類的,就不用集合類(優先使用array,而不是ArrayList、LinkedList、HashMap等集合)

示例:

比如有一個List<Integer> list = new ArrayList<Integer>(),將其替換為int[] arr = new int[]

或者說,對於HashMap、List這種資料,統一用String拼接成特殊格式的字串,比如Map<Integer,Person> person = new HashMap<Integer,Person>()

可以優化為,特殊的字串格式: id:name.address|id:name,address...

作用:

array既比List少了額外資訊的儲存開銷,還能使用原始資料型別(int)來儲存資料,比List中用Integer這種包裝型別儲存資料,要節省記憶體的多

方案(二)

2.應避免使用多層巢狀的物件結構,比如說;public class Teacher{private list<Student> students = new ArrayList<Student>()},這就是一個非常不好的例子,因為Teacher類的內部又嵌套了大量的小student物件

對於上述情況,也可以完全使用特殊的字串來進行資料的儲存,比如,用json字串來儲存資料,就是一個很好的選擇。

示例:

{"teacherld:"1,"teacherName":"leo",students:[{"student":1,"studentName":"tom"}]}

作用:

作用同方案一

方案(三)

3.對於有些能夠避免的場景:

儘量使用int替代String,因為String雖然比ArrayList、HashMap等資料結構高效、佔用記憶體少、但是String還是有額外資訊的消耗,比如之前用String表示id,那麼現在完全可以用數字型別的int,來進行替代(注:id不要用常用的uuid,因為無法轉成int,就用自增型別的int型別的id即可)