1. 程式人生 > >一些好的思想(解決問題的方法)

一些好的思想(解決問題的方法)

1,當時做fzyc時,需要計算一些周邊區域的指標,最初的通過for迴圈來找到該區域的周邊區域進行計算,但是在spark中使用for迴圈效率很低,而且總是感覺很彆扭,這時,我們小組長提出了一個想法,直接通過spark計算,該區域發生一次事件,就在它周邊所有區域上加一個數值,最後在進行合併,這樣就避免使用for迴圈;
2,大數量的比對,提供一種思想,寫入臨時表,然後通過聯合查詢sql在資料庫中完成;
3,quartz分散式部署問題,當專案通過Nginx負載均衡分散式部署時,根據狀態讀取資料時,要注意資料重複性問題,這裡提出一種方案,就是將庫裡面的資料進行類似分片的操作,每個節點/伺服器只讀取指定的資料;