簡單說明：

本博文不面向Oracle行列轉換零基礎的筒子，這是一個高階列轉行之後的報表例項：
有張表存在冗餘資料
  id1,url1
  id2,url1&url2&url3&url3&url2...
  id3,url1&url2&url3&url3&url2...
  id4,url1&url4&url5&url5...
現在要根據url進行記錄濾重，將重複出現的url對應的id查出來拼接在一起
url是不確定的，可能有上萬個url甚至更多，一條記錄中的url可能存在重複，相鄰的記錄之間的url可能是完全重複的
 

準備測試資料：

create table id_urls(id number,urls varchar2(255));
set define off
insert into ID_URLS values(1,'URL1');
insert into ID_URLS values(2,'URL1');
insert into ID_URLS values(3,'URL1&URL2&URL3');
insert into ID_URLS values(4,'URL1&URL2&URL3');
insert into ID_URLS values(5,'URL2&URL3&URL2'
 
);
insert into ID_URLS values(6,'URL2&URL3&URL2');
insert into ID_URLS values(7,'URL6&URL7&URL8&URL9&URL0');
insert into ID_URLS values(8,'URL10');
commit;
set define on

查詢推導過程：

1° 將URL替換為空，檢視該欄位最多有幾個URL

select regexp_replace(urls, '[^&]+', '') from ID_URLS;
select length(regexp_replace(urls, '[^&]+'
 
, '')) from ID_URLS;
select max(length(regexp_replace(urls, '[^&]+', ''))) + 1 as max_len from ID_URLS;
-- 最大數量至少要加1，如果URL數量最多的記錄以分隔符&為行尾，加1會導致最大URL個數比實際個數大1
-- 求出來的最大URL個數是做記錄笛卡爾積的依據
-- 比如當前記錄只有一個URL，最大URL個數為10個，那麼該行記錄會笛卡爾積10次
-- 然後將10次笛卡爾積的結果集根據&符切分出第1組到第10組，會切出9組空記錄，濾空即可解決
-- 如果求出的最大URL個數比實際小的話，則會造成切分時丟失資料
-- 比如當前記錄有10個URL，但是求出的最大URL個數為5，那麼該記錄只會笛卡爾積5次
-- 然後將5次笛卡爾積的結果集根據&符切分出第1組到第5組，就會丟失5組資料
-- 因此求出的最大URL個數比實際個數大是可以的，小是不行的
-- 只有判斷表中所有記錄包含或者不包含以&分隔符結尾的情況才能得出正好相等的最大URL個數

2° 如果要將所有的URL做列傳行的還原，至少需要每條記錄重複max_len次

with max_length as
 (select max(length(regexp_replace(urls, '[^&]+', ''))) + 1 as max_len from ID_URLS)
select level as lvl from dual connect by level <= (select max_len from max_length);

3° 每條記錄都重複max_len次，列傳行切出來所有的URL

with max_length as
  (select max(length(regexp_replace(urls, '[^&]+', ''))) + 1  as max_len from ID_URLS),
repeat as
  (select level as lvl from dual connect by level <= (select max_len from max_length))
select id,regexp_substr(urls,'[^&]+',1,lvl) as single_url from ID_URLS,repeat order by id;

4° 因為並不是所有的記錄的URL都有max_len個，所以存在URL為空的記錄，過濾掉

with max_length as
  (select max(length(regexp_replace(urls, '[^&]+', ''))) + 1  as max_len from ID_URLS),
repeat as
  (select level as lvl from dual connect by level <= (select max_len from max_length)),
cut_url as
  (select id,regexp_substr(urls,'[^&]+',1,lvl) as single_url from ID_URLS,repeat)
select id, single_url from cut_url where single_url is not null order  by id;

5° 因為同一條記錄的URL有可能存在重複，因此需要濾重

with max_length as
  (select max(length(regexp_replace(urls, '[^&]+', ''))) + 1  as max_len from ID_URLS),
repeat as
  (select level as lvl from dual connect by level <= (select max_len from max_length)),
cut_url as
  (select id,regexp_substr(urls,'[^&]+',1,lvl) as single_url from ID_URLS,repeat)
select distinct id, single_url from cut_url where single_url is not null order  by id;

6° 檢視一下有多少URL重複，每個URL重複了多少次

with max_length as
  (select max(length(regexp_replace(urls, '[^&]+', ''))) + 1  as max_len from ID_URLS),
repeat as
  (select level as lvl from dual connect by level <= (select max_len from max_length)),
cut_url as
  (select id,regexp_substr(urls,'[^&]+',1,lvl) as single_url from ID_URLS,repeat),
distinct_record as
  (select distinct id, single_url from cut_url where single_url is not null order  by id)
select single_url,count(*) from distinct_record where single_url is not null group by single_url having count(*)>1;

7° 將重複的URL對應的ID拼接在一起，丟到需求人臉上

with max_length as
  (select max(length(regexp_replace(urls, '[^&]+', ''))) + 1  as max_len from ID_URLS),
repeat as
  (select level as lvl from dual connect by level <= (select max_len from max_length)),
cut_url as
  (select id,regexp_substr(urls,'[^&]+',1,lvl) as single_url from ID_URLS,repeat),
distinct_record as
  (select distinct id, single_url from cut_url where single_url is not null order  by id)
select single_url,to_char(wm_concat(id)) from distinct_record where single_url is not null group by single_url having count(*)>1;

收尾：

需求產生原因：

這是一個真實的生產需求，該表存的URL是圖片URL
使用者前臺頁面上傳圖片，一次上傳的圖片可能是多個
圖片上傳到第三方，第三方將上傳的圖片儲存的URL返回給後臺
因為網路原因或者第三方的BUG，造成多次將使用者的一次上傳行為返回給後臺
且返回資訊中的圖片URL存在重複
後臺未做處理直接將這些圖片URL入庫，造成了本次需求的產生

解決辦法：

後臺將收到的圖片URL存入Redis，一個圖片URL存一個KEY，一分鐘超時
當收到圖片URL時檢索Redis中的當前一分鐘內的圖片URL，如果存在則不再重複入庫
如果不存在，新建該圖片URL的KEY，設定一分鐘超時，入庫

題外話：

從解決辦法上可以明顯看出鍋到底是誰的
該難度的SQL業務開發無法寫出(他們少點BUG就謝天謝地了)
普通的維護向DBA無法寫出，專司BI報表的DBA或SQL開發能夠寫出
但是作為DBA，應當追求熟練揉捏手中資料的能力

[TOC]