2. 程式人生 > 其它 >【INDEX】Postgresql索引介紹

【INDEX】Postgresql索引介紹

阿新 • • 發佈：2021-09-05

索引訪問方法介紹

支援的索引

  1. mydb=# select * from pg_am;
  2. oid | amname | amhandler | amtype
  3. ------+--------+----------------------+--------
  4. 2 | heap | heap_tableam_handler | t
  5. 403 | btree | bthandler | i
  6. 405 | hash | hashhandler | i
  7. 783 | gist | gisthandler | i
  8. 2742 | gin | ginhandler | i
  9. 4000 | spgist | spghandler | i
  10. 3580 | brin | brinhandler | i
  11. (7 rows)

索引屬性

  • 訪問方法屬性—pg_indexam_has_property
  • 特定索引的屬性—pg_index_has_property
  • 索引中各列的屬性—pg_index_column_has_property
訪問方法屬性中的四種類型
  • can_order: 訪問方法能夠在建立索引時指定值的排序順序（僅適用於“ btree”）
  • can_unique:支援唯一約束和主鍵，適用於btree
  • can_multi_col:可以在多列建立索引
  • can_exclude:支援排它約束
  1. select a.amname, p.name, pg_indexam_has_property(a.oid,p.name)
  2. from pg_am a,
  3. unnest(array['can_order','can_unique','can_multi_col','can_exclude']) p(name)
  4. where a.amname = 'btree'
  5. order by a.amname;
  7. amname | name | pg_indexam_has_property
  8. --------+---------------+-------------------------
  9. btree | can_order | t
  10. btree | can_unique | t
  11. btree | can_multi_col | t
  12. btree | can_exclude | t
  13. (4 rows)
特定索引屬性
  • clusterable:可以根據索引對行進行重新排序（對其進行cluster操作）
  • index_scan:支援索引掃描。儘管此屬性可能看起來很奇怪，但並非所有索引都能一次返回TID-有些返回結果一次全部返回，並且僅支援點陣圖掃描
  • bitmap_scan: 支援點陣圖掃描
  • backward_scan：可以按建立索引時指定的相反順序返回結果

clusterable:可以根據索引對錶的行重新排序,直接使用cluster命令，語法如下:

  1. mydb=# \h cluster
  2. Command: CLUSTER
  3. Description: cluster a table according to an index
  4. Syntax:
  5. CLUSTER [VERBOSE] table_name [ USING index_name ]
  6. CLUSTER [VERBOSE]
  8. URL: https://www.postgresql.org/docs/13/sql-cluster.html
列屬性
  • asc，desc，nulls_first，nulls_last，orderable：這些屬性與值的排序有關，只有btree索引支援排序
  • distance_orderable:可以按照操作確定的排序順序返回結果（到目前為止僅適用於GiST和RUM索引）
  • returnable：在不訪問表的情況下使用索引的可能性，即僅索引掃描的支援
  • search_array：支援使用表示式搜尋多個值。
  • search_nulls：通過IS NULL和IS NOT NULL條件進行搜尋的可能性。
  1. select p.name,
  2. pg_index_column_has_property('tbl_a_pkey'::regclass,1,p.name)
  3. from unnest(array[
  4. 'asc','desc','nulls_first','nulls_last','orderable','distance_orderable','returnable','search_array','search_nulls']) p(name);
  6. name | pg_index_column_has_property
  7. --------------------+------------------------------
  8. asc | t
  9. desc | f
  10. nulls_first | f
  11. nulls_last | t
  12. orderable | t
  13. distance_orderable | f
  14. returnable | t
  15. search_array | t
  16. search_nulls | t
  17. (9 rows)

操作符類和操作符族

除了需要知道各種操作方法相關的屬性之外，我們還需要知道各種不同的操作方法分別支援哪些資料型別和哪些運算子。pg中提供了操作符類和操作符族的概念。

操作符類包含用於索引的最小運算子集（可能還有輔助函式），以操作某種資料型別。

某些操作符族中包括一個操作符類別。此外，如果一個通用的運算子族具有相同的語義，則它們可以包含多個運算子類。例如，integer_ops系列包括型別bigint，integer和smallint的int8_ops，int4_ops和int2_ops類，它們的大小不同但含義相同

可操作的型別
  1. --如整型和日期為例
  2. select opfname, opcname, opcintype::regtype
  3. from pg_opclass opc, pg_opfamily opf
  4. where opf.opfname = 'integer_ops'
  5. and opc.opcfamily = opf.oid
  6. and opf.opfmethod = (
  7. select oid from pg_am where amname = 'btree'
  8. );
  9. opfname | opcname | opcintype
  10. -------------+----------+-----------
  11. integer_ops | int2_ops | smallint
  12. integer_ops | int4_ops | integer
  13. integer_ops | int8_ops | bigint
  14. (3 rows)
  16. --datetime_ops系列包含用於操作日期（有時間和無時間）的運算子類：
  18. select opfname, opcname, opcintype::regtype
  19. from pg_opclass opc, pg_opfamily opf
  20. where opf.opfname = 'datetime_ops'
  21. and opc.opcfamily = opf.oid
  22. and opf.opfmethod = (
  23. select oid from pg_am where amname = 'btree'
  24. );
  25. opfname | opcname | opcintype
  26. --------------+-----------------+-----------------------------
  27. datetime_ops | date_ops | date
  28. datetime_ops | timestamptz_ops | timestamp with time zone
  29. datetime_ops | timestamp_ops | timestamp without time zone
  30. (3 rows)

運算子族還可以包括其他運算子，以比較不同型別的值。分組到族中使計劃者可以將具有不同型別值的謂詞使用索引。一個族還可以包含其他輔助功能。
在大多數情況下，我們不需要了解操作員的族和類。通常，我們只建立索引，預設情況下使用某個運算子類。

但是，我們可以顯式指定運算子類。這是當需要顯式規範時的一個簡單示例：==在排序規則不同於C的資料庫中，常規索引不支援LIKE操作：==

  1. explain select * from t where b like 'A%';
  2. --這種情況我們就可以通過使用操作符類 text_pattern_ops建立索引來克服此限制：
  3. create index on t(b text_pattern_ops);

我們可以通過查詢這些系統目錄解決很多問題，例如：某種訪問方法可以操縱哪些資料型別:

btree方法可以操作以下資料型別

  1. select opcname, opcintype::regtype
  2. from pg_opclass
  3. where opcmethod = (select oid from pg_am where amname = 'btree')
  4. order by opcintype::regtype::text;
  5. opcname | opcintype
  6. ---------------------+-----------------------------
  7. array_ops | anyarray
  8. enum_ops | anyenum
  9. range_ops | anyrange
  10. int8_ops | bigint
  11. bit_ops | bit
  12. varbit_ops | bit varying
  13. bool_ops | boolean
  14. bytea_ops | bytea
  15. char_ops | "char"
  16. bpchar_pattern_ops | character
  17. bpchar_ops | character
  18. date_ops | date
  19. float8_ops | double precision
  20. cidr_ops | inet
  21. inet_ops | inet
  22. int4_ops | integer
  23. interval_ops | interval
  24. jsonb_ops | jsonb
  25. macaddr_ops | macaddr
  26. macaddr8_ops | macaddr8
  27. money_ops | money
  28. name_ops | name
  29. numeric_ops | numeric
  30. oid_ops | oid
  31. oidvector_ops | oidvector
  32. pg_lsn_ops | pg_lsn
  33. float4_ops | real
  34. record_image_ops | record
  35. record_ops | record
  36. int2_ops | smallint
  37. varchar_pattern_ops | text
  38. text_ops | text
  39. varchar_ops | text
  40. text_pattern_ops | text
  41. tid_ops | tid
  42. timestamp_ops | timestamp without time zone
  43. timestamptz_ops | timestamp with time zone
  44. time_ops | time without time zone
  45. timetz_ops | time with time zone
  46. tsquery_ops | tsquery
  47. tsvector_ops | tsvector
  48. uuid_ops | uuid
  49. xid8_ops | xid8
  50. (43 rows)

運算子類包含哪些運算子

  1. select amop.amopopr::regoperator
  2. from pg_opclass opc, pg_opfamily opf, pg_am am, pg_amop amop
  3. where opc.opcname = 'array_ops'
  4. and opf.oid = opc.opcfamily
  5. and am.oid = opf.opfmethod
  6. and amop.amopfamily = opc.opcfamily
  7. and am.amname = 'btree'
  8. and amop.amoplefttype = opc.opcintype;
  9. amopopr
  10. -----------------------
  11. <(anyarray,anyarray)
  12. <=(anyarray,anyarray)
  13. =(anyarray,anyarray)
  14. >=(anyarray,anyarray)
  15. >(anyarray,anyarray)
  16. (5 rows)

相關資料字典

資料字典描述
pg_proc procedure
pg_operator operator
pg_amop access method’s operator
pg_opfamily operator family
pg_amproc access method’s support procedure
pg_type datatype
pg_opclass operator class
pg_am access method

索引支援的新資料型別

  1. --建立一個新的組合型別
  2. create type complex as (re float, im float);
  4. --建立表
  5. create table t1(x complex);
  6. insert into t1 values ((0.0, 10.0)), ((1.0, 3.0)), ((1.0, 1.0));
  7. insert into t1 values((1.0,2.0)),((2.0,2.0));

預設情況，對於組合型別排序是分開的，先比較第一個欄位再比較第二個，也可以通過其他方式排序。

  1. --建立相關函式
  2. create function modulus(a complex) returns float as $$
  3. select sqrt(a.re*a.re + a.im*a.im);
  4. $$ immutable language sql;
  6. --定義5種操作符函式：
  7. create function complex_lt(a complex, b complex) returns boolean as $$
  8. select modulus(a) < modulus(b);
  9. $$ immutable language sql;
  11. create function complex_le(a complex, b complex) returns boolean as $$
  12. select modulus(a) <= modulus(b);
  13. $$ immutable language sql;
  15. create function complex_eq(a complex, b complex) returns boolean as $$
  16. select modulus(a) = modulus(b);
  17. $$ immutable language sql;
  19. create function complex_ge(a complex, b complex) returns boolean as $$
  20. select modulus(a) >= modulus(b);
  21. $$ immutable language sql;
  23. create function complex_gt(a complex, b complex) returns boolean as $$
  24. select modulus(a) > modulus(b);
  25. $$ immutable language sql;

建立對應的操作符

  1. create operator #<#(leftarg=complex, rightarg=complex, procedure=complex_lt);
  3. create operator #<=#(leftarg=complex, rightarg=complex, procedure=complex_le);
  5. create operator #=#(leftarg=complex, rightarg=complex, procedure=complex_eq);
  7. create operator #>=#(leftarg=complex, rightarg=complex, procedure=complex_ge);
  9. create operator #>#(leftarg=complex, rightarg=complex, procedure=complex_gt);
  11. --比較數字
  12. select (1.0,1.0)::complex #<# (1.0,3.0)::complex;

除了整個5個操作符，還需要定義函式：小於返回-1；等於返回0；大於返回1。其他訪問方法可能需要定義其他函式

  1. create function complex_cmp(a complex, b complex) returns integer as $$
  2. select case when modulus(a) < modulus(b) then -1
  3. when modulus(a) > modulus(b) then 1
  4. else 0
  5. end; $$ language sql;

建立一個操作符類

  1. create operator class complex_ops
  2. default for type complex
  3. using btree as
  4. operator 1 #<#,
  5. operator 2 #<=#,
  6. operator 3 #=#,
  7. operator 4 #>=#,
  8. operator 5 #>#,
  9. function 1 complex_cmp(complex,complex);
  11. --檢視排序結構
  12. mydb=# select * from t1 order by x;
  13. x
  14. --------
  15. (1,1)
  16. (1,3)
  17. (0,10)
  18. (3 rows)
  20. --檢視可以使用此查詢獲取支援的函式：
  21. select amp.amprocnum,
  22. amp.amproc,
  23. amp.amproclefttype::regtype,
  24. amp.amprocrighttype::regtype
  25. from pg_opfamily opf,
  26. pg_am am,
  27. pg_amproc amp
  28. where opf.opfname = 'complex_ops'
  29. and opf.opfmethod = am.oid
  30. and am.amname = 'btree'
  31. and amp.amprocfamily = opf.oid;
  33. amprocnum | amproc | amproclefttype | amprocrighttype
  34. -----------+-------------+----------------+-----------------
  35. 1 | complex_cmp | complex | complex
  36. (1 row)

管理操作符

  1. --檢視 操作符 和操作符類
  2. select * from pg_operator;
  3. select * from pg_opclass;
  5. --檢視操作符型別
  6. select o.oid,o.oprname,
  7. (select t.typname from pg_type t
  8. where o.oprleft=t.oid) as oprleft,
  9. (select t.typname from pg_type t
  10. where o.oprright=t.oid) as oprright
  11. from pg_operator o where o.oprname like '#%#';
  13. --刪除操作符
  14. drop operator #<# (complex,complex);
  15. --刪除操作類
  16. DROP OPERATOR CLASS complex_ops using btree;
  18. --刪除函式
  19. select * from pg_proc where proname like 'com%';
  20. drop function function_name;

參考資料

BTREE索引

重要特徵

  • B樹是平衡的
  • B樹是多分支的，即每個頁面（通常為8 KB）包含許多（數百個）ctid。因此，B樹的深度很小，對於非常大的表，實際上可以達到4–5的深度。
  • 索引中的資料按非遞減順序排序，（在頁面之間和每個頁面內部），並且同一級別的頁面通過雙向列表相互連線。因此，我們可以僅通過列表的一個方向或另一個方向獲得有序資料集，而不必每次都返回到根。

無論哪種掃描型別(index scan、index only scan、bitmap scan)，使用btree索引都會返回有序的資料。所以，如果在排序列上存在索引，優化器會首先考慮是索引掃描，否則就是先順序掃描然後排序。

  1. create index idx_t1 on t1(c1 desc);
  2. --尤其組合索引 ，如果常用排序，可使用如下方法
  3. create index idx_t1 on t1(c1 desc,c2 asc);

空值

pg索引可以儲存空值，並支援按條件IS NULL和IS NOT NULL進行搜尋。

  1. explain select * from t1 where c1 is null;

在索引中null值儲存在索引的一端，取決於建立索引時指定nulls first還是nulls last。

如果查詢包括排序，則這一點很重要：如果SELECT命令在其ORDER BY子句中指定的NULL順序與構建索引指定的順序相同（NULLS FIRST或NULLS LAST），則可以使用索引，否則將無法使用索引。

在資料庫中null是無法和其它值進行比較的

內部結構

PostgreSQL的btree索引的演算法可以參考：src/backend/access/nbtree/README

其中PostgreSQL 的B-Tree索引頁分為幾種類別，我們可以通過btpo_flags的值去區分.

  1. meta page
  2. root page # btpo_flags=2
  3. branch page # btpo_flags=0
  4. leaf page # btpo_flags=1
  5. leaf&root page # btpo_flags=3
  7. --詳情見：src/include/access/nbtree.h
  8. /* Bits defined in btpo_flags */
  9. #define BTP_LEAF (1 << 0) /* leaf page, i.e. not internal page */
  10. #define BTP_ROOT (1 << 1) /* root page (has no parent) */
  11. #define BTP_DELETED (1 << 2) /* page has been deleted from tree */
  12. #define BTP_META (1 << 3) /* meta-page */
  13. #define BTP_HALF_DEAD (1 << 4) /* empty, but still in tree */
  14. #define BTP_SPLIT_END (1 << 5) /* rightmost page of split group */
  15. #define BTP_HAS_GARBAGE (1 << 6) /* page has LP_DEAD tuples */
  16. #define BTP_INCOMPLETE_SPLIT (1 << 7) /* right sibling's downlink is missing */

其中meta page和root page是必須有的，meta page需要一個頁來儲存，表示指向root page的page id。

隨著記錄數的增加，一個root page可能存不下所有的heap item，就會有leaf page，甚至branch page，甚至多層的branch page。

一共有幾層branch 和 leaf，就用btree page元資料的 level 來表示。

可以通過pageinspect外掛研究所以你內部結構

  • bt_metap(relname text)：返回record，bt_metap用來返回關於一個B樹索引元頁的資訊。
  • bt_page_stats(relname text, blkno int)：返回record，bt_page_stats返回有關
    B-樹索引單一頁面的總計資訊
  • bt_page_items(relname text, blkno int)：返回record，bt_page_items返回一個
    B-樹索引頁面上項的所有細節資訊

參考文件

HASH索引

雜湊表是根據鍵（Key）而直接訪問在記憶體儲存位置的資料結構。它通過計算一個關於鍵值的函式，將所需查詢的資料對映到表中一個位置來訪問記錄，這加快了查詢速度。這個對映函式稱做雜湊函式，存放記錄的陣列稱做雜湊表

索引結構

當插入索引時，讓我們計算鍵的雜湊函式。PostgreSQL中的雜湊函式總是返回integer型別，其範圍為2的32次方≈40億個值。儲存桶的數量最初等於2，然後根據資料大小動態增加。bucket編號可以使用位演算法從雜湊碼中計算出來。這是我們將放置ctid的bucket。

當搜尋索引時，我們計算鍵的雜湊函式並獲取bucket編號。現在，仍然需要遍歷bucket的內容，並僅返回具有適當雜湊碼的匹配ctid。由於儲存的“hash code - ctid”對是有序的，因此可以高效地完成此操作。

雜湊索引包含4種頁：meta page, primary bucket page, overflow page, bitmap page

  • metapage（0號頁）,包含了HASH索引的控制資訊，指導如何找到其他頁面（每個bucket的primary page），以及當前儲存概貌。其他索引的0號頁基本都是這一個套路。
  • primary bucket page，hash index將儲存劃分為多個bucket（邏輯概念），每個bucket中包含若干page（每個bucket的page數量不需要一致），當插入資料時，根據計算得到的雜湊，通過對映演算法，對映到某個bucket，也就是說資料首先知道應該插入哪個bucket中，然後插入bucket中的primary
    page，如果primary page空間不足時，會擴充套件overflow page，資料寫入overflow page。在page中，資料是有序儲存（TREE），page內支援二分查詢(binary search)，而page與page之間是不保證順序的，所以hash index不支援order by。
  • overflow page，是bucket裡面的頁，當primary page沒有足夠空間時，擴充套件的塊稱為overflow page
  • bimap page，記錄primary , overflow page是否為空可以被重用

注意bucket, page都沒有提供收縮功能，即無法從OS中收縮空間，但是提供了reuse(通過bitmap page跟蹤），如果想要減小索引大小的唯一辦法就是使用REINDEX或VACUUM FULL命令從頭開始重建索引

總結

hash索引介紹：
src/backend/access/hash/README

使用場景：

  • 1、等值查詢；
  • 2、btree索引不支援的大欄位型別。

使用限制：

    • 1、不支援對null的處理；
    • 2、不能使用index only scan；
    • 3、不支援多列索引。

相關推薦

【INDEX】Postgresql索引介紹

索引訪問方法介紹 支援的索引 mydb=# select * from pg_am; oid | amname | amhandler | amtype

【INDEX】Oracle分割槽索引技術詳解

環境準備 建立分割槽表 --建立表結構 CREATE TABLE sf2021 ( sf_id int NOT NULL, sf_name varchar2(40) NOT NULL,

postgreSQL索引介紹

疫情期間應朋友的要求做了兩個分享，主要的PPT內容如下，詳細瞭解直接聯絡我 [email protected]。

【筆記】springCloud--nacos介紹----啟動報錯解決方案

Nacos介紹 · 歡迎來到 Nacos 的世界！ · Nacos 致力於幫助您發現、配置和管理微服務。Nacos 提供了一組簡單易用的特性集，幫助您快速實現動態服務發現、服務配置、服務元資料及流量管理。

【ElasticSearch】線上索引重建

專案背景： 　　1.由於專案中存在舊索引設定不合理情況，需要進行索引重建

【轉】mysql索引型別

原文：https://www.cnblogs.com/luyucheng/p/6289714.html ------------------------------------- 一、簡介

【轉】docker images 介紹

原文：https://www.cnblogs.com/ylqh/p/10600700.html ----------------------------------------------- 映象是動態的容器的靜態表示，包括容器所要執行的應用程式碼以及執行時的配置。Docker映象包括一個或者多個

【轉】CAN匯流排介紹

概述 CAN（Controller Area Network）即控制器區域網，是一種能夠實現分散式實時控制的序列通訊網路。

【轉載】Ajax入門介紹

AJAX入門介紹 在我們平時的開發過程中，經常使用到Ajax資料互動，相信有很大一部分人會使用，可能沒太詳細瞭解過Ajax的工作原理。下面我們一起看一下吧！

【Mysql】覆蓋索引

覆蓋索引 如果一個索引包含（或者覆蓋）所有需要查詢的欄位值，我們就稱之為“覆蓋索引”

【譯文】BFF模式介紹

原文連結：傳送門。 想象下這個場景：你需要使用微服務架構來構建一個電子商務應用。你會有一些微服務來服務於顧客，訂單，產品，購物車，等等。這些微服務會暴露被前端系統消費的各種API。

【轉】PostgreSQL表膨脹的前世今生

轉發：PostgreSQL表膨脹的前世今生 當你的資料庫快速增長的時候，一定需要注意一件事，那就是“表膨脹”。內建的方法是使用VACUUM或者VACUUMFULL來解決表膨脹問題，但是有一些缺點。

【Hypixel】Skyblock基礎介紹之位置

注：本文撰寫於0.12.3（M7）版本 官方漢化組可能無相關譯名，部分為我自翻 新人寫專欄，若有遺漏或錯誤，請指出

【學習筆記】PostgreSQL進階技巧之別名、索引、日期時間和自增

這一節主要包括以下內容： 別名 索引 日期和時間函式 自增 一、別名 說明： 別名(Alias)用於為列或表提供臨時名稱。通常來說，當您執行自聯接時，會建立一個臨時表.

Elasticsearch 之 基礎介紹及索引原理分析 【轉】

基本概念 Elasticsearch是面向文件型資料庫，一條資料就是一個文件，用JSO作為文件序列化的格式，比如下面的使用者資料。

【轉載】ES 寫入資料的工作原理是什麼啊？ES 查詢資料的工作原理是什麼啊？底層的 Lucene 介紹一下唄？倒排索引瞭解嗎？

面試題 ES 寫入資料的工作原理是什麼啊？ES 查詢資料的工作原理是什麼啊？底層的 Lucene 介紹一下唄？倒排索引瞭解嗎？

【mysql優化系列】分割槽和索引介紹和優化案例

1. 索引和分割槽 分割槽和索引作為一個常見的資料庫效率提高手段。本文基於實際場景進行簡單的分析和整理。

【LeetCode】724. Find Pivot Index 尋找陣列的中心索引（Easy）（JAVA）每日一題

技術標籤：LeetCode 每日一題leetcodejava演算法資料結構面試 【LeetCode】724. Find Pivot Index 尋找陣列的中心索引（Easy）（JAVA）

【TcaplusDB知識庫】TcaplusDB本地索引介紹

【TcaplusDB知識庫】TcaplusDB本地索引介紹 索引說明 TcaplusDB支援兩種形式的索引：本地索引和全域性索引。

深入瞭解Netty【一】BIO、NIO、AIO簡單介紹

引言 在Java中提供了三種IO模型：BIO、NIO、AIO，模型的選擇決定了程式通訊的效能。