1. 程式人生 > >python的記憶體管理機制

python的記憶體管理機制

先從較淺的層面來說,Python的記憶體管理機制可以從三個方面來講

(1)垃圾回收

(2)引用計數

(3)記憶體池機制

一、垃圾回收:

python不像C++,Java等語言一樣,他們可以不用事先宣告變數型別而直接對變數進行賦值。對Python語言來講,物件的型別和記憶體都是在執行時確定的。這也是為什麼我們稱Python語言為動態型別的原因(這裡我們把動態型別可以簡單的歸結為對變數記憶體地址的分配是在執行時自動判斷變數型別並對變數進行賦值)。

二、引用計數:

Python採用了類似Windows核心物件一樣的方式來對記憶體進行管理。每一個物件,都維護這一個對指向該對物件的引用的計數。如圖所示(圖片來自Python核心程式設計)

x = 3.14

y = x

我們首先建立了一個物件3.14, 然後將這個浮點數物件的引用賦值給x,因為x是第一個引用,因此,這個浮點數物件的引用計數為1. 語句y = x建立了一個指向同一個物件的引用別名y,我們發現,並沒有為Y建立一個新的物件,而是將Y也指向了x指向的浮點數物件,使其引用計數為2.

我們可以很容易就證明上述的觀點:

 

變數a 和 變數b的id一致(我們可以將id值想象為C中變數的指標).

我們援引另一個網址的圖片來說明問題:對於C語言來講,我們建立一個變數A時就會為為該變數申請一個記憶體空間,並將變數值 放入該空間中,當將該變數賦給另一變數B時會為B申請一個新的記憶體空間,並將變數值放入到B的記憶體空間中,這也是為什麼A和B的指標不一致的原因。如圖:

             

 int A = 1                       int A = 2

而Python的情況卻不一樣,實際上,Python的處理方式和Javascript有點類似,如圖所示,變數更像是附在物件上的標籤(和引用的定義類似)。當變數被繫結在一個物件上的時候,該變數的引用計數就是1,(還有另外一些情況也會導致變數引用計數的增加),系統會自動維護這些標籤,並定時掃描,當某標籤的引用計數變為0的時候,該對就會被回收。

                      

      a = 1                         a = 2                         b = a

 三、記憶體池機制

 

Python的記憶體機制以金字塔行,-1,-2層主要有作業系統進行操作,

  第0層是C中的malloc,free等記憶體分配和釋放函式進行操作;

  第1層和第2層是記憶體池,有Python的介面函式PyMem_Malloc函式實現,當物件小於256K時有該層直接分配記憶體;

  第3層是最上層,也就是我們對Python物件的直接操作;

在 C 中如果頻繁的呼叫 malloc 與 free 時,是會產生效能問題的.再加上頻繁的分配與釋放小塊的記憶體會產生記憶體碎片. Python 在這裡主要乾的工作有:

  如果請求分配的記憶體在1~256位元組之間就使用自己的記憶體管理系統,否則直接使用 malloc.

  這裡還是會呼叫 malloc 分配記憶體,但每次會分配一塊大小為256k的大塊記憶體.

  經由記憶體池登記的記憶體到最後還是會回收到記憶體池,並不會呼叫 C 的 free 釋放掉.以便下次使用.對於簡單的Python物件,例如數值、字串,元組(tuple不允許被更改)採用的是複製的方式(深拷貝?),也就是說當將另一個變數B賦值給變數A時,雖然A和B的記憶體空間仍然相同,但當A的值發生變化時,會重新給A分配空間,A和B的地址變得不再相同

而對於像字典(dict),列表(List)等,改變一個就會引起另一個的改變,也稱之為淺拷貝

附:

引用計數增加

1.物件被建立:x=4

2.另外的別人被建立:y=x

3.被作為引數傳遞給函式:foo(x)

4.作為容器物件的一個元素:a=[1,x,'33']

引用計數減少

1.一個本地引用離開了它的作用域。比如上面的foo(x)函式結束時,x指向的物件引用減1。

2.物件的別名被顯式的銷燬:del x ;或者del y

3.物件的一個別名被賦值給其他物件:x=789

4.物件從一個視窗物件中移除:myList.remove(x)

5.視窗物件本身被銷燬:del myList,或者視窗物件本身離開了作用域。

垃圾回收

1、當記憶體中有不再使用的部分時,垃圾收集器就會把他們清理掉。它會去檢查那些引用計數為0的物件,然後清除其在記憶體的空間。當然除了引用計數為0的會被清除,還有一種情況也會被垃圾收集器清掉:當兩個物件相互引用時,他們本身其他的引用已經為0了。

2、垃圾回收機制還有一個迴圈垃圾回收器, 確保釋放迴圈引用物件(a引用b, b引用a, 導致其引用計數永遠不為0)。

參考:

[1] Python 2.7.8 documentation memory management

[2]深入詳解python傳值問題及記憶體管理機制-CSDN

[3]Python記憶體池管理與緩衝池設計 - 張知臨的專欄

[4]理解python變數和記憶體管理 

相關推薦

python記憶體管理機制

python的記憶體管理機制:引用計數、垃圾回收、記憶體池機制 一 變數和物件 1、Python快取了整數和短字串,因此每個物件在記憶體中只存有一份,引用所指物件就是相同的,即使使用賦值語句,也只是

python深入之python記憶體管理機制(重點)

關於python的儲存問題 (1)由於python中萬物皆物件,所以python的儲存問題是物件的儲存問題,並且對於每個物件,python會分配一塊記憶體空間去儲存它 (2)對於整數和短小的字元等,python會執行快取機制,即將這些物件進行快取,不會為相同的物件分配多個

python 記憶體管理機制和調優手段詳解

今天和大家探討一下Python記憶體管理機制和調優手段.話不多說,直接上乾貨: 那麼Python的記憶體管理機制都有什麼呢?                1 . 引用計數                 2 . 垃圾回收                 3 . 記憶

python測試開發棧】python記憶體管理機制(一)—引用計數

什麼是記憶體 在開始進入正題之前,我們先來回憶下,計算機基礎原理的知識,為什麼需要記憶體。我們都知道計算機的CPU相當於人類的大腦,其運算速度非常的快,而我們平時寫的資料,比如:文件、程式碼等都是儲存在磁碟上的。磁碟的存取速度完全不能匹配cpu的運算速度,因此就需要一箇中間層來適配兩者的不對等,記憶體由此而來

python測試開發棧】—python記憶體管理機制(二)—垃圾回收

在上一篇文章中(python 記憶體管理機制—引用計數)中,我們介紹了python記憶體管理機制中的引用計數,python正是通過它來有效的管理記憶體。今天來介紹python的垃圾回收,其主要策略是引用計數為主,標記-清除和分代回收為輔助的策略(熟悉java的同學回回憶下,其實這和JVM的策略是有類似之處的)

Python記憶體管理機制-《原始碼解析》

### Python 記憶體管理分層架構 ```c++ /* An object allocator for Python. Here is an introduction to the layers of the Python memory architecture, showing whe

python記憶體管理機制和調優手段

python的記憶體管理機制和調優手段 記憶體管理機制 引用計數、垃圾回收、記憶體池 引用計數 引用計數是一種非常高效的記憶體管理手段,當一個python物件被引用時,其引用計數加1,當其不再被一個變數引用時則引用計數減1,當引用計數等於0時物件被刪除。 1. 引用計數

【淺析】Python記憶體管理機制

python的記憶體管理分為三個方面: 引用計數 垃圾回收 記憶體池機制 淺析引用計數 python內部使用引用計數,來保持追蹤記憶體中的物件,Python內部記錄了物件有多少個引用,即引用計數,當物件被建立時就建立了一個引用計數,當物件不再需要時,這個物件的引用計

Python記憶體管理機制及調優手段?

記憶體管理機制:引用計數、垃圾回收、記憶體池。 一、引用計數:     引用計數是一種非常高效的記憶體管理手段, 當一個 Python 物件被引用時其引用計數增加 1, 當其不再被一個變數引用時則計數減 1. 當引用計數等於 0 時物件被刪除。 二、垃圾回收 : 1. 引用計

Python記憶體管理機制

從三個方面來說;一、物件的引用計數機制; 二、垃圾回收機制; 三、記憶體池機制一、物件的引用計數機制Python內部使用引用計數,來保持追蹤記憶體中的物件,所有物件都有引用計數。引用計數增加的情況:1,一個物件分配一個新名稱2,將其放入一個容器中(如列表、元組或字典)引用計數

python記憶體管理機制

先從較淺的層面來說,Python的記憶體管理機制可以從三個方面來講 (1)垃圾回收 (2)引用計數 (3)記憶體池機制 一、垃圾回收: python不像C++,Java等語言一樣,他們可以不用事先宣告變數型別而直接對變數進行賦值。對Python語言來講,物件的型別和記憶體都是在執行時確定的。這也是為

Python記憶體管理機制

Python使用gc模組處理python物件以及python垃圾回收器的工作,完整的gc模組文件參考這裡。舉gc模組的幾個例子看一下: gc.enable()——可自動進行垃圾回收;gc.disable()——不可自動進行垃圾回收;gc.set_threshold()——

Python記憶體管理機制及調優手段?

記憶體管理機制:引用計數、垃圾回收、記憶體池。引用計數:         引用計數是一種垃圾收集機制,而且也是一種最直觀,最簡單的垃圾收集技術。當 Python 的某個物件的引用計數降為 0 時,說明沒有任何引用指向該物件,該物件就成為要被回收的垃圾了。比如某個新建物件,它被

Python記憶體管理機制(一 小記憶體塊的申請)

哈哈哈,看的有點兒興奮了,筆記下:       在Python的內部同時維護著巨集和記憶體管理函式兩種記憶體管理機制,巨集定義可以節省一次函式呼叫的開銷, 提高執行效率,但同時,使用巨集是危險的,因為隨著Python的演進,記憶體管理機制的實現可能會發生改變,因為巨集

Python深度探索(1):記憶體管理機制

任何程式語言都會有一個記憶體模型,以便管理為變數分配的記憶體空間。不同的程式語言,如C、C++、Java、C#,Python,它們的記憶體模型都是不相同的,本文將以現在最流行的Python語言為例,來說明動態型別語言的記憶體管理方式。   1. 重複使用記憶體空間   賦值語句是P

三、Java虛擬機器自動記憶體管理機制、物件建立及記憶體分配

  1、物件是如何建立: 步驟:    (1)、虛擬機器遇到new <類名>的指令---->根據new的引數是否在常量池中定位一個類的符號引用    (2)、檢測該符號引用代表的類是否已經被載入、解析、和初始化。(如果沒有則

自動記憶體管理機制(5)- 虛擬機器效能監控

自動記憶體管理機制(5)- 虛擬機器效能監控 0. 概述 在我們日常開發的專案中,有時經常會碰到以下問題: OOM(OutOfMemoryError),記憶體不足 記憶體洩漏 執行緒死鎖 Lock Contention,鎖爭用 Java程序消耗CP

自動記憶體管理機制(4)- 記憶體分配和回收策略

自動記憶體管理機制(4)- 記憶體分配和回收策略 Java所承諾的自動記憶體管理主要是針對物件記憶體的回收和物件記憶體的分配。 在Java虛擬機器的五塊記憶體空間中,程式計數器、Java虛擬機器棧、本地方法棧記憶體的分配和回收都具有確定性,一般在編譯階段就能確定需要分配的記憶體大小,

自動記憶體管理機制(3)-HotSpot垃圾收集器

自動記憶體管理機制(3)-HotSpot垃圾收集器 如果說收集演算法是記憶體回收的方法論,那麼垃圾收集器就是記憶體回收的具體實現。 這裡討論的收集器都是JDK1.7(包含JDK1.7)以後的HotSpot虛擬機器: 上半部屬於新生代收集器,下半部屬於老年代收集器。如果兩個收集器

自動記憶體管理機制(2)- 記憶體回收和垃圾收集演算法

自動記憶體管理機制(2)- 記憶體回收和垃圾收集演算法 1. 概述 首先思考三個問題: 哪些記憶體需要回收 什麼時候回收 如何回收 程式計數器、虛擬機器棧、本地方法棧是執行緒私有的,因此這幾個區域的記憶體分配和回收都具有確定性(執行緒結束時執行垃圾回