系統技術非業餘研究 » Linux下pipe使用注意事項
Linux下的pipe使用非常廣泛, shell本身就大量用pipe來粘合生產者和消費者的. 我們的伺服器程式通常會用pipe來做執行緒間的ipc通訊. 由於unix下的任何東西都是檔案,只要是檔案,在讀取的時候,,就會設定last access time, 所以pipe也不例外., 但是這個時間對我們沒有意義 如果pipe使用的非常頻繁的時候會碰到由於設定訪問時間導致的效能問題. 這個開銷遠比pipe讀寫的本身開銷大. 相比檔案讀寫的開銷, atime微不足道,但是對pipe來講就不同了.
這個事情是上次和多隆同學在把玩他的網路框架的時候,無意發現的.
我們來分析下pipe的這部分程式碼:
//pipe.c:L349 static ssize_t pipe_read(struct kiocb *iocb, const struct iovec *_iov, unsigned long nr_segs, loff_t pos) { ... if (ret > 0) file_accessed(filp); return ret; }
我們可以看到在pipe讀的時候要設定 file_accessed時間的,接著:
//fs.h:L1761 extern void touch_atime(struct vfsmount *mnt, struct dentry *dentry); static inline void file_accessed(struct file *file) { if (!(file->f_flags & O_NOATIME)) touch_atime(file->f_path.mnt, file->f_path.dentry); }
如果檔案沒設定 O_NOATIME就真正動手設定atime,接著:
//inode.c:L1493 void touch_atime(struct vfsmount *mnt, struct dentry *dentry) { struct inode *inode = dentry->d_inode; struct timespec now; if (inode->i_flags & S_NOATIME) return; if (IS_NOATIME(inode)) return; if ((inode->i_sb->s_flags & MS_NODIRATIME) && S_ISDIR(inode->i_mode)) return; if (mnt->mnt_flags & MNT_NOATIME) return; if ((mnt->mnt_flags & MNT_NODIRATIME) && S_ISDIR(inode->i_mode)) return; now = current_fs_time(inode->i_sb); if (!relatime_need_update(mnt, inode, now)) return; if (timespec_equal(&inode->i_atime, &now)) return; if (mnt_want_write(mnt)) return; inode->i_atime = now; mark_inode_dirty_sync(inode); mnt_drop_write(mnt); }
我們可以看出上面的流程還是比較複雜的,開銷也很大.
我們來演示下:
$ cat > pipe_test.c #include <stdio.h> #include <stdlib.h> #include <unistd.h> #include <assert.h> #include <pthread.h> #include <fcntl.h> #include <sys/types.h> #include <sys/stat.h> #include <linux/unistd.h> static int fds[2]; static pthread_t rp; static void *rp_entry(void *arg) { char c[1]; while (1 == read(fds[0], c, 1)) { if (*c == 'Q') break; } fprintf(stderr, "pipe read ok\n"); return NULL; } int main(int argc, char *argv[]) { long i, n; int rc; if (argc < 2) { fprintf(stderr, "usage: pipe_test NNNNNN\n"); return -1; } n = atol(argv[1]); pipe(fds); //fcntl(fds[0], F_SETFL, O_NOATIME); pthread_create(&rp, NULL, rp_entry, NULL); fprintf(stderr, "pipe write %ld...", n); for (i = 0; i < n; i++) { write(fds[1], "A", 1); } write(fds[1], "Q", 1); fprintf(stderr, "ok\n"); pthread_join(rp, NULL); close(fds[0]); close(fds[1]); return 0; } CTRL+D $ gcc -D_GNU_SOURCE pipe_test.c -lpthread $ sudo opcontrol --setup --vmlinux=/usr/lib/debug/lib/modules/2.6.18-164.el5/vmlinux $ sudo opcontrol --init && sudo opcontrol --reset && sudo opcontrol --start $ ./a.out 10000000 pipe write 10000000...ok pipe read ok $ sudo opcontrol --shutdown $ opreport -l|less samples % app name symbol name 378654 92.7742 vmlinux .text.acpi_processor_idle 12978 3.1797 vmlinux current_fs_time 2530 0.6199 vmlinux thread_return 2345 0.5745 vmlinux touch_atime 2253 0.5520 vmlinux .text.acpi_safe_halt 1597 0.3913 vmlinux timespec_trunc 1368 0.3352 vmlinux file_update_time 1253 0.3070 vmlinux __mark_inode_dirty 901 0.2208 vmlinux pipe_writev 768 0.1882 vmlinux __mutex_lock_slowpath 763 0.1869 vmlinux try_to_wake_up 270 0.0662 vmlinux copy_user_generic_unrolled 254 0.0622 vmlinux acpi_set_register 254 0.0622 vmlinux system_call 233 0.0571 vmlinux pipe_readv 188 0.0461 vmlinux dnotify_parent 167 0.0409 vmlinux mutex_unlock ...
我們可以看到touch_atime的開銷很大,遠比pipe的讀寫大.
這次把這行註釋去掉: fcntl(fds[0], F_SETFL, O_NOATIME); 指示pipe在讀的時候不更新atime,看下效果:
$ opreport -l|less samples % app name symbol name 599018 95.2466 vmlinux .text.acpi_processor_idle 4140 0.6583 vmlinux .text.acpi_safe_halt 3281 0.5217 vmlinux thread_return 2812 0.4471 vmlinux current_fs_time 2615 0.4158 vmlinux file_update_time 1790 0.2846 vmlinux __mutex_lock_slowpath 1657 0.2635 vmlinux timespec_trunc 1341 0.2132 vmlinux try_to_wake_up 1281 0.2037 vmlinux mutex_unlock 1080 0.1717 vmlinux mutex_lock 1001 0.1592 vmlinux pipe_readv 925 0.1471 vmlinux pipe_writev
這下看不到touch_atime了,開銷省了,對於高效能伺服器是很重要的.
小結: 細節很重要,記得開檔案open的時候設定O_NOATIME或者用fcntl搞定它.
祝玩得開心!
Post Footer automatically generated by wp-posturl plugin for wordpress.
相關推薦
系統技術非業餘研究 » Linux下pipe使用注意事項
Linux下的pipe使用非常廣泛, shell本身就大量用pipe來粘合生產者和消費者的. 我們的伺服器程式通常會用pipe來做執行緒間的ipc通訊. 由於unix下的任何東西都是檔案,只要是檔案,在讀取的時候,,就會設定last access time, 所以pipe也不例外., 但是這個時間
系統技術非業餘研究 » Linux下新系統呼叫sync_file_range
我們在做資料庫程式或者IO密集型的程式的時候,通常在更新的時候,比如說資料庫程式,希望更新有一定的安全性,我們會在更新操作結束的時候呼叫fsync或者fdatasync來flush資料到持久裝置去。而且通常是以頁面為單位,16K一次或者4K一次。 安全性保證了,但是效能就有很大的損害。而且我們更新
系統技術非業餘研究 » Linux下方便的socket讀寫檢視器(socktop)
晚上 雕樑 說要找個工具來調查下unix域套接字的傳送和接受情況,比如說A程式是否送出,B程式是否接收到,他找了tcpdump ,wireshark什麼的,貌似都不支援。 這時候還是偉大的systemtap來救助了。 因為所有的socket通訊都是通過socket介面來的,任何family的通訊
系統技術非業餘研究 » Linux下誰在消耗我們的cache
Linux下對檔案的訪問和裝置的訪問通常會被cache起來加快訪問速度,這個是系統的預設行為。 而cache需要耗費我們的記憶體,雖然這個記憶體最後可以通過echo 3>/proc/sys/vm/drop_caches這樣的命令來主動釋放。但是有時候我們還是需要理解誰消耗了我們的記憶體。 我
系統技術非業餘研究 » Linux下誰在切換我們的程序
我們在做Linux伺服器的時候經常會需要知道誰在做程序切換,什麼原因需要做程序切換。 因為程序切換的代價很高,我給出一個LMbench測試出來的數字: Context switching – times in microseconds – smaller is better ———————————
系統技術非業餘研究 » Linux下pstack的實現
Linux下有時候我們需要知道一個程序在做什麼,比如說程式不正常的時候,他到底在幹嗎?最直接的方法就是打印出他所有執行緒的呼叫棧,這樣我們從棧再配合程式程式碼就知道程式在幹嗎了。 Linux下這個工具叫做pstack. 使用方法是 # pstack Usage: pstack <proce
系統技術非業餘研究 » Linux下試驗大頁面對映(MAP_HUGETLB)
Linux對大頁面記憶體的引入對減少TLB的失效效果不錯,特別是記憶體大而密集型的程式,比如說在資料庫中的使用。innodb引擎就支援大頁面記憶體,具體使用可參見 這裡。 大頁面更詳細的資料可以參考: Documentation/vm/hugetlbpage.txt 過去使用大頁面記憶體主要透過h
系統技術非業餘研究 » Linux下非同步IO(libaio)的使用以及效能
Linux下非同步IO是比較新的核心裡面才有的,非同步io的好處可以參考這裡. 但是文章中aio_*系列的呼叫是glibc提供的,是glibc用執行緒+阻塞呼叫來模擬的,效能很差,千萬千萬不要用。 我們今天要說的是真正的原生的非同步IO介面. 由於這幾個系統呼叫glibc沒有提供相應的封裝,所以l
系統技術非業餘研究 » Linux下Fio和Blktrace模擬塊裝置的訪問模式
我們在做塊裝置調優的時候, 我們關心的是塊裝置是如何被訪問的,也就是訪問模式(比如說每次從什麼地方讀,每次讀多少塊,熱點在哪裡等),至於每次讀寫的什麼資料我們並不關心. 這些模式當然可以自己去構造,但是如果能把真實應用的訪問模式記錄下來,並且在調優的時候能重放,我們就可以一遍又一遍的除錯直到達到最
系統技術非業餘研究 » Linux下方便的塊裝置檢視工具lsblk
之前在Linux下看有什麼塊裝置,通常都用fdisk什麼的或者直接ls /dev/ 人肉去看看, 很土,不方便。 前二天在江楓的網站上看到了介紹的lsblk,這玩意不錯,推薦給大家。 這個工具屬於util-linux-ng包,在RHEL 6.1上是安裝好的啦,直接用就好。 ubuntu高版本下也有
系統技術非業餘研究 » Linux下如何知道檔案被那個程序寫
晚上朔海同學問: 一個檔案正在被程序寫 我想檢視這個程序 檔案一直在增大 找不到誰在寫 使用lsof也沒找到 這個問題挺有普遍性的,解決方法應該很多,這裡我給大家提個比較直觀的方法。 linux下每個檔案都會在某個塊裝置上存放,當然也都有相應的inode, 那麼透過vfs.write我們就可以知道
系統技術非業餘研究 » Linux檔案預讀分析以及評估對系統的影響
Linux系統很重要的一個性能提升點就是它的Pagecache, 因為記憶體比IO快太多了,所以大家都想進辦法來利用這個cache。 檔案系統也不例外,為了達到高效能,檔案讀取通常採用預讀來預測使用者的行為,把使用者可能需要的資料預先讀取到cache去,達到高效能的目的。 Linux各個發行版re
系統技術非業餘研究 » Linux快取記憶體使用率調查
Linux的快取記憶體pagecache對效能的影響至關重要,但是實際系統中我們的利用率如何呢,特別是具體到每個裝置的利用情況。 從下圖我們可以很清楚的看到: 我們知道IO請求由vfs發起,經過pagecache快取,擋不住的就落實到io裝置去,那麼統計這個利用率就很簡單。 我們只要知道擋不住的
系統技術非業餘研究 » Linux系統記憶體相關資訊獲取
大型的伺服器,特別是資料庫伺服器的主要瓶頸主要在記憶體,CPU,以及IO上。CPU是可再生資源,不夠用等等就有了;記憶體和土地一樣是不可再生資源,被佔用了,後續的使用必須等到該資源釋放.而IO也非常依賴於記憶體的使用情況,故記憶體的倒騰效率會大大影響伺服器的效率,那麼瞭解伺服器記憶體的使用情況就非
系統技術非業餘研究 » Linux 2.6.38 User
Linux核心裡面自帶非常多的加密模組,這是模組經過調優效能非常高, 而且現在又很多硬體本身支援加密功能,比如intel的CPU支援AES加密指令,那些核心的那幫人知道更好如何利用這些硬體更快的完成加密功能的, 他們寫的這些硬體的驅動在drivers/crypto目錄裡. 所以如果我們能在使用者
系統技術非業餘研究 » Linux IO協議棧框圖
這張圖很清晰的把linux IO協議棧的層次給勾出來了,而且內容很與時俱進,特別是SCSI裝置的層次對大家理解sg3這樣的包非常有幫助,強烈推薦大家好好研習! 祝玩得開心! Post Footer automatically generated by wp-posturl plugin fo
系統技術非業餘研究 » Linux TASK_IO_ACCOUNTING功能以及如何使用
在過去我們瞭解系統IO的情況大多數是通過iostat來獲取的,這個粒度只能精確到每個裝置。通常我們會想了解每個程序,執行緒層面發起了多少IO,在Linux 2.6.20之前除了用systemtap這樣的工具來實現是沒有其他方法的,因為系統沒有暴露這方面的統計。 disktop per裝置per應用
系統技術非業餘研究 » Linux Used記憶體到底哪裡去了?
前幾天 純上 同學問了一個問題: 我ps aux看到的RSS記憶體只有不到30M,但是free看到記憶體卻已經使用了7,8G了,已經開始swap了,請問ps aux的實際實體記憶體統計是不是漏了哪些記憶體沒算?我有什麼辦法確定free中used的記憶體都去哪兒了呢? 這個問題不止一個同學遇到過了
系統技術非業餘研究 » Linux常用效能調優工具索引
霸爺您好,麻煩請教個問題,我們最近一個專案上有個奇怪的問題,基於實時linux系統,兩個實時執行緒通過mq_send傳送訊息,A發訊息給B,是非阻塞的訊息佇列,A傳送訊息B進行處理,A傳送訊息後發現mq_send的開銷與B對該訊息的處理時延相關,也就是說B處理的快,那麼A呼叫的mq_send返回
系統技術非業餘研究 » nmon(Linux下很好用的效能監測工具)介紹
The nmon tool is designed for AIX and Linux performance specialists to use for monitoring and analyzing performance data, including: * CPU utiliz