基因資料處理6之BWA_MEM無法分配記憶體
基因資料處理之BWA_MEM無法分配記憶體：
建立BWA索引的時候記憶體不足，現在用BWA-MEM又記憶體不足，真耗記憶體
昨天晚上跑的直接被killed......[email protected]:~/cloud/adam/xubo/data/data_HDFS/GRCH38/GCA_000001405.15_GRCh38/test20160310$ bwa mem GCA_000001405.15_GRCh38/GCA_000001405.15_GRCh38_full_analysis_set.fna SRR003161.fastq >SRR003161b.sam [bwt_restore_sa] Failed to allocate 1604728968 bytes at bwt.c line 436: Cannot allocate memory
之後截的：
14:24:47 memtot memfree buffers cached slabmem swptot swpfree _mem_
14:24:47 3944M 2442M 6M 56M 64M 6133M 2071M
14:24:48 3944M 2442M 7M 56M 64M 6133M 2071M
=>14:12:03 3944M 132M 10M 212M 68M 6133M 2478M 14:12:04 3944M 128M 10M 212M 68M 6133M 2478M 14:12:05 3944M 131M 10M 205M 68M 6133M 2478M 14:12:06 3944M 128M 10M 204M 68M 6133M 2479M 14:12:07 3944M 129M 10M 200M 68M 6133M 2479M 14:12:08 3944M 130M 10M 195M 68M 6133M 2479M 14:12:09 3944M 130M 10M 191M 68M 6133M 2479M 14:12:10 3944M 129M 10M 187M 68M 6133M 2479M 14:12:11 3944M 129M 10M 183M 68M 6133M 2479M 14:12:12 3944M 129M 10M 180M 68M 6133M 2479M 14:12:13 3944M 129M 10M 175M 68M 6133M 2479M 14:12:14 3944M 129M 10M 171M 68M 6133M 2479M 14:12:15 3944M 129M 10M 167M 68M 6133M 2479M 14:12:16 3944M 124M 10M 169M 68M 6133M 2479M 14:12:17 3944M 126M 10M 164M 68M 6133M 2480M 14:12:18 3944M 126M 10M 161M 68M 6133M 2480M 14:12:19 3944M 125M 10M 157M 68M 6133M 2480M 14:12:20 3944M 125M 10M 153M 68M 6133M 2480M 14:12:21 3944M 125M 10M 149M 68M 6133M 2480M 14:12:22 3944M 124M 10M 145M 68M 6133M 2480M 14:12:23 3944M 123M 10M 142M 68M 6133M 2480M 14:12:24 3944M 122M 10M 139M 68M 6133M 2480M 14:12:25 3944M 121M 10M 136M 68M 6133M 2480M 14:12:26 3944M 121M
14:21:04 3944M 130M 3M 13M 62M 6133M 1178M 14:21:05 3944M 134M 3M 15M 62M 6133M 1172M 14:21:06 3944M 121M 3M 23M 62M 6133M 1172M 14:21:07 3944M 110M 4M 29M 62M 6133M 1172M 14:21:08 3944M 113M 2M 23M 62M 6133M 1172M 14:21:09 3944M 115M 1M 15M 62M 6133M 1170M 14:21:10 3944M 116M 1M 16M 62M 6133M 1162M 14:21:11 3944M 123M 1M 15M 62M 6133M 1162M 14:21:12 3944M 105M 1M 25M 62M 6133M 1162M 14:21:13 3944M 130M 0M 16M 62M 6133M 1155M 14:21:14 3944M 131M 1M 17M 62M 6133M 1151M 14:21:15 3944M 137M 1M 18M 62M 6133M 1143M 14:21:16 3944M 140M 1M 19M 62M 6133M 1136M 14:21:17 3944M 147M 1M 21M 62M 6133M 1127M 14:21:18 3944M 145M 1M 23M 62M 6133M 1126M 14:21:19 3944M 2576M 2M 24M 62M 6133M 1975M 14:21:20 3944M 2575M 2M 25M 62M 6133M 1975M 14:21:21 3944M 2574M 3M 25M 63M 6133M 1975M 14:21:22 3944M 2573M 3M 26M 63M 6133M 1975M 14:21:23 3944M 2572M 3M 26M 63M 6133M 1975M 14:21:24 3944M 2570M 4M 27M 63M 6133M 1975M 14:21:25 3944M 2568M 4M 29M 63M 6133M 1975M
不是還有記憶體嗎？為什麼提示：？
[bwt_restore_sa] Failed to allocate 1604728968 bytes at bwt.c line 436: Cannot allocate memory
相關推薦
基因資料處理6之BWA_MEM無法分配記憶體
基因資料處理之BWA_MEM無法分配記憶體： 建立BWA索引的時候記憶體不足，現在用BWA-MEM又記憶體不足，真耗記憶體 [email protected]:~/cloud/
基因資料處理122之SSW和SparkSW評分不一致，query為Q9
基因資料處理系列 1.解釋 RT,但是順序一致 2.程式碼： [email protected]:~/disk2/xubo/project/alignment/SparkSW/SparkSW20161114/alluxio-1.3.
基因資料處理123之SSW程式碼不正確，到時比SparkSW時間長
基因資料處理系列 1.解釋 由於要生成新的score matrix：blosum50，第一次使用靜態方法，直接傳給align，到時每次執行都需要進行一次score matrix的計算，而這個是將blosum50的矩陣轉換成128*128的矩陣，當計算
基因資料處理114之BWA建立全基因組索引成功
執行記錄 [email protected]:~/disk2/home/hadoop/xubo/ref/buildIndex$ bwa index GCA_000001405.15_GRCh38_full_analysis_set.fna [bwa
基因資料處理119之java呼叫SSW在linux下執行
基因資料處理系列 1.解釋 測試自帶Example： [email protected]:~/xubo/tools/Complete-Striped-Smith-Waterman
基因資料處理120之scala呼叫SSW在linux下執行
基因資料處理系列 1.解釋 先有java提供轉換，使用jni呼叫c 然後scala呼叫java 2.程式碼： 2.1 java： package ssw; /** * Created by xubo on 2016/11/25.
基因資料處理117之重新多次執行SparkBWA Yarn叢集
基因資料處理系列 1.解釋 重新執行，跟換了檔案地址 後來終端，需要執行其他的 2.程式碼： [email protected]:~/disk2/xubo/project/alignment/sparkBWA$ vi sparkB
基因資料處理115之重新執行SparkBWA本地模式
基因資料處理系列 1.記錄 [email protected]:~/disk2/xubo/tools/SparkBWA/build$ ./pairedGRCH38L1Local.sh [Stage 3:>
基因資料處理113之對avocado識別的SparkBWA變異資料進行疾病分析_
（一）問題 問題1：avocado資料讀取： avocado存到磁碟是：RDD[Genotype] val processedGenotypes: RDD[Genotype] = postProcessVariants(calledVariants, st
基因資料處理118之SSW執行
基因資料處理系列 1.解釋 SSW是一個更快的SW演算法，並且提供了c語言lib和java的呼叫 程式碼： https://github.com/mengyao/Complete-Str
基因資料處理116之重新執行SparkBWA Yarn叢集模式
基因資料處理系列 1.解釋 很久沒執行SparkBWA了，系統檔案有點多，重新執行。 2.程式碼： end [email protected]:~/disk2/xubo/
基因資料處理121之SSW的score matrix調整，使得與SparkSW評分一致
基因資料處理系列 1.解釋 SSW的評分矩陣是128*128的，是按char的int值來進行計算的。而blosum50是蛋白質的，而且不是按ABC順序來的，所以需要轉換。 java中無法執行128*128的String矩陣，所以需要提供blosum
基因資料處理5之GRCH38資料來源和檢視資訊
資料來源： ftp://ftp.ncbi.nlm.nih.gov/genomes/all/GCA_000001405.15_GRCh38/seqs_for_alignment_pipelines.ucsc_ids/GCA_000001405.15_GRCh38_full_
大資料處理框架之:Storm + Kafka + zookeeper 叢集
Storm kafka zookeeper 叢集 我們知道storm的作用主要是進行流式計算，對於源源不斷的均勻資料流流入處理是非常有效的，而現實生活中大部分場景並不是均勻的資料流，而是時而多時而少的資料流入，這種情況下顯然用批量處理是不合適的，如果使用storm做實時計算的話可能因為資
大資料處理基礎之利用hadoop寫的簡單mapreduce案例
案例： 需要處理的資料： 13877779999 bj zs 2145 13766668888 sh ls 1028 13766668888 sh ls 9987 13877779999 bj zs 5678 13544445555 sz ww 10577 1387777999
大資料處理過程之核心技術ETL詳解
核心技術 架構挑戰： 1、對現有資料庫管理技術的挑戰。 2、經典資料庫技術並沒有考慮資料的多類別（variety）、SQL（結構化資料查詢語言），在設計的一開始是沒有考慮到非結構化資料的儲存問題。 3、實時性技術的挑戰：一般而言，傳統資料倉庫系統，BI應用，對處理時間的要求
數學建模 資料處理模型之變數相關性類（灰色相關聯、相關性分析）
相關類 灰色關聯 1作用：系統分析主要因素；次要因素，因素對系統發展的影響，以便對各因素強化發展或者抑制發展。 2 灰色關聯分析的基本思想：根據序列曲線的幾何形狀的相似程度判斷其聯絡緊密性 3 具體操作步驟： （1）繪圖：各指標，各系統的發展趨勢 （2）確定分析數列： 母序列：能反映系統行為特徵的資料序列。（
當linux報 “-bash: fork: 無法分配記憶體”
今天早上有臺測試機，當我ps檢視的時候發現不能執行命令並返回“-bash: fork: 無法分配記憶體”,特麼非要哥重起伺服器嗎，忽然發現我連了好多終端，然後斷開了一個終端，然後這邊終端可以敲命令了 [[email protected] /home
C++之 new 動態分配記憶體
動態記憶體分配 1.堆記憶體分配 ： C/C++定義了4個記憶體區間：程式碼區，全域性變數與靜態變數區，區域性變數區即棧區，動態儲存區，即堆（heap）區或自由儲存區（free store）。 堆的概念： 通常定義變數（或物件），編譯器在編譯時都可以根據該變數（或物件）的
python筆記6:資料處理之匯入資料
# -*- coding: utf-8 -*- #資料一般儲存在檔案（csv、txt、excel）和資料庫中 #1. 匯入csv檔案（第一行是列名） from pandas import read_csv #檔案的編碼格式也應該是 utf-8 才行，否則報錯 df = re