failed task可理解為自殺，也就是task本身出了問題而自殺；killed task可理解為是他殺，也就是jobtracker認為這個任務的執行是多餘的，所以把任務直接殺掉。起初用hadoop的時候經常在一個complete的job中看到幾個failed 或者是 killed task，還經常好奇為什麼有的時候task的失敗不會影響到整個job的失敗，而有的時候就會使整個job的失敗，到底failed和killed task對整個job的影響是什麼？

failed task

failed task出現的原因可分為以下幾種情況：
1 child task失敗，比如map/reduce任務中丟擲了異常，child JVM會將這個error彙報給tasktracker，tasktracker再回將這個error彙報給jobtracker
2 child JVM失敗，比如啟動child task的JVM本身出現了bug，導致程序直接死掉，此時tasktracker會知道child JVM已經退出，並彙報給jobtracker此次task attempt失敗
3 任務超時，如果某個任務很長時間都沒有更新狀態，則認為任務超時。有的任務雖然執行時間非常長，但它不停的在更新自己的狀態，所以系統也不會認為這是個超時任務
4 tasktracker由於軟體或硬體的原因直接掛掉了。對於這種情況，tasktracker會停止向jobtracker傳送心跳，jobtracker會認為這是個dead node並把該節點加入黑名單，從此不再給這個節點分配任務，直到問題被修復後tasktracker重新彙報心跳。我遇到最囧的情況就是當各節點hosts不一致的時候，會出現tasktracker向jobtasker傳送心跳，但jobtracker不能正確向tasktracker，形成了半死不活的節點～。
hadoop本身的一個設計理念就是在普通的pc硬體上構建高可靠性的系統，任何failed task都不會引起整個job的失敗，因為所有失敗的任務都會被重新執行（reschedule execution），只有當重新執行的次數超過4次，才會把這任務標記為失敗，導致整個job的失敗。

killed task

在介紹killed task之前，先介紹一下speculative execution。舉個簡單的例子，如果某個job有2000個map task，已經完成了1999個，只剩下一個task由於硬體比較慢而成為拖尾任務，為了減少拖尾任務對整個job執行時間的影響，jobtracker會重新啟動一個一模一樣的duplicate task和原有的task並行的執行，這樣有一個task執行成功，整個map過程就會結束。speculative execution只有個處理拖尾任務的優化策略，並不能提高系統的可靠性。
介紹完speculative execution後我們來看看killed task的情況。killed task可能在兩種情況下發生，一個是speculative execution中兩個並行duplicate task中如果有一個執行成功，另一個將被kill掉；第二種情況是如果某個tasktracker掛了，那麼正在該節點上面跑的任務都將被標記為killed。

===================================================================================================================================

首先說說Task容錯機制
Task的執行情況由對應的一個TaskInProgress物件來跟蹤，它允許一個Task嘗試執行多次，每次成為一個Task Attempt
Hadoop提供了兩個可配置的引數：
     mapred.map.max.attempts 
     mapred.reduce.max.attempts
hadoop提交作業時可通過設定這兩個引數來設定Map Task和Reduce Task嘗試執行最大次數。

Failed Task是自身執行失敗的Task Attempt，通常產生一下幾種場景：
1.人為使Task Attempt失敗：使用者使用命令bin/hadoop job -fail-task task_id 是一個Task Attempt殺死。
2.本地檔案讀寫錯誤：Task 執行過程中，由於磁碟壞道等原因，導致檔案讀寫錯誤。
3.Shuffle階段錯誤：Reduce Task從Map Task端遠端讀取資料過程中出錯。
4.Counter數目過多：使用者自定義的Counter或者Counter Group資料木超過系統要求的上線。
5.一定時間內未彙報進度：由於程式Bug或者資料格式問題，任務在一定時間間隔內未彙報進度。
6.使用記憶體量超過期望值：使用者提交作業時可指定每個Task預期使用的記憶體量，如果在執行過程中超過該值，則會執行失敗。
7.任務執行過程中的其他錯誤：如初始化錯誤，其他可能的致命錯誤。

Failed Task 和killed Task除了產生場景不同以外，還有以下兩個重要區別：
排程策略：一個Task Attempt在某個節點執行失敗之後，排程器變不會將同一個Task的Task Attempt分配給該節點。而Task Attempt 被殺死後，仍可能被排程到同一個節點上執行。
嘗試次數：Task容錯機制是針對faile task的。也就是說，任何一個Task允許的失敗次數是有限的。而對於killed task，由於他們是被框架主動殺死的，他們自身並不存在問題，因此會不斷嘗試執行，直到執行成功。