2. 程式人生 > >spark序列化異常和Executor的僵死問題

spark序列化異常和Executor的僵死問題

阿新 • • 發佈：2019-02-13
在Spark上執行hive語句的時候，出現類似於如下的異常：
  1. org.apache.spark.SparkDriverExecutionException: Execution error
  2.     at org.apache.spark.scheduler.DAGScheduler.handleTaskCompletion(DAGScheduler.scala:849)
  3.     at org.apache.spark.scheduler.DAGSchedulerEventProcessActor$anonfun$receive$2.applyOrElse(DAGScheduler.scala:1231)
  4.     at akka.actor.ActorCell.receiveMessage(ActorCell.scala:498)
  5.     at akka.actor.ActorCell.invoke(ActorCell.scala:456)
  6.     at akka.dispatch.Mailbox.processMailbox(Mailbox.scala:237)
  7.     at akka.dispatch.Mailbox.run(Mailbox.scala:219)
  8.     at akka.dispatch.ForkJoinExecutorConfigurator$AkkaForkJoinTask.exec(AbstractDispatcher.scala:386)
  9.     at scala.concurrent.forkjoin.ForkJoinTask.doExec(ForkJoinTask.java:260)
  10.     at scala.concurrent.forkjoin.ForkJoinPool$WorkQueue.runTask(ForkJoinPool.java:1339)
  11.     at scala.concurrent.forkjoin.ForkJoinPool.runWorker(ForkJoinPool.java:1979)
  12.     at scala.concurrent.forkjoin.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:107)
  13. Caused by: java.lang.ClassCastException: scala.collection.mutable.HashSet cannot be cast to scala.collection.mutable.BitSet
  14.     at org.apache.spark.sql.execution.BroadcastNestedLoopJoin$anonfun$7.apply(joins.scala:336)
  15.     at org.apache.spark.rdd.RDD$anonfun$19.apply(RDD.scala:813)
  16.     at org.apache.spark.rdd.RDD$anonfun$19.apply(RDD.scala:810)
  17.     at org.apache.spark.scheduler.JobWaiter.taskSucceeded(JobWaiter.scala:56)
  18.     at org.apache.spark.scheduler.DAGScheduler.handleTaskCompletion(DAGScheduler.scala:845)
複製程式碼
排查其前後的日誌，發現大都是序列化的東西：
  1. 14/08/13 11:10:01 INFO org.apache.spark.Logging$class.logInfo(Logging.scala:58): Serialized task 8.0:3 as 20849 bytes in 0 ms
  2. 14/08/13 11:10:01 INFO org.apache.spark.Logging$class.logInfo(Logging.scala:58): Finished TID 813 in 25 ms on sparktest0 (progress: 3/200)
複製程式碼
而在spark-default.conf中，事先設定了序列化方式為Kryo：
  1. spark.serializer org.apache.spark.serializer.KryoSerializer
複製程式碼
根據異常資訊，可見是HashSet轉為BitSet型別轉換失敗，Kryo把鬆散的HashSet轉換為了緊湊的BitSet，把序列化方式註釋掉之後，任務可以正常執行。難道Spark的Kryo序列化做的還不到位？此問題需要進一步跟蹤。 9 Executor僵死問題     執行一個Spark任務，發現其執行速度遠遠慢於執行同樣SQL語句的Hive的執行，甚至出現了OOM的錯誤，最後卡住達幾小時！並且Executor程序在瘋狂GC。     擷取其一Task的OOM異常資訊： 可以看到這是在序列化過程中發生的OOM。根據節點資訊，找到對應的Executor程序，觀察其Jstack資訊：
  1. Thread 36169: (state = BLOCKED)
  2. - java.lang.Long.valueOf(long) @bci=27, line=557 (Compiled frame)
  3. - com.esotericsoftware.kryo.serializers.DefaultSerializers$LongSerializer.read(com.esotericsoftware.kryo.Kryo, com.esotericsoftware.kryo.io.Input, java.lang.Class) @bci=5, line=113 (Compiled frame)
  4. - com.esotericsoftware.kryo.serializers.DefaultSerializers$LongSerializer.read(com.esotericsoftware.kryo.Kryo, com.esotericsoftware.kryo.io.Input, java.lang.Class) @bci=4, line=103 (Compiled frame)
  5. - com.esotericsoftware.kryo.Kryo.readClassAndObject(com.esotericsoftware.kryo.io.Input) @bci=158, line=732 (Compiled frame)
  6. - com.esotericsoftware.kryo.serializers.DefaultArraySerializers$ObjectArraySerializer.read(com.esotericsoftware.kryo.Kryo, com.esotericsoftware.kryo.io.Input, java.lang.Class) @bci=158, line=338 (Compiled frame)
  7. - com.esotericsoftware.kryo.serializers.DefaultArraySerializers$ObjectArraySerializer.read(com.esotericsoftware.kryo.Kryo, com.esotericsoftware.kryo.io.Input, java.lang.Class) @bci=4, line=293 (Compiled frame)
  8. - com.esotericsoftware.kryo.Kryo.readObject(com.esotericsoftware.kryo.io.Input, java.lang.Class, com.esotericsoftware.kryo.Serializer) @bci=136, line=651 (Compiled frame)
  9. - com.esotericsoftware.kryo.serializers.FieldSerializer$ObjectField.read(com.esotericsoftware.kryo.io.Input, java.lang.Object) @bci=143, line=605 (Compiled frame)
  10. - com.esotericsoftware.kryo.serializers.FieldSerializer.read(com.esotericsoftware.kryo.Kryo, com.esotericsoftware.kryo.io.Input, java.lang.Class) @bci=44, line=221 (Compiled frame)
  11. - com.esotericsoftware.kryo.Kryo.readObject(com.esotericsoftware.kryo.io.Input, java.lang.Class, com.esotericsoftware.kryo.Serializer) @bci=136, line=651 (Compiled frame)
  12. - com.esotericsoftware.kryo.serializers.FieldSerializer$ObjectField.read(com.esotericsoftware.kryo.io.Input, java.lang.Object) @bci=143, line=605 (Compiled frame)
  13. - com.esotericsoftware.kryo.serializers.FieldSerializer.read(com.esotericsoftware.kryo.Kryo, com.esotericsoftware.kryo.io.Input, java.lang.Class) @bci=44, line=221 (Compiled frame)
  14. - com.esotericsoftware.kryo.Kryo.readClassAndObject(com.esotericsoftware.kryo.io.Input) @bci=158, line=732 (Compiled frame)
  15. - org.apache.spark.serializer.KryoDeserializationStream.readObject(scala.reflect.ClassTag) @bci=8, line=118 (Compiled frame)
  16. - org.apache.spark.serializer.DeserializationStream$anon$1.getNext() @bci=10, line=125 (Compiled frame)
  17. - org.apache.spark.util.NextIterator.hasNext() @bci=16, line=71 (Compiled frame)
  18. - org.apache.spark.storage.BlockManager$LazyProxyIterator$1.hasNext() @bci=4, line=1031 (Compiled frame)
  19. - scala.collection.Iterator$anon$13.hasNext() @bci=4, line=371 (Compiled frame)
  20. - org.apache.spark.util.CompletionIterator.hasNext() @bci=4, line=30 (Compiled frame)
  21. - org.apache.spark.InterruptibleIterator.hasNext() @bci=22, line=39 (Compiled frame)
  22. - scala.collection.Iterator$anon$11.hasNext() @bci=4, line=327 (Compiled frame)
  23. - org.apache.spark.sql.execution.HashJoin$anonfun$execute$1.apply(scala.collection.Iterator, scala.collection.Iterator) @bci=14, line=77 (Compiled frame)
  24. - org.apache.spark.sql.execution.HashJoin$anonfun$execute$1.apply(java.lang.Object, java.lang.Object) @bci=9, line=71 (Interpreted frame)
  25. - org.apache.spark.rdd.ZippedPartitionsRDD2.compute(org.apache.spark.Partition, org.apache.spark.TaskContext) @bci=48, line=87 (Interpreted frame)
  26. - org.apache.spark.rdd.RDD.computeOrReadCheckpoint(org.apache.spark.Partition, org.apache.spark.TaskContext) @bci=26, line=262 (Interpreted frame)
複製程式碼
有大量的BLOCKED執行緒，繼續觀察GC資訊，發現大量的FULL GC。     分析，在插入Hive表的時候，實際上需要寫HDFS，在此過程的HashJoin時，伴隨著大量的Shuffle寫操作，JVM的新生代不斷GC，Eden Space寫滿了就往Survivor Space寫，同時超過一定大小的資料會直接寫到老生代，當新生代寫滿了之後，也會把老的資料搞到老生代，如果老生代空間不足了，就觸發FULL GC，還是空間不夠，那就OOM錯誤了，此時執行緒被Blocked，導致整個Executor處理資料的程序被卡住。 當處理大資料的時候，如果JVM配置不當就容易引起上述問題。解決的方法就是增大Executor的使用記憶體，合理配置新生代和老生代的大小，可以將老生代的空間適當的調大點

相關推薦

spark序列化異常和Executor的僵死問題

在Spark上執行hive語句的時候，出現類似於如下的異常： org.apache.spark.SparkDriverExecutionException: Execution error     at org.apache.spark.scheduler.DAG

Java序列化Serializable和Externalizable

持久化對象 clu version catch 例程 對象 uri put one 紙上得來終覺淺，絕知此事要躬行 --陸遊 問渠那得清如許，為有源頭活水來 --朱熹 什麽是Java序列化？為什麽出現Java序列化？如何實現Java序列化？ 一、

Spark 序列化問題

不存在 doc transform 網絡傳輸 bject ans tor 序列化 () 在Spark應用開發中，很容易出現如下報錯： org.apache.spark.SparkException: Task not serializable at org.apache

應急響應--記錄一次漏洞緊急處理中意外發現的挖礦木馬（Shiro反序列化漏洞和ddg挖礦木馬）

var vpc hist crontab 使用 8.4 wget 序列化 coo 背景 某公司線上服務器意外發現一個Apache Shiro 反序列化漏洞，可以直接GetShell。出於做安全的謹慎，馬上出現場應急，確認漏洞。該漏洞存在在cookie字段中的remembe

Java : 實體類不能序列化異常

serial 異常 序列 join col 添加 序列化 之間 是否 當修改實體類之後調用接口出現不能序列化的異常時,一定要檢查實體之間的關系是否都是正確的. could not serialize; nested exception is org.hibernate.ty

Spark序列化問題

本文主要從以下三個方面解釋Spark 應用中序列化問題 。 1、Java序列化含義。 2、Spark程式碼為什麼需要序列化。 3、如何解決Spark序列化問題。 1、Java序列化含義。 Spark是基於JVM執行的進行，其序列化必然遵守Java的序列化規則。 序列化就是指將一個物件轉化為二

處理範例程式碼Webapi中的Monogodb的Bson中ObjectId反序列化異常

微軟程式碼範例中的一個Bug 處理Monogodb的Bson中ObjectId反序列化異常 Dotnet core 2.1已推出有一段時間，asp.net提供了一段關於Webapi的範例，是使用Dotnet Core+Monogodb搭建Webapi，範例說可以完成Monogodb資料CRUD操作。 一切順

如何獲取更多關於序列化異常的堆疊資訊

問題與解決方法 有時候我們的系統會報java.io.NotSerializableException，根據堆疊資訊又無法得出有用的資訊，無法找到具體是因為哪些類或者變數造成的，可以使用一個java引數-Dsun.io.serialization.extendedDebugInfo=true來得到更加具體的序

Spark 序列化問題全解

本文主要從以下三個方面解釋Spark 應用中序列化問題 。  1、Java序列化含義。  2、Spark程式碼為什麼需要序列化。  3、如何解決Spark序列化問題。 1、Java序列化含義。 Spark是基於JVM執行的進行，其序列化必然遵守Java的序列化規則。 序列

java序列化機制和Serialize介面

java序列化機制 Serialize 介面 java本身的序列化機制存在問題： 1.序列化資料結果比較大，傳輸效率低 2.不能跨語言對接 XML編碼格式的物件序列化機制成為主流 序列化機制： MessagePack Protocol Buffers Du

Java序列化-Serializable和ProtocolBuffers

1.什麼是Java序列化以及Java序列化的作用 Java平臺允許我們在記憶體中建立可複用的Java物件，一般情況下只有當JVM處於執行時，這些物件才可能存在，所以這些物件的生命週期比 JVM的生命週期更短暫。但現實應用中可能要求JVM在停止執行之後能夠儲存(

php序列化(serialize)和反序列化(unserialize)函式

用法：serialize()、unserialize() 適用情境：serialize()返回字串，此字串包含了表示value的位元組流，可以儲存於任何地方。這有利於儲存或傳遞 PHP 的值，同時不丟失其型別和結構。比較有用的地方就是將資料存入資料庫或記錄在檔案中的時候. 可以對一般變數

（雜記）Java序列化Serializable和反序列化

1.什麼是java序列化？ 把物件轉化為位元組序列的過程稱為序列化 把位元組序列轉化為物件的過程稱為反序列化。 2.為什麼需要序列化？ 序列化主要有兩個應用場景： 用於把物件從記憶體中儲存到磁碟中。 用於網路上傳輸物件 此處舉例解釋一下：比如Web開發中經常遇

spark的Driver節點和Executor節點

一、驅動器節點(Driver)      Spark的驅動器是執行開發程式中的 main方法的程序。它負責開發人員編寫的用來建立SparkContext、建立 RDD，以及進行 RDD 的轉化操作和行動操作程式碼的執行。如果你是用spark shell，那麼當你

spark 序列化

  資料序列化     序列化在分散式應用中起到很重要的作用。那些會讓物件序列化過程緩慢，或是會消耗大量位元組儲存的序列化格式會大大降低計算速率。通常這會使用者在優化Spark應用程式中的第一件事。Spark旨在在便利(允許您使用您的操作中的任何Java型別

java中的序列化(Serializable)和反序列化

由於JDK提供的這種預設的序列化機制是簡單的將物件變成位元組流, 有時候並不滿足我們的要求, 比如考慮到加密, 或者在反序列化完了後需要呼叫某個方法來初始化transient的屬性等等, JDK提供了一種擴充套件的方法來增加對序列化和反序列化的控制. 那就是可以讓序列化的物件實現下面兩個固定的方法(注意修

spark序列化問題解決

最近公司在做一個電商推薦系統專案,其中涉及到一個評分轉換功能,就是將使用者在電商網站的行為轉換為對應的評分資料,然後使用spark mllib中提供的方法使用 在做評分轉換的過程中,遇到的序列化問題,今天就好好整理了一下spark中序列化問題. spark版本:2.1.0

redis反序列化異常:org.springframework.data.redis.serializer.SerializationException

1、日誌如下 org.springframework.data.redis.serializer.SerializationException: Cannot deserialize; nested exception is org.springframework.core.serializer

【Big Data 每日一題20180921】Spark 序列化問題

在Spark應用開發中，很容易出現如下報錯： org.apache.spark.SparkException: Task not serializable at org.apache.spark.util.ClosureCleaner$.ensureSerializab

fastJson反序列化異常，JSONException: expect ':' at 0, actual =

com.alibaba.fastjson.JSONException: expect ':' at 0, actual = at com.alibaba.fastjson.parser.DefaultJSONParser.parseObject(DefaultJSONParser.java:29