原理

1)按String字串出現次數降序排序；次數相同，自然順序。

2)按降序順序轉換成DoubleIndex，預設從0.0開始。

程式碼實戰

import org.apache.spark.ml.feature.StringIndexer
import org.apache.spark.sql.{DataFrame, SQLContext}
import org.apache.spark.{SparkContext, SparkConf}

object StringToIndexExample {
  def main(args: Array[String]) {
    val
 
 conf = new SparkConf().setAppName("StringIndexerExample").setMaster("local[6]")
    val sc = new SparkContext(conf)
    val sqlContext = new SQLContext(sc)

    // 將Array轉換成DataFrame
    val df: DataFrame = sqlContext.createDataFrame(
      Seq((0, "a"), (1, "b"), (2, "c"), (3, "a"), (4, "a"), (5, "c"
 
),(6, "d"))
    ).toDF("id", "category")

    // 設定輸入列、輸出列
    val indexer = new StringIndexer().setInputCol("category").setOutputCol("categoryIndex")

    // fit transform
    // fit函式：按出現次數降序排序；次數相同，自然順序。
    // 如 a 出現3次;c 出現2次;b 出現1次;d 出現1次
    // transform函式：按降序順序StringToDoubleIndex
    // 如 a=>0.0 c=>1.0 b=>2.0 d=>3.0
 

    val indexed = indexer.fit(df).transform(df)
    indexed.show()
    sc.stop()
  }

}
// 輸出
// +---+--------+-------------+
// | id|category|categoryIndex|
// +---+--------+-------------+
// |  0|       a|          0.0|
// |  1|       b|          2.0|
// |  2|       c|          1.0|
// |  3|       a|          0.0|
// |  4|       a|          0.0|
// |  5|       c|          1.0|
// |  6|       d|          3.0|
// +---+--------+-------------+