翻譯：精緻碼農-王亮
原文：http://dwz.win/XnM

.NET 5 旨在提供統一的執行時和框架，使其在各平臺都有統一的執行時行為和開發體驗。微軟釋出了與 .NET 協作的大資料（.NET for Spark）和機器學習（ML.NET）工具，這些工具共同提供了富有成效的端到端體驗。在本文中，我們將介紹 .NET for Spark、大資料、ML.NET 和機器學習的基礎知識，我們將研究其 API 和功能，向你展示如何開始構建和消費你自己的 Spark 作業和 ML.NET 模型。

什麼是大資料

大資料是一個幾乎不言自明的行業術語。該術語指的是大型資料集，通常涉及 TB 甚至 PB 級的資訊，這些資料集被用作分析的輸入，以揭示資料中的模式和趨勢。大資料與傳統工作負載之間的關鍵區別在於，大資料往往過於龐大、複雜或多變，傳統資料庫和應用程式無法處理。一種流行的資料分類方式被稱為 "3V"（譯註：即3個V，Volume 容量、Velocity 速度、Variety 多樣性）。

大資料解決方案是為適應高容量、處理複雜多樣的資料結構而定製的，並通過批處理（靜態）和流處理（動態）來管理速度。

大多數大資料解決方案都提供了在資料倉庫中儲存資料的方式，資料倉庫通常是一個為快速檢索和為並行處理而優化的分散式叢集。處理大資料往往涉及多個步驟，如下圖所示：

.NET 5 開發人員如果需要基於大型資料集進行分析和洞察，可以使用基於流行的大資料解決方案 Apache Spark 的 .NET 實現：.NET for Spark。

.NET for Spark

.NET for Spark 基於 Apache Spark，這是一個用於處理大資料的開源分析引擎。它被設計為在記憶體中處理大量資料，以提供比其他依賴持久化儲存的解決方案更好的效能。它是一個分散式系統，並行處理工作負載。它為載入資料、查詢資料、處理資料和輸出資料提供支援。

Apache Spark 支援 Java、Scala、Python、R 和 SQL。微軟建立了 .NET for Spark 以增加對 .NET 的支援。該解決方案提供了免費、開放、跨平臺的工具，用於使用 .NET 所支援的語言（如 C#和 F#）構建大資料應用程式，這樣你就可以使用現有的 .NET 庫，同時利用 SparkSQL 等 Spark 特性。

以下程式碼展示了一個小而完整的 .NET for Spark 應用程式，它讀取一個文字檔案並按降序輸出字數。

using Microsoft.Spark.Sql;

namespace MySparkApp
{
    class Program
    {
        static void Main(string[] args)
        {
            // Create a Spark session.
            SparkSession spark = SparkSession.Builder().AppName("word_count_sample").GetOrCreate();

            // Create initial DataFrame.
            DataFrame dataFrame = spark.Read().Text("input.txt");

            // Count words.
            DataFrame words = dataFrame.Select(Functions.Split(Functions.Col("value"), " ").Alias("words"))
                .Select(Functions.Explode(Functions .Col("words"))
                .Alias("word"))
                .GroupBy("word")
                .Count()
                .OrderBy(Functions.Col("count").Desc());

            // Show results.
            words.Show();

            // Stop Spark session.
            spark.Stop();
        }
    }
}
 

在開發機器上配置 .NET for Spark 需要安裝幾個依賴，包括 Java SDK 和 Apache Spark。你可以在這裡(https://aka.ms/go-spark-net)檢視手把手的入門指南。

Spark for .NET 可在多種環境中執行，並可部署到雲中執行。可部署目標包括 Azure HDInsight、Azure Synapse、AWS EMR Spark 和 Databricks 等。如果資料作為專案可用的一部分，你可以將其與其他 project 檔案一起提交。

大資料通常與機器學習一起使用，以獲得關於資料的洞察。

什麼是機器學習

首先，我們先來介紹一下人工智慧和機器學習的基本知識。

人工智慧（AI）是指計算機模仿人類智慧和能力，如推理和尋找意義。典型的人工智慧技術通常是從規則或邏輯系統開始的。作為一個簡單的例子，想一想這樣的場景：你想把某樣東西分類為“麵包”或“不是麵包”。當你開始時，這似乎是一個簡單的問題，例如“如果它有眼睛，它就不是麵包”。然而，你很快就會開始意識到，有很多不同的特徵可以將某物定性為麵包與非麵包，而且特徵越多，一系列的 if 語句就會越長越複雜，如下圖所示：

從上圖中的例子可以看出，傳統的、基於規則的人工智慧技術往往難以擴充套件。這就是機器學習的作用。機器學習（ML）是人工智慧的一個子集，它能在過去的資料中找到模式，並從經驗中學習，以對新資料採取行動。ML 允許計算機在沒有明確的邏輯規則程式設計的情況下進行預測。因此，當你有一個難以（或不可能）用基於規則的程式設計解決的問題時，你可以使用 ML。你可以把 ML 看作是 "對不可程式設計的程式設計"。

為了用 ML 解決“麵包”與“非麵包”的問題，你提供麵包的例子和非麵包的例子（如下圖所示），而不是實現一長串複雜的 if 語句。你將這些例子傳遞給一個演算法，該演算法在資料中找到模式，並返回一個模型，然後你可以用這個模型來預測尚未被模型“看到”的影象是“麵包”還是“不是麵包”。

上圖展示了 AI 與 ML 的另一種思考方式。AI 將規則和資料作為輸入，預期輸出基於這些規則的答案。而 ML 則是將資料和答案作為輸入，輸出可用於對新資料進行歸納的規則。

AI 將規則和資料作為輸入，並根據這些規則輸出預期的答案。ML 將資料和答案作為輸入，並輸出可用於概括新資料的規則。

ML.NET

微軟在 2019 年 5 月的 Build 上釋出了 ML.NET，這是一個面向.NET 開發人員的開源、跨平臺 ML 框架。在過去的九年裡，微軟的團隊已經廣泛使用該框架的內部版本來實現流行的 ML 驅動功能；一些例子包括 Dynamics 365 欺詐檢測、PowerPoint 設計理念和 Microsoft Defender 防病毒威脅保護。

ML.NET 允許你在.NET 生態系統中構建、訓練和消費 ML 模型，而不需要 ML 或資料科學的背景。ML.NET 可以在任何.NET 執行的地方執行。Windows、Linux、macOS、on-prem、離線場景（如 WinForms 或 WPF 桌面應用）或任何雲端（如 Azure）中。你可以將 ML.NET 用於各種場景，如表 1 所述。

ML.NET 使用自動機器學習（或稱 AutoML）來自動構建和訓練 ML 模型的過程，以根據提供的場景和資料找到最佳模型。你可以通過 AutoML.NET API 或 ML.NET 工具來使用 ML.NET 的 AutoML，其中包括 Visual Studio 中的 Model Builder 和跨平臺的 ML.NET CLI，如圖 6 所示。除了訓練最佳模型外，ML.NET 工具還生成在終端使用者.NET 應用程式中消費模型所需的檔案和 C#程式碼，該應用程式可以是任何.NET 應用程式（桌面、Web、控制檯等）。所有 AutoML 方案都提供了本地訓練選項，影象分類也允許你利用雲的優勢，使用 Model Builder 中的 Azure ML 進行訓練。

你可以在 Microsoft Docs 中瞭解更多關於 ML.NET 的資訊，網址是：https://aka.ms/mlnetdocs。

ML 和大資料結合

大資料和 ML 可以很好地結合在一起。讓我們構建一個同時使用 Spark for .NET 和 ML.NET 的管道，以展示大資料和 ML 如何一起工作。Markdown 是一種用於編寫文件和建立靜態網站的流行語言，它使用的語法不如 HTML 複雜，但提供的格式控制比純文字更多。這是從 .NET 文件庫中的摘取一段 markdown 檔案內容：

---
title: Welcome to .NET
description: Getting started with the .NET
family of technologies.
ms.date: 12/03/2019
ms.custom: "updateeachrelease"
---

# Welcome to .NET

See [Get started with .NET Core](core/get-started.md) to learn how to create .NET Core apps.

Build many types of apps with .NET, such as cloud ,IoT, and games using free cross-platform tools...

破折號之間的部分稱為前頁（front matter），是使用 YAML 描述的有關文件的元資料。以井號（＃）開頭的部分是標題。兩個雜湊（##）表示二級標題。“ .NET Core 入門”是一個超連結。

我們的目標是處理大量文件，新增諸如字數和估計的閱讀時間之類的元資料，並將相似的文章自動分組在一起。

這是我們將構建的管道：

• 為每個文件建立字數統計；
• 估計每個文件的閱讀時間；
• 根據“ TF-IDF”或“術語頻率/反向文件頻率”為每個文件建立前 20 個單詞的列表（這將在後面說明）。

第一步是拉取文件儲存庫和需引用的應用程式。你可以使用任何包含 Markdown 檔案的儲存庫及資料夾結構。本文使用的示例來自 .NET 文件儲存庫，可從 https://aka.ms/dot-net-docs 克隆。

為.NET 和 Spark 準備本地環境之後，可以從https://aka.ms/spark-ml-example拉取專案。

解決方案資料夾包含一個批處理命令（在倉庫中有提供），你可以使用該命令來執行所有步驟。

處理 Markdown

DocRepoParser 專案以遞迴方式遍歷儲存庫中的子資料夾，以收集各文件有關的元資料。Common 專案包含幾個幫助程式類。例如，FilesHelper 用於所有檔案 I/O。它跟蹤儲存檔案和檔名的位置，並提供諸如為其他專案讀取檔案的服務。建構函式需要一個標籤（一個唯一標識工作流的數字）和包含文件的 repo 或頂級資料夾的路徑。預設情況下，它在使用者的本地應用程式資料資料夾下建立一個資料夾。如有必要，可以將其覆蓋。

MarkdownParser利用 Microsoft.Toolkit.Parsers解析 Markdown 的庫。該庫有兩個任務：首先，它必須提取標題和子標題；其次，它必須提取單詞。Markdown 檔案以 "塊 "的形式暴露出來，代表標題、連結和其他 Markdown 特徵。塊又包含承載文字的“Inlines”。例如，這段程式碼通過迭代行和單元格來解析一個 TableBlock，以找到 Inlines。

case TableBlock table:
    table.Rows.SelectMany(r => r.Cells)
        .SelectMany(c => c.Inlines)
        .ForEach(i => candidate = RecurseInline(i, candidate, words, titles));
        break;

此程式碼提取超連結的文字部分：

case HyperlinkInline hyper:
    if (!string.IsNullOrWhiteSpace(hyper.Text))
    {
        words.Append(hyper.Text.ExtractWords());
    }
    break;

結果是一個 CSV 檔案，如下圖所示：

第一步只是準備要處理的資料。下一步使用 Spark for .NET 作業確定每個文件的字數，閱讀時間和前 20 個術語。

構建 Spark Job

SparkWordsProcessor專案用來執行 Spark 作業。雖然該應用程式是一個控制檯專案，但它需要 Spark 來執行。runjob.cmd批處理命令將作業提交到正確配置的 Windows 計算機上執行。典型作業的模式是建立一個會話或“應用程式”，執行一些邏輯，然後停止會話。

var spark = SparkSession.Builder()
    .AppName(nameof(SparkWordsProcessor))
    .GetOrCreate();
RunJob();
spark.Stop();

通過將其路徑傳遞給 Spark 會話，可以輕鬆讀取上一步的檔案。

var docs = spark.Read().HasHeader().Csv(filesHelper.TempDataFile);
docs.CreateOrReplaceTempView(nameof(docs));
var totalDocs = docs.Count();

docs變數解析為一個DataFrame。Data Frame 本質上是一個帶有一組列和一個通用介面的表，用於與資料互動，而不管其底層來源是什麼。可以從其他 data frame 中引用一個 data frame。SparkSQL 也可以用來查詢 data frame。你必須建立一個臨時檢視，該檢視為 data frame 提供別名，以便從 SQL 中引用它。通過CreateOrReplaceTempView方法，可以像這樣從 data frame 中查詢行：

SELECT * FROM docs

totalDocs變數檢索文件中所有行的計數。Spark 提供了一個名為Split的將字串分解為陣列的函式。Explode函式將每個陣列項變成一行：

var words = docs.Select(fileCol,
    Functions.Split(nameof(FileDataParse.Words)
    .AsColumn(), " ")
    .Alias(wordList))
    .Select(fileCol, Functions.Explode(wordList.AsColumn())
    .Alias(word));

該查詢為每個單詞或術語生成一行。這個 data frame 是生成術語頻率（TF）或者說每個文件中每個詞的計數的基礎。

var termFrequency = words
    .GroupBy(fileCol, Functions.Lower(word.AsColumn()).Alias(word))
    .Count()
    .OrderBy(fileCol, count.AsColumn().Desc());

Spark 有內建的模型，可以確定“術語頻率/反向文件頻率”。在這個例子中，你將手動確定術語頻率來演示它是如何計算的。術語在每個文件中以特定的頻率出現。一篇關於 wizard 的文件可能有很高的“wizard”一詞計數。同一篇文件中，"the "和 "is "這兩個詞的出現次數可能也很高。對我們來說，很明顯，“wizard”這個詞更重要，也提供了更多的語境。另一方面，Spark 必須經過訓練才能識別重要的術語。為了確定什麼是真正重要的，我們將總結文件頻率（document frequency），或者說一個詞在 repo 中所有文件中出現的次數。這就是“按不同出現次數分組”：

var documentFrequency = words
    .GroupBy(Functions.Lower(word.AsColumn())
    .Alias(word))
    .Agg(Functions.CountDistinct(fileCol)
    .Alias(docFrequency));

現在是計算的時候了。一個特殊的方程式可以計算出所謂的反向文件頻率（inverse document frequency），即 IDF。將總文件的自然對數（加一）輸入方程，然後除以該詞的文件頻率（加一）。

static double CalculateIdf(int docFrequency, int totalDocuments) =>
    Math.Log(totalDocuments + 1) / (docFrequency + 1);

在所有文件中出現的詞比出現頻率較低的詞賦值低。例如，給定 1000 個文件，一個在每個文件中出現的詞與一個只在少數文件中出現的詞（約 1 個）相比，IDF 為 0.003。Spark 支援使用者定義的函式，你可以這樣註冊。

spark.Udf().Register<int, int, double>(nameof(CalculateIdf), CalculateIdf);

接下來，你可以使用該函式來計算 data frame 中所有單詞的 IDF：

var idfPrep = documentFrequency.Select(word.AsColumn(),
    docFrequency.AsColumn())
        .WithColumn(total, Functions.Lit(totalDocs))
        .WithColumn(inverseDocFrequency,
            Functions.CallUDF(nameof(CalculateIdf), docFrequency.AsColumn(), total.AsColumn()
        )
    );

使用文件頻率 data frame，增加兩列。第一列是文件的單詞總數量，第二列是呼叫你的 UDF 來計算 IDF。還有一個步驟，就是確定“重要詞”。重要詞是指在所有文件中不經常出現，但在當前文件中經常出現的詞，用 TF-IDF 表示，這只是 IDF 和 TF 的產物。考慮“is”的情況，IDF 為 0.002，在文件中的頻率為 50，而“wizard”的 IDF 為 1，頻率為 10。相比頻率為 10 的“wizard”，“is”的 TF-IDF 計算結果為 0.1。這讓 Spark 對重要性有了更好的概念，而不僅僅是原始字數。

到目前為止，你已經使用程式碼來定義 data frame。讓我們嘗試一下 SparkSQL。為了計算 TF-IDF，你將文件頻率 data frame 與反向文件頻率 data frame 連線起來，並建立一個名為termFreq_inverseDocFreq的新列。下面是 SparkSQL：

var idfJoin = spark.Sql($"SELECT t.File, d.word, d.{docFrequency}, d.{inverseDocFrequency}, t.count, d.{inverseDocFrequency} * t.count as {termFreq_inverseDocFreq} from {nameof(documentFrequency)} d inner join {nameof(termFrequency)} t on t.word = d.word");

探索程式碼，看看最後的步驟是如何實現的。這些步驟包括：

到目前為止所描述的所有步驟都為 Spark 提供了一個模板或定義。像 LINQ 查詢一樣，實際的處理在結果被具體化之前不會發生（比如計算出總文件數時）。最後一步呼叫 Collect 來處理和返回結果，並將其寫入另一個 CSV。然後，你可以使用新檔案作為 ML 模型的輸入，下圖是該檔案的一部分：

Spark for .NET 使你能夠查詢和塑造資料。你在同一個資料來源上建立了多個 data frame，然後新增它們以獲得關於重要術語、字數和閱讀時間的洞察。下一步是應用 ML 來自動生成類別。

預測類別

最後一步是對文件進行分類。DocMLCategorization專案包含了 ML.NET 的Microsoft.ML包。雖然 Spark 使用的是 data frame，但 data view 在 ML.NET 中提供了類似的概念。

這個例子為 ML.NET 使用了一個單獨的專案，這樣就可以將模型作為一個獨立的步驟進行訓練。對於許多場景，可以直接從你的.NET for Spark 專案中引用 ML.NET，並將 ML 作為同一工作的一部分來執行。

首先，你必須對類進行標記，以便 ML.NET 知道源資料中的哪些列對映到類中的屬性。在FileData 類使用 LoadColumn 註解，就像這樣：

[LoadColumn(0)]
public string File { get; set; }

[LoadColumn(1)]
public string Title { get; set; }

然後，你可以為模型建立上下文，並從上一步中生成的檔案中載入 data view：

var context = new MLContext(seed: 0);
var dataToTrain = context.Data
    .LoadFromTextFile<FileData>(path: filesHelper.ModelTrainingFile, hasHeader: true, allowQuoting: true, separatorChar: ',');

ML 演算法對數字的處理效果最好，所以文件中的文字必須轉換為數字向量。ML.NET 為此提供了FeaturizeText方法。在一個步驟中，模型分別：

• 檢測語言
• 將文字標記為單個單詞或標記
• 規範化文字，以便對單詞的變體進行標準化和大小寫相似化
• 將這些術語轉換為一致的數值或準備處理的“特徵向量”

以下程式碼將列轉換為特徵，然後建立一個結合了多個特徵的“Features”列。

var pipeline = context.Transforms.Text.FeaturizeText(
    nameof(FileData.Title).Featurized(),
    nameof(FileData.Title)).Append(context.Transforms.Text.FeaturizeText(nameof(FileData.Subtitle1).Featurized(),
    nameof(FileData.Subtitle1))).Append(context.Transforms.Text.FeaturizeText(nameof(FileData.Subtitle2).Featurized(),
    nameof(FileData.Subtitle2))).Append(context.Transforms.Text.FeaturizeText(nameof(FileData.Subtitle3).Featurized(),
    nameof(FileData.Subtitle3))).Append(context.Transforms.Text.FeaturizeText(nameof(FileData.Subtitle4).Featurized(),
    nameof(FileData.Subtitle4))).Append(context.Transforms.Text.FeaturizeText(nameof(FileData.Subtitle5).Featurized(),
    nameof(FileData.Subtitle5))).Append(context.Transforms.Text.FeaturizeText(nameof(FileData.Top20Words).Featurized(),
    nameof(FileData.Top20Words))).Append(context.Transforms.Concatenate(features, nameof(FileData.Title).Featurized(),
    nameof(FileData.Subtitle1).Featurized(),
    nameof(FileData.Subtitle2).Featurized(),
    nameof(FileData.Subtitle3).Featurized(),
    nameof(FileData.Subtitle4).Featurized(),
    nameof(FileData.Subtitle5).Featurized(),
    nameof(FileData.Top20Words).Featurized())
);

此時，資料已經為訓練模型做了適當的準備。訓練是無監督的，這意味著它必須用一個例子來推斷資訊。你沒有將樣本類別輸入到模型中，所以演算法必須通過分析特徵如何聚類來找出資料的相互關聯。你將使用k-means 聚類演算法。該演算法使用特徵計算文件之間的“距離”，然後圍繞分組後的文件“繪製”邊界。該演算法涉及隨機化，因此兩次執行結果會是不相同的。主要的挑戰是確定訓練的最佳聚類大小。不同的文件集最好有不同的最佳類別數，但演算法需要你在訓練前輸入類別數。

程式碼在 2 到 20 個簇之間迭代，以確定最佳大小。對於每次執行，它都會獲取特徵資料並應用演算法或訓練器。然後，它根據預測模型對現有資料進行轉換。對結果進行評估，以確定每個簇中文件的平均距離，並選擇平均距離最小的結果。

var options = new KMeansTrainer.Options
{
    FeatureColumnName = features,
    NumberOfClusters = categories,
};

var clusterPipeline = pipeline.Append(context.Clustering.Trainers.KMeans(options));
var model = clusterPipeline.Fit(dataToTrain);
var predictions = model.Transform(dataToTrain);
var metrics = context.Clustering.Evaluate(predictions);
distances.Add(categories, metrics.AverageDistance);

經過培訓和評估後，你可以儲存最佳模型，並使用它對資料集進行預測。將生成一個輸出檔案以及一個摘要，該摘要顯示有關每個類別的一些元資料並在下面列出標題。標題只是幾個功能之一，因此有時需要仔細研究細節才能使類別有意義。在本地測試中，教程之類的文件歸於一組，API 文件歸於另一組，而例外歸於它們自己的組。

ML zip 檔案可與 Prediction Engine 一起用於其他專案中的新資料。

機器學習模型另存為單個 zip 檔案。該檔案可以包含在其他專案中，與 Prediction Engine 一起使用以對新資料進行預測。例如，你可以建立一個 WPF 應用程式，該應用程式允許使用者瀏覽目錄，然後載入並使用經過訓練的模型對文件進行分類，而無需先對其進行訓練。

下一步是什麼

Spark for .NET 計劃與.NET 5 同時在 GA（譯註：GA=General Availability，正式釋出的版本）釋出。請訪問 https://aka.ms/spark-net-roadmap 閱讀路線圖和推出功能的計劃。（譯註：.NET 5 正式釋出時間已過，Spark for .NET 已隨 .NET 5 正式釋出）

本文著重於本地開發體驗，為了充分利用大資料的力量，你可以將 Spark 作業提交到雲中。有各種各樣的雲主機可以容納 PB 級資料，併為你的工作負載提供數十個核的計算能力。Azure Synapse Analytics 是一項 Azure 服務，旨在承載大量資料，提供用於執行大資料作業的群集，並允許通過基於圖表的儀表盤進行互動式探索。若要了解如何將 Spark for .NET 作業提交到 Azure Synapse，請閱讀官方文件（https://aka.ms/spark-net-synapse）。

下面這張表列舉了 ML.NET 機器學習的常見任務和場景：