2. 程式人生 > 其它 >golang 讀取檔案最後一行_GoLang字串比較(二)

golang 讀取檔案最後一行_GoLang字串比較(二)

阿新 • • 發佈：2021-01-04

技術標籤：golang 讀取檔案最後一行

65b28a45ce169c09b46e8f46aabf7502.png

文章目錄

1. 寫在前面

2. Benchmark測試

2.1 準備測試程式碼

2.2 執行benchmark測試

2.3 結論

3. 其它測試

3.1 前提條件

3.2 優點

3.3 測試程式碼

3.4 執行測試

3.5 結論

4. 新增長度判斷會提高效率嗎

5. 總結

1. 寫在前面

微信公眾號：[double12gzh]

關注容器技術、關注Kubernetes。問題或建議，請公眾號留言。

在上一篇文章中，我們介紹了GoLang中字串不同的比較方法，同時也使用一種比較簡單粗暴的方法來一起了下不同方法的執行時間。

在本文中，我們還是會針對前面提到的不同的比較方法，這次，我們使用benchmark的方式來看一下，不同的比較方法的效率。

2. Benchmark測試

2.1 準備測試程式碼

hello/utils/str/compare.go

hello/utils/str/compare_test.go

package str

import (
"testing"
)

func BenchmarkBasicCompare(b *testing.B) {
for n := 0; n < b.N; n++ {
        BasicCompare("you are dog sun, sb wu", "you are dog sun, sb wU")
    }
}

func BenchmarkCompareCompare(b *testing.B) {
 
for n := 0; n < b.N; n++ {
        CompareCompare("you are dog sun, sb wu", "you are dog sun, sb wU")
    }
}

func BenchmarkCaseInSensitiveBasicCompare(b *testing.B) {
for n := 0; n < b.N; n++ {
        CaseInSensitiveBasicCompare("you are dog sun, sb wu", "you are dog sun, sb wU")
 
    }
}

func BenchmarkCaseInSensitiveCompareCompare(b *testing.B) {
for n := 0; n < b.N; n++ {
        CaseInSensitiveCompareCompare("you are dog sun, sb wu", "you are dog sun, sb wU")
    }
}

func BenchmarkCaseInSensitiveEqualFoldCompare(b *testing.B) {
for n := 0; n < b.N; n++ {
        CaseInSensitiveEqualFoldCompare("you are dog sun, sb wu", "you are dog sun, sb wU")
    }
}

2.2 執行benchmark測試

[email protected] MINGW64 ~/Desktop/hello/utils/str
$ go test -bench=.
goos: windows
goarch: amd64
pkg: main/utils/str
BenchmarkBasicCompare-12                        379284132                3.13 ns/op
BenchmarkCompareCompare-12                      190776010                6.01 ns/op
BenchmarkCaseInSensitiveBasicCompare-12         12153535               105 ns/op
BenchmarkCaseInSensitiveCompareCompare-12       11950690               100 ns/op
BenchmarkCaseInSensitiveEqualFoldCompare-12     33408315                35.6 ns/op
PASS
ok      main/utils/str  7.224s

2.3 結論

根據上面的壓測結果，我們可以很容易的得出以下兩點結論：

• 區大小寫的情況，使用==比使用strings.Compare效率更高• 不區分大小寫的情況，使用EqualFold效率更高

3. 其它測試

通過使用上一節產生的資料樣本，我們進行本節的測試，來看一下不同的比較的方法的執行效率。很明顯，這樣測試時，得出的執行時間肯定是會受到檔案讀取時間的影響。

在本節點的測試中，其思路如下：

• 開啟檔案• 一行一行獲取文字並進行比較

3.1 前提條件

• 有一個含有200000行的樣本資料• 目標字串與樣本最後一行的內容完全一樣

3.2 優點

• 更加切合生產場景• 可以使用更多的字串實現不同場景的比較

3.3 測試程式碼

hello/utils/str/compare.go

// ReadAndBasicCompare 區分大小寫。讀取檔案然後使用==進行比較
func ReadAndBasicCompare(fileName, dest string) bool {
return reader.ReadFileAndCompare(fileName, dest, BasicCompare)
}

// ReadAndCompareCompare 區分大小寫。讀取檔案然後使用strings.Compare進行比較
func ReadAndCompareCompare(fileName, dest string) bool {
return reader.ReadFileAndCompare(fileName, dest, CompareCompare)
}

// ReadAndCaseInSensitiveBasicCompare 不區分大小寫。讀取檔案然後使用==進行比較
func ReadAndCaseInSensitiveBasicCompare(fileName, dest string) bool {
return reader.ReadFileAndCompare(fileName, dest, CaseInSensitiveBasicCompare)
}

// ReadAndCaseInSensitiveCompareCompare 不區分大小寫。讀取檔案然後使用strings.Compare進行比較
func ReadAndCaseInSensitiveCompareCompare(fileName, dest string) bool {
return reader.ReadFileAndCompare(fileName, dest, CaseInSensitiveCompareCompare)
}

// ReadAndCaseInSensitiveEqualFoldCompare 不區分大小寫。讀取檔案然後使用EqualFold進行比較
func ReadAndCaseInSensitiveEqualFoldCompare(fileName, dest string) bool {
return reader.ReadFileAndCompare(fileName, dest, CaseInSensitiveEqualFoldCompare)
}

hello/utils/reader/fileReader.go

func ReadFileAndCompare(fileName string, dest string, ComPareFunc func(a, b string) bool) bool {
    f, err := os.Open(fileName)

if err != nil {
panic(err)
    }

    scan := bufio.NewScanner(f)
    scan.Split(bufio.ScanLines)

    result := false

for scan.Scan() {
        cmptString := scan.Text()
if ComPareFunc(cmptString, dest) {
            result = true
        } else {
            result = false
        }
    }

    f.Close()

return result
}

hello/utils/str/compare_test.go

func BenchmarkReadAndBasicCompare(b *testing.B) {
for n := 0; n < b.N; n++ {
        ReadAndBasicCompare("../../mock_data.txt", "79rIt3yb8zp5EMRw")
    }
}

func BenchmarkReadAndCompareCompare(b *testing.B) {
for n := 0; n < b.N; n++ {
        ReadAndCompareCompare("../../mock_data.txt", "79rIt3yb8zp5EMRw")
    }
}

func BenchmarkReadAndCaseInSensitiveBasicCompare(b *testing.B) {
for n := 0; n < b.N; n++ {
        ReadAndCaseInSensitiveBasicCompare("../../mock_data.txt", "79rIt3yb8zp5EMRw")
    }
}

func BenchmarkReadAndCaseInSensitiveCompareCompare(b *testing.B) {
for n := 0; n < b.N; n++ {
        ReadAndCaseInSensitiveCompareCompare("../../mock_data.txt", "79rIt3yb8zp5EMRw")
    }
}

func BenchmarkReadAndCaseInSensitiveEqualFoldCompare(b *testing.B) {
for n := 0; n < b.N; n++ {
        ReadAndCaseInSensitiveEqualFoldCompare("../../mock_data.txt", "79rIt3yb8zp5EMRw")
    }
}

3.4 執行測試

[email protected] ~/Desktop/hello/utils/str go test -bench=.

goos: windows
goarch: amd64
pkg: main/utils/str
...
BenchmarkReadAndBasicCompare
BenchmarkReadAndBasicCompare-12                                128       9153796 ns/op
BenchmarkReadAndCompareCompare
BenchmarkReadAndCompareCompare-12                              100      10240239 ns/op
BenchmarkReadAndCaseInSensitiveBasicCompare
BenchmarkReadAndCaseInSensitiveBasicCompare-12                  27      41919633 ns/op
BenchmarkReadAndCaseInSensitiveCompareCompare
BenchmarkReadAndCaseInSensitiveCompareCompare-12                28      43576511 ns/op
BenchmarkReadAndCaseInSensitiveEqualFoldCompare
BenchmarkReadAndCaseInSensitiveEqualFoldCompare-12             124       9639406 ns/op
PASS

Process finished with exit code 0

3.5 結論

• 區大小寫的情況，使用==比使用strings.Compare效率更高• 不區分大小寫的情況，使用EqualFold效率更高

4. 新增長度判斷會提高效率嗎

思路：增加長度判斷

在前面的所有程式碼中，我們一開始就是針對字串進行完全比較，其實，在比較之前，我們可以先獲取一下字串的長度，如果長度不相等，那麼這兩個字串肯定是不相等的。例如：

// CaseInSensitiveEqualFoldCompare 不區分大小寫。使用EqualFold進行比較
func CaseInSensitiveEqualFoldCompare(a string, b string) bool {
if len(a) != len(b) {
return false
    }

if strings.EqualFold(a, b) {
return true
    } else {
return false
    }
}

修改程式碼，加入長度判斷，然後執行benchmark測試得到的結果如下：

goos: windows
goarch: amd64
pkg: main/utils/str
BenchmarkBasicCompare
BenchmarkBasicCompare-12                                  382882960             3.14 ns/op
BenchmarkCompareCompare
BenchmarkCompareCompare-12                                197837797             6.19 ns/op
BenchmarkCaseInSensitiveBasicCompare
BenchmarkCaseInSensitiveBasicCompare-12                   11463978           104 ns/op
BenchmarkCaseInSensitiveCompareCompare
BenchmarkCaseInSensitiveCompareCompare-12                 11909770           101 ns/op
BenchmarkCaseInSensitiveEqualFoldCompare
BenchmarkCaseInSensitiveEqualFoldCompare-12               32394259            35.3 ns/op
BenchmarkReadAndBasicCompare
BenchmarkReadAndBasicCompare-12                                128       9199173 ns/op
BenchmarkReadAndCompareCompare
BenchmarkReadAndCompareCompare-12                              100      10155251 ns/op
BenchmarkReadAndCaseInSensitiveBasicCompare
BenchmarkReadAndCaseInSensitiveBasicCompare-12                  27      42963244 ns/op
BenchmarkReadAndCaseInSensitiveCompareCompare
BenchmarkReadAndCaseInSensitiveCompareCompare-12                27      44257270 ns/op
BenchmarkReadAndCaseInSensitiveEqualFoldCompare
BenchmarkReadAndCaseInSensitiveEqualFoldCompare-12             122       9650323 ns/op
PASS

不加長度判斷時的benchmark結果：

goos: windows
goarch: amd64
pkg: main/utils/str
BenchmarkBasicCompare
BenchmarkBasicCompare-12                                  370923894             3.11 ns/op
BenchmarkCompareCompare
BenchmarkCompareCompare-12                                198499410             6.12 ns/op
BenchmarkCaseInSensitiveBasicCompare
BenchmarkCaseInSensitiveBasicCompare-12                   12226632           108 ns/op
BenchmarkCaseInSensitiveCompareCompare
BenchmarkCaseInSensitiveCompareCompare-12                 11799502           101 ns/op
BenchmarkCaseInSensitiveEqualFoldCompare
BenchmarkCaseInSensitiveEqualFoldCompare-12               33342316            35.5 ns/op
BenchmarkReadAndBasicCompare
BenchmarkReadAndBasicCompare-12                                128       9153796 ns/op
BenchmarkReadAndCompareCompare
BenchmarkReadAndCompareCompare-12                              100      10240239 ns/op
BenchmarkReadAndCaseInSensitiveBasicCompare
BenchmarkReadAndCaseInSensitiveBasicCompare-12                  27      41919633 ns/op
BenchmarkReadAndCaseInSensitiveCompareCompare
BenchmarkReadAndCaseInSensitiveCompareCompare-12                28      43576511 ns/op
BenchmarkReadAndCaseInSensitiveEqualFoldCompare
BenchmarkReadAndCaseInSensitiveEqualFoldCompare-12             124       9639406 ns/op
PASS

結論：增加長度判斷並沒有提高效率，反而還略有下降

5. 總結

• 區大小寫的情況，使用==效率更高• 不區分大小寫的情況，使用EqualFold效率更高

相關推薦

golang 讀取檔案最後一行_GoLang字串比較(二)

技術標籤：golang 讀取檔案最後一行 文章目錄 1. 寫在前面 2. Benchmark測試 2.1 準備測試程式碼

golang讀取檔案總結

1. 讀取整個檔案 讀取整個檔案是效率最高的一種方式，但其只適用於小檔案，大檔案一次讀取會消耗大量記憶體

Python讀取檔案內容為字串的方法(多種方法詳解)

以下筆記是我在 xue.cn 學習群之資料分析小組所整理分享的心得。相關背景是：我選擇中文詞頻統計案例作為考察大家python基礎功掌握程度。

淺談Golang是如何讀取檔案內容的(7種)

本文旨在快速介紹Go標準庫中讀取檔案的許多選項。 在Go中（就此而言，大多數底層語言和某些動態語言（如Node））返回位元組流。 不將所有內容自動轉換為字串的好處是，其中之一是避免昂貴的字串分配，這會增加GC壓力

JAVA——緩衝流 （位元組緩衝流讀取檔案的速度比較 --使用緩衝流角度和使用陣列的角度）

package com.cskaoyan.io01.efficiency; import java.io.BufferedInputStream; import java.io.BufferedOutputStream;

GoLang字串比較(一)

1. 寫在前面 微信公眾號：[double12gzh] 關注容器技術、關注Kubernetes。問題或建議，請公眾號留言。

golang逐行讀取檔案的操作

我就廢話不多說了，大家還是直接看程式碼吧~ func ReadLine(fileName string) ([]string,error){

shell 讀取檔案內容 不以空格換行 再把每行的字串切分取一部分

最近有個需求，想讀取一個檔案中的每行資料，分別處理，用for迴圈的時候，會把每行的資料按照空格和回車進行迴圈，沒法拿到整行資料，查了下網上資料，決定修改下分隔符號。

golang中讀取檔案的幾種方式

golang中的檔案的讀取很多是做配置檔案使用，還有是讀取影象作為file類，儲存至檔案系統中，下面分別說明

記-Golang日誌檔案讀取及寫入操作

Golang語言的 os 包中OpenFile 函式，如下所示： func OpenFile(name string, flag int, perm FileMode) (*File, error) {

C# 檔案的第一行最後一行新增內容

static void AddFileFix(string fileFullName, string prefix, string suffix) { try { if (string.IsNullOrEmpty(prefix) && string.IsNullOrEmpty(suffix))

java多種檔案複製方式以及效率比較

1.背景 java複製檔案的方式其實有很多種,可以分為 傳統的位元組流讀寫複製FileInputStream,FileOutputStream,BufferedInputStream,BufferedOutputStream

Spring系列八：Spring 中讀取檔案-ResourceLoaderAware

重疊淚痕緘錦字，人生只有情難死。 概述 本文將瞭解資源或檔案(例如文字檔案、XML檔案、屬性檔案或影象檔案)載入到Spring應用程式上下文中的不同實現。Spring ResourceLoader為我們提供了一個統一的getResource()方

淺談java字串比較到底應該用==還是equals

當用new String(“aaaa”)對字串做定義時，==會返回false，equals可以返回正常結果。

Spring如何使用PropertyPlaceholderConfigurer讀取檔案

這篇文章主要介紹了Spring如何使用PropertyPlaceholderConfigurer讀取檔案,文中通過示例程式碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

Java使用I/O流讀取檔案內容的方法詳解

本文例項講述了Java使用I/O流讀取檔案內容的方法。分享給大家供大家參考，具體如下：

java io讀取檔案操作程式碼例項

這篇文章主要介紹了java io讀取檔案操作程式碼例項,文中通過示例程式碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

Python 檔案操作之讀取檔案(read)，檔案指標與寫入檔案(write)，檔案開啟方式示例

本文例項講述了Python 檔案操作之讀取檔案(read)，檔案指標與寫入檔案(write)，檔案開啟方式。分享給大家供大家參考，具體如下：

python多執行緒分塊讀取檔案

本文例項為大家分享了python多執行緒分塊讀取檔案的具體程式碼，供大家參考，具體內容如下

python實現用類讀取檔案資料並計算矩形面積

1.建立一個類Rectangle，已知a、b求面積，求三角形的面積 2.結合題目一，從題目一檔案中讀取資料，並採用類的方法，將計算的結果寫在另一個文件中。