.NET 5 全自動分表元件，.NET 分表方案 ，分表架構與設計
阿新 • • 發佈：2021-10-31
一、疑問&目的
1.1分表使用場景
（1）可擴充套件架構設計，比如一個ERP用5年不卡，到了10就卡了因為資料太多了，這個時候很多人都是備份然後清空資料，這個工作大並且麻煩，以前的資料很難在使用
（2）資料量太多 ，例如每天都有幾十上百萬的資料進入庫，如果不分表後面查詢將會非常緩慢
(3) 效能瓶頸 ，比如我插入超過1個億很多索引會莫名失效，效能快取，具體原因很難排查，有分表功能，我就能知道插入哪個表，這樣我只對一個分表進行插入效能是成倍增長
1.2 我的目的
說到ORM很多會想到EF Core Dapper SqlSugar Chloe Freesql等，但是說到分表元件或許者大家想不到一個名詞
我寫這一篇文章最大的目的是想大家記住全自的分表元件 【 SqlSugar 】
沒錯SqlSugar是一個ORM框架，並且已經完美支援了自動分表 ，希望你能喜歡
二、分表元件優勢
2.1 簡單
CURD和分表一體化 ，小白也能很好的使用分表，只要會使用 ORM就會使用分表 ，2者語法同步就多一個.SplitTable
2.2 功能強大
支援表結構同步，自動建表，強大的查詢語句，插入，更新，刪除
2.3 元件化設計
預設集成了按 日、周、月、季、年的方式表,比如，我想根據加密演算法分表，或者根據多個欄位分表，或者不滿意現在的分表都可以已擴充套件實現
//實現下面介面就能將自定義的分表整合到ORM中
public interface ISplitTableService
{
//1 根據現有表選出當前分表
List<SplitTableInfo> GetAllTables(ISqlSugarClient db,EntityInfo EntityInfo,List<DbTableInfo> tableInfos);
//2 獲取表名
string GetTableName(ISqlSugarClient db, EntityInfo EntityInfo);
string GetTableName(ISqlSugarClient db, EntityInfo EntityInfo, SplitType type);
string GetTableName(ISqlSugarClient db, EntityInfo entityInfo, SplitType splitType, object fieldValue);
//3 獲取分組欄位的值
object GetFieldValue(ISqlSugarClient db, EntityInfo entityInfo, SplitType splitType, object entityValue);
}
//說白了重寫介面分為3類，基本要的引數都有現成的，可以模仿我現有分表的程式碼輕鬆實現
三、自帶分表的使用
自帶分表支援按年、按月、按日、按季、按周進行分表
3.1定義實體
我們定義一個實體，主鍵不能用自增或者int ，設為long或者guid都可以，我例子就用自帶的雪花ID實現分表
[SplitTable(SplitType.Year)]//按年分表
[SugarTable("SplitTestTable_{year}{month}{day}")]//生成表名格式 3個變數必須要有
public class SplitTestTable
{
[SugarColumn(IsPrimaryKey =true)]
public long Id { get; set; }
public string Name { get; set; }
[SplitField] //分表字段 在插入的時候會根據這個欄位插入哪個表，在更新刪除的時候也能可方便的用這個欄位找出相關表
public DateTime CreateTime { get; set; }
} 3.2初始化和同步結構
在查詢時如果一張表沒有肯定會報錯，所以程式啟動時需要建一張表和實體修改後統一更新表結構
db.CodeFirst.SplitTables().InitTables<SplitTestTable>(); //程式啟動時執行這一句就能同步結構或者初始化一張表
3.2查詢用法
（1）基礎篩選
下面表示式中的tas可以對當前分表進行篩選，Take(3)表示最近3張表，比如ERP我們可以將只查近5年資料那麼 ，按年分表就是take(5)
Db.Queryable<SplitTestTable>().Where(it => it.Name.Contains("a")).SplitTable(tas => tas.Take(3)).ToList();//先過濾在合併
Db.Queryable<SplitTestTable>().SplitTable(tas => tas.Take(3)).Where(it => it.Name.Contains("a")).ToList();//先合併在過濾
(2)精準篩選
根據分表字段的值可以精準的定位到具體是哪一個分表
Take(N)要高出很多
var name=Db.SplitHelper<SplitTestTable>().GetTableName(data.CreateTime); Db.Queryable<SplitTestTable>().Where(it => it.Id==data.Id).SplitTable(tas => tas.InTableNames(name)).ToList();
（3）表示式過濾
Db.Queryable<SplitTestTable>().Where(it => it.Id==data.Id).SplitTable(tas => tas.Where(y=>y.TableName.Contains("2019"))).ToList();
(4) 聯表查詢
//分表使用聯表查詢
var list=db.Queryable<Order>()
.SplitTable(tabs=>tabs.Take(3))//Order表只取最近3張表和Custom JOIN
.LeftJoin<Custom>((o,c)=>o.CustomId==c.Id).Select((o,c)=>new { name=o.Name,cname=c.Name }).ToPageList(1,2);
(5) 分頁查詢
var count = 0;
db.Queryable<SplitTestTable>().Where(it => it.Name.Contains("a")).SplitTable(tas => tas.Take(3)).ToPageList(1,2,ref count);//
3.3插入
因為我們用的是Long所以採用雪ID插入(guid也可以禁止使用自增列),實體結構看上面 3.1
var data = new SplitTestTable()
{
CreateTime=Convert.ToDateTime("2019-12-1"),
Name="jack"
};
db.Insertable(data).SplitTable().ExecuteReturnSnowflakeId();//插入並返回雪花ID
因為我們是根據CreateTime進行的分表，生成的SQL語句如下：
INSERT INTO [SplitTestTable_20190101] --如果表不存在會自動建表
([Id],[Name],[CreateTime])
VALUES
(@Id,@Name,@CreateTime) ;
批量插入
var datas = new List<SplitTestTable>()
{
new SplitTestTable()
{
CreateTime=Convert.ToDateTime("2019-12-1"),
Name="jack"
} ,
new SplitTestTable()
{
CreateTime=Convert.ToDateTime("2022-02-1"),
Name="jack"
},
new SplitTestTable()
{
CreateTime=Convert.ToDateTime("2020-02-1"),
Name="jack"
},
new SplitTestTable()
{
CreateTime=Convert.ToDateTime("2021-12-1"),
Name="jack"
}
};
db.Insertable(datas).SplitTable().ExecuteReturnSnowflakeIdList();
生成的Sql:
自動識別4條記錄，分別插入4個不同的表中
3.4刪除資料
（1）懶人模式刪除
最近3張表都執行一遍刪除
db.Deleteable<SplitTestTable>().In(id).SplitTable(tas=>tas.Take(3)).ExecuteCommand();
生在的SQL如下：
DELETE FROM [SplitTestTable_20220101] WHERE [Id] IN (1454675372531515392) DELETE FROM [SplitTestTable_20210101] WHERE [Id] IN (1454675372531515392) DELETE FROM [SplitTestTable_20200101] WHERE [Id] IN (1454675372531515392)
（2）精準刪除
相對於上面的操作效能更高，可以精準找到具體表
var deldata = new SplitTestTable()
{
Id = id,
CreateTime = DateTime.Now
};
var tableName = db.SplitHelper(deldata).GetTableNames();
db.Deleteable<SplitTestTable>().Where(deldata).SplitTable(tas=>tas.InTableNames(tableName)).ExecuteCommand();
生成的SQL如下:
DELETE FROM [SplitTestTable_20210101] WHERE [Id] IN (1454676863531089920)
3.5更新資料
更新的用法基本上和刪除一樣
//更新近3張表
db.Updateable(deldata).SplitTable(tas=>tas.Take(3)).ExecuteCommand();
//精準找到表名並且刪除資料
var tableName = db.SplitHelper(deldata).GetTableNames();
db.Updateable(deldata).SplitTable(tas => tas.InTableNames(tableName)).ExecuteCommand();
//通過表示式過濾出要更新的表
db.Updateable(deldata).SplitTable(tas => tas.Where(y=>y.TableName.Contains("_2019"))).ExecuteCommand();
四、 自定義分表使用
上面的分表功能是我們自帶整合的，比如我想實現自定義的分表我該如何實現呢？
4.1 按首字母拼音分表
我們就實現個按24個字母進行分表的小例子來學習一下如何自定義分表
4.2 建立分表類
public class WordSplitService : ISplitTableService
{
/// <summary>
/// 返回資料用於 tas 進行篩選
/// </summary>
/// <param name="db"></param>
/// <param name="EntityInfo"></param>
/// <param name="tableInfos"></param>
/// <returns></returns>
public List<SplitTableInfo> GetAllTables(ISqlSugarClient db, EntityInfo EntityInfo, List<DbTableInfo> tableInfos)
{
List<SplitTableInfo> result = new List<SplitTableInfo>();
foreach (var item in tableInfos)
{
if (item.Name.Contains(EntityInfo.DbTableName+"_First")) //區分標識如果不用正則符複雜一些，防止找錯表
{
SplitTableInfo data = new SplitTableInfo()
{
TableName = item.Name //要用item.name不要寫錯了
};
result.Add(data);
}
}
return result.OrderBy(it=>it.TableName).ToList();
}
/// <summary>
/// 獲取分表字段的值
/// </summary>
/// <param name="db"></param>
/// <param name="entityInfo"></param>
/// <param name="splitType"></param>
/// <param name="entityValue"></param>
/// <returns></returns>
public object GetFieldValue(ISqlSugarClient db, EntityInfo entityInfo, SplitType splitType, object entityValue)
{
var splitColumn = entityInfo.Columns.FirstOrDefault(it => it.PropertyInfo.GetCustomAttribute<SplitFieldAttribute>() != null);
var value = splitColumn.PropertyInfo.GetValue(entityValue, null);
return value;
}
/// <summary>
/// 預設表名
/// </summary>
/// <param name="db"></param>
/// <param name="EntityInfo"></param>
/// <returns></returns>
public string GetTableName(ISqlSugarClient db, EntityInfo entityInfo)
{
return entityInfo.DbTableName + "_FirstA";
}
public string GetTableName(ISqlSugarClient db, EntityInfo entityInfo, SplitType type)
{
return entityInfo.DbTableName + "_FirstA";//目前模式少不需要分類(自帶的有 日、周、月、季、年等進行區分)
}
public string GetTableName(ISqlSugarClient db, EntityInfo entityInfo, SplitType splitType, object fieldValue)
{
return entityInfo.DbTableName + "_First" + GetFirstCode(fieldValue+""); //根據值按首字母
}
#region 獲取首字母
/// <summary>
/// 在指定的字串列表CnStr中檢索符合拼音索引字串
/// </summary>
/// <param name="CnStr">漢字字串</param>
/// <returns>相對應的漢語拼音首字母串</returns>
public static string GetFirstCode(string CnStr)
{
string Surname = CnStr.Substring(0, 1);
string strTemp = GetSpellCode(Surname);
return strTemp;
}
/// <summary>
/// 得到一個漢字的拼音第一個字母，如果是一個英文字母則直接返回大寫字母
/// </summary>
/// <param name="CnChar">單個漢字</param>
/// <returns>單個大寫字母</returns>
private static string GetSpellCode(string CnChar)
{
long iCnChar;
byte[] arrCN = System.Text.Encoding.Default.GetBytes(CnChar);
//如果是字母，則直接返回
if (arrCN.Length == 1)
{
CnChar = CnChar.ToUpper();
}
else
{
int area = (short)arrCN[0];
int pos = (short)arrCN[1];
iCnChar = (area << 8) + pos;
// iCnChar match the constant
string letter = "ABCDEFGHJKLMNOPQRSTWXYZ";
int[] areacode = { 45217, 45253, 45761, 46318, 46826, 47010, 47297, 47614, 48119, 49062, 49324, 49896, 50371, 50614, 50622, 50906, 51387, 51446, 52218, 52698, 52980, 53689, 54481, 55290 };
for (int i = 0; i < 23; i++)
{
if (areacode[i] <= iCnChar && iCnChar < areacode[i + 1])
{
CnChar = letter.Substring(i, 1);
break;
}
}
}
return CnChar;
}
#endregion
}
4.2建立實體類
/// <summary>
/// 隨便設定一個分類
/// </summary>
[SplitTable(SplitType._Custom01)]
public class WordTestTable
{
[SugarColumn(IsPrimaryKey =true)]
public long Id { get; set; }
[SplitField] //標識一下分表字段
public string Name { get; set; }
public DateTime CreateTime { get; set; }
}
4.3 使用自定義分表
程式碼：
//使用自定義分表
db.CurrentConnectionConfig.ConfigureExternalServices.SplitTableService =new WordSplitService();
db.Insertable(new WordTestTable()
{
CreateTime=DateTime.Now,
Name="BC"
}).SplitTable().ExecuteReturnSnowflakeId();
db.Insertable(new WordTestTable()
{
CreateTime = DateTime.Now,
Name = "AC"
}).SplitTable().ExecuteReturnSnowflakeId();
db.Insertable(new WordTestTable()
{
CreateTime = DateTime.Now,
Name = "ZBZ"
}).SplitTable().ExecuteReturnSnowflakeId();
插入生成的SQL：
INSERT INTO [WordTestTable_FirstB]
([Id],[Name],[CreateTime])
VALUES
(@Id,@Name,@CreateTime) ;
INSERT INTO [WordTestTable_FirstA]
([Id],[Name],[CreateTime])
VALUES
(@Id,@Name,@CreateTime) ;
INSERT INTO [WordTestTable_FirstZ]
([Id],[Name],[CreateTime])
VALUES
(@Id,@Name,@CreateTime) ;
查詢指定表
var listall = db.Queryable<WordTestTable>().Where(it => it.Name == "all").SplitTable(tas => tas.ContainsTableNames("_FirstA")).ToList();
生成的SQL:
SELECT * FROM (SELECT [Id],[Name],[CreateTime] FROM [WordTestTable_FirstA] WHERE ( [Name] = @Name0UnionAll1 )) unionTable
原始碼下載：
https://github.com/donet5/SqlSugar 沒點關注的點一波關注 ，你們的贊或者一個star就是我們這些開源些的動力
Nuget安裝