日本电影一区二区_日本va欧美va精品发布_日本黄h兄妹h动漫一区二区三区_日本欧美黄色

NET操作Excel高效低內(nèi)存的開源框架 – MiniExcel

.Net平臺上對Excel進(jìn)行操作主要有兩種方式。第一種,把Excel文件看成一個數(shù)據(jù)庫,通過OleDb的方式進(jìn)行讀取與操作;第二種,調(diào)用Excel的COM組件。兩種方式各有特點(diǎn)。

今天給大家介紹第三種方式:插件方式,目前主流框架大多需要將數(shù)據(jù)全載入到內(nèi)存方便操作,但這會導(dǎo)致內(nèi)存消耗問題,MiniExcel 嘗試以 Stream 角度寫底層算法邏輯,能讓原本1000多MB占用降低到幾MB,避免內(nèi)存不夠情況。

MiniExcel簡單、高效避免OOM的.NET處理Excel查、寫、填充數(shù)據(jù)工具。

NET操作Excel高效低內(nèi)存的開源框架 - MiniExcel

特點(diǎn)

  • 低內(nèi)存耗用,避免OOM、頻繁 Full GC 情況
  • 支持即時操作每行數(shù)據(jù)
  • 兼具搭配 LINQ 延遲查詢特性,能辦到低消耗、快速分頁等復(fù)雜查詢功能
  • 輕量,不需要安裝 Microsoft Office、COM ,DLL小于150KB
  • 簡便操作的 API 風(fēng)格

性能比較、測試

導(dǎo)入、查詢 Excel 比較

邏輯 : 以 Test1,000,000×10.xlsx做基準(zhǔn)與主流框架做性能測試,總共 1,000,000 行 * 10 列筆 "HelloWorld",文件大小 23 MB。

NET操作Excel高效低內(nèi)存的開源框架 - MiniExcel

導(dǎo)出、創(chuàng)建 Excel 比較

邏輯 : 創(chuàng)建1千萬筆 "HelloWorld"

NET操作Excel高效低內(nèi)存的開源框架 - MiniExcel

使用示例

1、讀/導(dǎo)入 Excel

1.1 Query 查詢 Excel 返回強(qiáng)型別 IEnumerable 數(shù)據(jù)

public class UserAccount{ public Guid ID { get; set; } public string Name { get; set; } public DateTime BoD { get; set; } public int Age { get; set; } public bool VIP { get; set; } public decimal Points { get; set; }}var rows = MiniExcel.Query<UserAccount>(path);// orusing (var stream = File.OpenRead(path)) var rows = stream.Query<UserAccount>();

NET操作Excel高效低內(nèi)存的開源框架 - MiniExcel

1.2 Query 查詢支援延遲加載(Deferred Execution),能配合LINQ First/Take/Skip辦到低消耗、高效率復(fù)雜查詢

var row = MiniExcel.Query(path).First();Assert.Equal("HelloWorld", row.A);// orusing (var stream = File.OpenRead(path)){ var row = stream.Query().First(); Assert.Equal("HelloWorld", row.A);}

與其他框架效率比較 :

NET操作Excel高效低內(nèi)存的開源框架 - MiniExcel

1.3 讀取大文件硬盤緩存 (Disk-Base Cache – SharedString)

概念 : MiniExcel 當(dāng)判斷文件 SharedString 大小超過 5MB,預(yù)設(shè)會使用本地緩存,如 10×100000.xlsx(一百萬筆數(shù)據(jù)),讀取不開啟本地緩存需要最高內(nèi)存使用約195MB,開啟后降為65MB。但要特別注意,此優(yōu)化是以時間換取內(nèi)存減少,所以讀取效率會變慢,此例子讀取時間從 7.4 秒提高到 27.2 秒,假如不需要能用以下代碼關(guān)閉硬盤緩存

var config = new OpenXmlConfiguration { EnableSharedStringCache = false };MiniExcel.Query(path,configuration: config)

也能使用 SharedStringCacheSize 調(diào)整 sharedString 文件大小超過指定大小才做硬盤緩存

var config = new OpenXmlConfiguration { SharedStringCacheSize=500*1024*1024 };MiniExcel.Query(path, configuration: config);

NET操作Excel高效低內(nèi)存的開源框架 - MiniExcelNET操作Excel高效低內(nèi)存的開源框架 - MiniExcel

2、寫/導(dǎo)出 Excel

  1. 必須是非abstract 類別有公開無參數(shù)構(gòu)造函數(shù)
  2. MiniExcel SaveAs 支援 IEnumerable參數(shù)延遲查詢,除非必要請不要使用 ToList 等方法讀取全部數(shù)據(jù)到內(nèi)存

NET操作Excel高效低內(nèi)存的開源框架 - MiniExcel

2.1 支持集合<匿名類別>或是<強(qiáng)型別>

var path = Path.Combine(Path.GetTempPath(), $"{Guid.NewGuid()}.xlsx");MiniExcel.SaveAs(path, new[] { new { Column1 = "MiniExcel", Column2 = 1 }, new { Column1 = "Github", Column2 = 2}});

2.2 IDataReader

  • 推薦使用,可以避免載入全部數(shù)據(jù)到內(nèi)存
  • 推薦 DataReader 多表格導(dǎo)出方式(建議使用 Dapper ExecuteReader )

using (var cnn = Connection){ cnn.Open(); var sheets = new Dictionary<string,object>(); sheets.Add("sheet1", cnn.ExecuteReader("select 1 id")); sheets.Add("sheet2", cnn.ExecuteReader("select 2 id")); MiniExcel.SaveAs("Demo.xlsx", sheets);}

3、模板填充 Excel

  • 宣告方式類似 Vue 模板 {{變量名稱}}, 或是集合渲染 {{集合名稱.欄位名稱}}
  • 集合渲染支持 IEnumerable/DataTable/DapperRow

3.1 基本填充

NET操作Excel高效低內(nèi)存的開源框架 - MiniExcel

// 1. By POCOvar value = new{ Name = "Jack", CreateDate = new DateTime(2021, 01, 01), VIP = true, Points = 123};MiniExcel.SaveAsByTemplate(path, templatePath, value);// 2. By Dictionaryvar value = new Dictionary<string, object>(){ ["Name"] = "Jack", ["CreateDate"] = new DateTime(2021, 01, 01), ["VIP"] = true, ["Points"] = 123};MiniExcel.SaveAsByTemplate(path, templatePath, value);

3.2 復(fù)雜數(shù)據(jù)填充

NET操作Excel高效低內(nèi)存的開源框架 - MiniExcel

// 1. By POCOvar value = new{ title = "FooCompany", managers = new[] { new {name="Jack",department="HR"}, new {name="Loan",department="IT"} }, employees = new[] { new {name="Wade",department="HR"}, new {name="Felix",department="HR"}, new {name="Eric",department="IT"}, new {name="Keaton",department="IT"} }};MiniExcel.SaveAsByTemplate(path, templatePath, value);// 2. By Dictionaryvar value = new Dictionary<string, object>(){ ["title"] = "FooCompany", ["managers"] = new[] { new {name="Jack",department="HR"}, new {name="Loan",department="IT"} }, ["employees"] = new[] { new {name="Wade",department="HR"}, new {name="Felix",department="HR"}, new {name="Eric",department="IT"}, new {name="Keaton",department="IT"} }};MiniExcel.SaveAsByTemplate(path, templatePath, value);

4、Excel 列屬性 (Excel Column Attribute)

4.1 指定列名稱、指定第幾列、是否忽略該列

NET操作Excel高效低內(nèi)存的開源框架 - MiniExcel

public class ExcelAttributeDemo{ [ExcelColumnName("Column1")] public string Test1 { get; set; } [ExcelColumnName("Column2")] public string Test2 { get; set; } [ExcelIgnore] public string Test3 { get; set; } [ExcelColumnIndex("I")] // 系統(tǒng)會自動轉(zhuǎn)換"I"為第8列 public string Test4 { get; set; } public string Test5 { get; } //系統(tǒng)會忽略此列 public string Test6 { get; private set; } //set非公開,系統(tǒng)會忽略 [ExcelColumnIndex(3)] // 從0開始索引 public string Test7 { get; set; }}var rows = MiniExcel.Query<ExcelAttributeDemo>(path).ToList();Assert.Equal("Column1", rows[0].Test1);Assert.Equal("Column2", rows[0].Test2);Assert.Null(rows[0].Test3);Assert.Equal("Test7", rows[0].Test4);Assert.Null(rows[0].Test5);Assert.Null(rows[0].Test6);Assert.Equal("Test4", rows[0].Test7);

4.2 DynamicColumnAttribute 動態(tài)設(shè)定 Column

var config = new OpenXmlConfiguration { DynamicColumns = new DynamicExcelColumn[] { new DynamicExcelColumn("id"){Ignore=true}, new DynamicExcelColumn("name"){Index=1,Width=10}, new DynamicExcelColumn("createdate"){Index=0,Format="yyyy-MM-dd",Width=15}, new DynamicExcelColumn("point"){Index=2,Name="Account Point"}, } }; var path = PathHelper.GetTempPath(); var value = new[] { new { id = 1, name = "Jack", createdate = new DateTime(2022, 04, 12) ,point = 123.456} }; MiniExcel.SaveAs(path, value, configuration: config);

NET操作Excel高效低內(nèi)存的開源框架 - MiniExcel

Excel 類別自動判斷

  • MiniExcel 預(yù)設(shè)會根據(jù)文件擴(kuò)展名判斷是 xlsx 還是 csv,但會有失準(zhǔn)時候,請自行指定。
  • Stream 類別無法判斷來源于哪種 excel 請自行指定

stream.SaveAs(excelType:ExcelType.CSV);//orstream.SaveAs(excelType:ExcelType.XLSX);//orstream.Query(excelType:ExcelType.CSV);//orstream.Query(excelType:ExcelType.XLSX);

Github地址

私信回復(fù):1011,獲取

相關(guān)新聞

聯(lián)系我們
聯(lián)系我們
公眾號
公眾號
在線咨詢
分享本頁
返回頂部
容城县| 乳山市| 郴州市| 连城县| 项城市| 永安市| 耒阳市| 钦州市| 湘潭市| 灌南县| 桂东县| 伊通| 南康市| 漾濞| 宿松县| 舒兰市| 顺平县| 百色市| 扬州市| 宣城市| 南丰县| 久治县| 措美县| 肇州县| 洪江市| 沈阳市| 凤阳县| 兴山县| 治县。| 江西省| 奈曼旗| 孟连| 个旧市| 修文县| 平湖市| 双鸭山市| 辽源市| 东莞市| 寿光市| 分宜县| 阜康市|