1. 项目概述在C#开发中获取文件行数是一个常见但容易被忽视的基础操作。无论是日志分析、代码统计还是数据处理准确高效地计算文件行数都可能成为影响程序性能的关键因素。本文将深入探讨C#中获取文件行数的多种实现方式并通过实际测试数据对比它们的性能差异。2. 核心方法解析2.1 File.ReadAllLines方法这是最直观的实现方式适合小型文件处理int lineCount File.ReadAllLines(file.txt).Length;原理分析一次性将整个文件内容读入内存自动按行分割为字符串数组返回数组的Length属性即为行数注意此方法会占用与文件大小相当的内存处理大文件时可能导致内存溢出2.2 StreamReader逐行读取更节省内存的实现方式int CountLines(string filePath) { using var reader new StreamReader(filePath); int count 0; while (reader.ReadLine() ! null) count; return count; }优势分析内存占用恒定与文件大小无关适合处理GB级别的大文件可中途取消读取2.3 缓冲区读取优化结合缓冲区的高效实现int CountLinesOptimized(string filePath) { const int bufferSize 65536; // 64KB缓冲区 var buffer new char[bufferSize]; int lineCount 0; using var stream new FileStream(filePath, FileMode.Open); using var reader new StreamReader(stream, Encoding.UTF8, true, bufferSize); while (!reader.EndOfStream) { int charsRead reader.Read(buffer, 0, buffer.Length); for (int i 0; i charsRead; i) if (buffer[i] \n) lineCount; } return lineCount (stream.Length 0 ? 1 : 0); }关键技术点自定义缓冲区减少I/O操作直接扫描换行符而非构造字符串处理文件末尾特殊情况3. 性能对比测试3.1 测试环境配置测试文件生成1MB-1GB的文本文件测试平台.NET 6 x64硬件配置i7-11800H, 32GB RAM, NVMe SSD3.2 测试结果数据方法1MB文件(ms)100MB文件(ms)1GB文件(ms)内存占用(MB)File.ReadAllLines1298010200文件大小50%StreamReader逐行865068001缓冲区优化版328029000.063.3 性能分析结论小文件场景(10MB)三种方法差异不大推荐使用File.ReadAllLines代码最简洁中等文件(10MB-500MB)缓冲区优化版性能优势明显内存占用仅为StreamReader的1/10大文件(500MB)必须使用流式处理缓冲区优化版速度提升2-3倍4. 特殊场景处理4.1 混合换行符处理Windows(\r\n)与Linux(\n)换行符兼容方案// 在缓冲区扫描时同时检测两种换行符 if (buffer[i] \n || (buffer[i] \r i1 charsRead buffer[i1] \n)) lineCount;4.2 空文件与单行文件边界条件处理建议// 处理文件长度为0的情况 if (new FileInfo(filePath).Length 0) return 0; // 处理无换行符的单行文件 return lineCount (hasContent ? 1 : 0);4.3 并行处理优化针对超大文件的并行处理方案Parallel.ForEach(File.ReadLines(filePath).AsParallel(), line Interlocked.Increment(ref lineCount));5. 最佳实践建议选择策略10MBFile.ReadAllLines10MB-1GB缓冲区优化版1GB考虑分块并行处理内存管理要点始终使用using语句确保资源释放避免在循环中重复创建StreamReader对大文件禁用文件缓存new FileStream(..., FileOptions.SequentialScan)异常处理模板try { // 读取操作 } catch (FileNotFoundException) { // 特殊处理文件不存在 } catch (IOException ex) when (ex is UnauthorizedAccessException or PathTooLongException) { // 权限/路径长度问题 } catch (Exception ex) { // 记录未处理的异常 throw new LineCountException(Failed to count lines, ex); }6. 扩展应用场景6.1 实时日志监控结合FileSystemWatcher实现变化检测var watcher new FileSystemWatcher(logDir); watcher.Changed (s, e) { var newLines CountLinesSinceLastCheck(e.FullPath); // 处理新增行 };6.2 代码统计工具扩展为多文件统计var codeFiles Directory.EnumerateFiles(srcDir, *.cs, SearchOption.AllDirectories); var totalLines codeFiles.AsParallel().Sum(f CountLinesOptimized(f));6.3 数据库导入预处理估算CSV文件记录数int approxRecords CountLines(csvFile) - 1; // 减去标题行在实际项目中我通常会根据具体需求封装一个LineCounter工具类集成多种计数策略和异常处理机制。对于GB级日志文件缓冲区优化版配合并行处理可以带来5-8倍的性能提升。一个容易忽视的细节是文件编码问题 - 遇到非UTF-8文件时建议先检测编码而非直接使用默认编码否则可能导致行数统计错误。
