使用FileStream分块读写可安全处理大文件,避免内存溢出。通过设置4KB-64KB缓冲区,循环调用Read/Write方法逐段处理数据,结合async/await提升I/O性能,合理控制缓冲区大小和对象创建,能高效稳定地操作GB级文件。
处理大文件时,直接一次性读取或写入容易导致内存溢出。C# 中的 FileStream 配合分块读写可以高效安全地操作大文件。关键在于避免将整个文件加载到内存中,而是通过缓冲区逐步处理。
通过指定缓冲区大小,逐段读取文件内容,适合处理 GB 级别的文件。
示例代码:
using (var fs = new FileStream("largefile.txt", FileMode.Open, FileAccess.Read, FileShare.Read, bufferSize: 4096, useAsync: false))
{
byte[] buffer = new byte[4096];
int bytesRead;
while ((bytesRead = fs.Read(buffer, 0, buffer.Length)) > 0)
{
// 处理 buffer 中的 bytesRead 个字节
ProcessChunk(buffer, bytesRead);
}
}
写入时同样应避免一次性写入全部数据,采用缓冲写入方式更稳定。
示例代码:
using (var fs = new FileStream("output.dat", FileMode.Create, FileAccess.Write, FileShare.None, bufferSize: 8192))
{
foreach (var chunk in GetFileChunks())
{
fs.Write(chunk, 0, chunk.Length);
}
}
合理配置参数和使用模式能显著提升大文件处理效率。
基本上就这些。正确使用 FileStream 分块读写,再大的文件也能平稳处理。