多线程环境中的文件访问策略(Web应用程序)

这是我用来确保文件不被其他进程锁定的代码。这不是100%的万无一失,但大部分时间都能完成工作:

    /// <summary>
    /// Blocks until the file is not locked any more.
    /// </summary>
    /// <param name="fullPath"></param>
    bool WaitForFile(string fullPath)
    {
        int numTries = 0;
        while (true)
        {
            ++numTries;
            try
            {
                // Attempt to open the file exclusively.
                using (FileStream fs = new FileStream(fullPath,
                    FileMode.Open, FileAccess.ReadWrite, 
                    FileShare.None, 100))
                {
                    fs.ReadByte();

                    // If we got this far the file is ready
                    break;
                }
            }
            catch (Exception ex)
            {
                Log.LogWarning(
                   "WaitForFile {0} failed to get an exclusive lock: {1}", 
                    fullPath, ex.ToString());

                if (numTries > 10)
                {
                    Log.LogWarning(
                        "WaitForFile {0} giving up after 10 tries", 
                        fullPath);
                    return false;
                }

                // Wait for the lock to be released
                System.Threading.Thread.Sleep(500);
            }
        }

        Log.LogTrace("WaitForFile {0} returning true after {1} tries",
            fullPath, numTries);
        return true;
    }

显然,您可以调整超时和重试以适应您的应用程序。我使用它来处理需要一段时间才能写入的巨大ftp文件。

如果锁定的对象存储为 静止的 然后,锁应该适用于同一应用程序域中的所有线程,但也许您需要上载一个代码示例,以便我们可以查看有问题的行。

也就是说,一种想法是检查IIS是否配置为运行在 Web Garden 模式(即执行应用程序的多个进程),它会破坏锁定逻辑。虽然您可以使用互斥修复这种情况,但重新配置应用程序以在单个进程中执行会更容易,但在处理Web花园设置之前和之后检查性能是明智的,因为这可能会影响性能。

您可以用一个临时名称(“data.xml_tmp”)创建文件,当它准备好后,将名称改为它应该是的名称。这样,在它准备就绪之前,没有其他进程可以访问它。

好吧,我一直在研究这个问题,最后创建了一个压力测试模块,基本上从几个线程中敲出我的代码中的垃圾。( See Related Question )

从这一点开始,在我的代码中找到漏洞要容易得多。事实证明,我的代码实际上并不遥远,但它可以进入一条逻辑路径,这条路径基本上导致读/写操作堆叠起来,这意味着如果没有及时清除它们,它将迅速发展!

一旦我把它拿出来,再做一次压力测试,一切都很好!

所以,我什么都没做 特殊的 在我的文件访问代码中,只是确保我使用 lock 适当时的陈述(即读写时)。

如何使用 AutoResetEvent 在线程之间通信?我创建了一个控制台应用程序,它在 createfile 方法,然后将该文件复制到 main 方法

 static AutoResetEvent waitHandle = new AutoResetEvent(false);
    static string filePath=@"C:\Temp\test.txt";
    static string fileCopyPath=@"C:\Temp\test-copy.txt";
    static void Main(string[] args)
    {
        Console.WriteLine("in main method");
        Console.WriteLine();
        Thread thread = new Thread(createFile);
        thread.Start();

        Console.WriteLine("waiting for file to be processed ");
        Console.WriteLine();
        waitHandle.WaitOne();
        Console.WriteLine();

        File.Copy(filePath, fileCopyPath);
        Console.WriteLine("file copied ");

    }


    static void createFile()
    {

        FileStream fs= File.Create(filePath);            
        Console.WriteLine("start processing a file "+DateTime.Now);
        Console.WriteLine();
        using (StreamWriter sw = new StreamWriter(fs))
        {
            for (long i = 0; i < 300000000; i++)
            {
                sw.WriteLine("The value of i is " + i);

            }
        }
        Console.WriteLine("file processed " + DateTime.Now);
        Console.WriteLine();

        waitHandle.Set();
    }