是否有一个与ApacheHadoop等价的.NET?[闭门]

你有没有考虑过使用 Hadoop's streaming?

如果你看看protocol buffers或facebook的thrift之类的项目,你会发现有时候最好使用另一种语言编写的应用程序,然后用你喜欢的语言构建胶水。

Qizmt

http://research.microsoft.com/en-us/projects/dryadlinq/default.aspx http://msdn.microsoft.com/en-us/library/dd179423.aspx

here

在来源中这样说:

微软 dropped 它的替代品( Dryad 明年,他们将发布带有Hadoop集成的MS SQL Server 2012。Azure和Windows服务器支持正在开发中,就在我们说话的时候。

它将于2012年上半年上市。

BigData

如果您正在开发一些东西,那么如果您在.Net平台上,您应该等待。

在这里

DryadLINQ 这不是你要找的。它与DFS类似,但您必须手动构建分区并分发每个分区。

Microsoft HPC

您编写的代码实际上只是直接的LINQ代码,只是没有在上执行LINQ IEnumerable<T> 你必须在电脑上执行它 PartitionedTable<T> (自建分布式数据结构)。

您可以研究RavenDb之类的东西,它为MapReduce提供了相当大的数据量的良好支持。由于它内置于.Net中,因此可以使用适当的LINQ客户端API。

http://ravendb.net/

为了让你开始,你可以阅读我的 blog

使用ApacheHadoop和流媒体可能更好,因为ApacheHadoop正由行业巨头如雅虎和Facebook积极开发和维护。所以它可以做你期望它做的事

如果您需要.NET中的解决方案,请检查Myspace实施@ MySpace Qizmt-MySpace的开源Mapreduce框架

MySpace Qizmt-MySpace的开源Mapreduce框架

HDInsight

http://research.microsoft.com/en-us/projects/daytona/

您现在可以直接从.NET使用Hadoop。Microsoft发布了一个SDK来实现这一点。

https://hadoopsdk.codeplex.com/

当然,这意味着使用基于java的Hadoop网络。但是服务器是否在java中运行有关系吗?我相信有人可能会尝试移植它,但我认为这不是一个好主意,因为公司已经在支持java版本,我认为.NET端口不会得到同样的关注。

看看:

http://www.windowsazure.com/en-us/services/hdinsight/

在内部,微软一直在使用Cosmos。这已通过Azure在Microsoft外部提供。它的名字是 Azure Data Lake Analytics 和 Azure Data Lake Store

http://mapsharp.codeplex.com/

dryad/linq正在生产中,不久将发布: http://blogs.technet.com/b/windowshpc/archive/2011/07/07/announcing-linq-to-hpc-beta-2.aspx

正如其他人提到的那样, DryadLINQ 是一个编程框架,允许开发人员以与MapReduce类似的方式编写LINQ查询并在集群上执行它们。DryadLINQ项目最近根据Apache许可证发布于 GitHub ,该版本包括对在纱线群集(包括Azure HDInsight群集)上运行的支持。