Quindi, ho guardato Hadoop con vivo interesse e, ad essere onesti, sono affascinato, le cose non diventano molto più interessanti.
Il mio unico problema minore è che sono uno sviluppatore C # ed è in Java.
Non è che non capisca Java tanto quanto cerco Hadoop.net o NHadoop o il progetto .NET che abbraccia l' approccio di Google MapReduce . Qualcuno ne conosce uno?
Risposte:
Hai mai visto l'utilizzo dello streaming di Hadoop?
Lo uso sempre in Python :-).
Comincio a vedere che l'approccio eterogeneo è spesso il migliore e sembra che altre persone stiano facendo lo stesso.
Se guardi a progetti come i buffer di protocollo o la parsimonia di Facebook, vedrai che a volte è meglio usare un'app scritta in un'altra lingua e costruire il collante nella lingua che preferisci.
Vedi http://research.microsoft.com/en-us/projects/dryadlinq/default.aspx o http://msdn.microsoft.com/en-us/library/dd179423.aspx
Recentemente, MySpace ha rilasciato il loro framework .NET MapReduce, Qizmt , come Open Source, quindi anche questo è un potenziale concorrente in questo spazio.
Ho risposto alla tua domanda nella mia domanda qui
Per dirlo qui nella fonte:
Microsoft ha abbandonato la sua alternativa ( Dryad ) a favore di Hadoop. Il prossimo anno rilasceranno MS SQL Server 2012 con l'integrazione di Hadoop. Il supporto per Azure e Windows Server è in fase di sviluppo proprio mentre parliamo.
Sarà disponibile nella prima metà del 2012.
Hadoop è la piattaforma BigData numero 1 e sarà supportata da sorgenti opensource e proprietarie (Java, .Net, Python, ...) anche Oracle la sta adottando.
Se stavi sviluppando qualcosa, dovresti aspettare se sei sulla piattaforma .Net.
Maggiori informazioni su ciò che è possibile fare saranno disponibili qui
Direi che DryadLinq è la cosa più vicina che noi persone .NET abbiamo a Hadoop. Ma dipende per cosa vuoi usare hadoop. Se stai cercando il sistema di file distribuito (DFS) di auto mantenimento ottimizzato, DryadLINQ non è quello che stai cercando. Ha un analogo al DFS ma devi costruire manualmente le partizioni e distribuire ogni partizione.
Detto questo, se è l'aspetto di esecuzione distribuita di Hadoop che stai cercando, allora DryadLINQ è davvero meraviglioso (e no, non sono affiliato a MS). Finché hai una configurazione del cluster Microsoft HPC , iniziare a usare DryadLINQ è davvero facile.
Il codice che scrivi è in realtà solo codice LINQ diretto, tranne che invece di eseguire LINQ su IEnumerable<T>devi eseguirlo PartitionedTable<T>(la struttura dati distribuita auto-compilata).
Ciò che è stato davvero interessante di DryadLINQ è il tempo di rotazione veloce (prova, prova, regola, ripeti) durante lo sviluppo degli algoritmi. Devi solo scrivere codice LINQ per eseguire i calcoli e DryadLINQ si prenderà cura dell'intera parte di esecuzione distribuita. È l'analogo più naturale che ho incontrato che rende la scrittura di codice per l'elaborazione distribuita proprio come la scrittura di codice per l'elaborazione di un singolo processo.
Puoi esaminare qualcosa come RavenDb che fornisce un supporto molto decente per MapReduce per una dimensione di dati abbastanza grande. poiché è integrato in .Net, è quindi disponibile un'API client LINQ appropriata.
Per iniziare puoi leggere il mio blog .
Potrebbe essere meglio usare Apache Hadoop e lo streaming perché Apache Hadoop è attivamente sviluppato e gestito da grandi giganti del settore come Yahoo e Facebook. Quindi può fare quello che ti aspetti che faccia.
Se hai bisogno di una soluzione in .NET, controlla l'implementazione di Myspace @ MySpace Qizmt - MySpace's Open Source Mapreduce Framework
Microsoft è in procinto di implementare HDInsight , che viene fatturato come "distribuzione Hadoop compatibile con Apache al 100%".
È disponibile sia su Windows Server che come servizio Windows Azure.
Microsoft Research ha il progetto Daytona http://research.microsoft.com/en-us/projects/daytona/
Puoi scaricarlo. C'è un esempio di WordCount in C #.
È ora possibile utilizzare Hadoop direttamente da .NET Microsoft ha rilasciato un SDK per farlo.
https://hadoopsdk.codeplex.com/
Ovviamente questo significa utilizzare la rete Hadoop basata su java. Ma importa se il server è in esecuzione in java? Sono sicuro che qualcuno potrebbe tentare di portarlo, ma non credo che sarebbe una buona idea dato che le aziende stanno già supportando la versione java e non credo che il port .NET riceverà la stessa attenzione.
Dai uno sguardo a:
http://www.windowsazure.com/en-us/services/hdinsight/
È un'implementazione di Hadoop per Azure e puoi usare .NET per accedervi.
Internamente, Microsoft ha utilizzato Cosmos. Questo è stato reso disponibile al di fuori di Microsoft tramite Azure. Si chiama Azure Data Lake Analytics e Azure Data Lake Store . L'analisi di Azure Data Lake è una specie di Yarn come servizio e di Azure Data Lake Store WebHDFS come servizio. La prima versione di Azure Data Lake Analytics ospita solo U-SQL, un linguaggio basato su Transact-SQL + C #.
C'è un'implementazione piuttosto carina di MapReduce per .NET su: http://mapsharp.codeplex.com/
dryad / linq è in fase di produzione e sarà presto rilasciato: http://blogs.technet.com/b/windowshpc/archive/2011/07/07/announcing-linq-to-hpc-beta-2.aspx utilizzare insieme con Microsoft HPC per una potente soluzione basata su cluster per l'interrogazione di dati non strutturati
Come altri hanno già detto, DryadLINQ è un framework di programmazione che consente agli sviluppatori di scrivere query LINQ ed eseguirle su un cluster, in modo simile a MapReduce. Il progetto DryadLINQ è stato recentemente rilasciato con la licenza Apache su GitHub e la versione include il supporto per l'esecuzione su cluster YARN (inclusi i cluster Azure HDInsight).