Domande taggate «scala»

Scala è un linguaggio di programmazione generico destinato principalmente alla Java Virtual Machine. Progettato per esprimere schemi di programmazione comuni in modo conciso, elegante e sicuro per i tipi, fonde stili di programmazione imperativi e funzionali. Le sue caratteristiche principali sono: un avanzato sistema di tipo statico con inferenza di tipo; tipi di funzione; pattern-matching; parametri e conversioni implicite; sovraccarico dell'operatore; piena interoperabilità con Java; concorrenza

Scala: scrivere una stringa su un file in un'istruzione

Per leggere i file in Scala, c'è Source.fromFile("file.txt").mkString Esiste un modo equivalente e conciso per scrivere una stringa su file? Molte lingue supportano qualcosa del genere. Il mio preferito è Groovy: def f = new File("file.txt") // Read def s = f.text // Write f.text = "file contents" Vorrei usare …

144 scala scala-2.9

Qual è la differenza tra == e .equals in Scala?

Qual è la differenza tra ==e .equals()in Scala e quando usare quale? L'implementazione è la stessa di Java? EDIT: la domanda correlata parla di casi specifici di AnyVal. Il caso più generale è Any.

144 scala equality scala-java-interop

Come disattivare la registrazione INFO in Spark?

Ho installato Spark usando la guida di AWS EC2 e posso avviare il programma bin/pysparkcorrettamente usando lo script per accedere al prompt spark e posso anche eseguire la guida Quick Start con successo. Tuttavia, non posso per la vita di me capire come fermare tutto il INFOlog dettagliato dopo ogni …

144 python scala apache-spark hadoop pyspark

Come selezionare la prima riga di ciascun gruppo?

Ho un DataFrame generato come segue: df.groupBy($"Hour", $"Category") .agg(sum($"value") as "TotalValue") .sort($"Hour".asc, $"TotalValue".desc)) I risultati sembrano: +----+--------+----------+ |Hour|Category|TotalValue| +----+--------+----------+ | 0| cat26| 30.9| | 0| cat13| 22.1| | 0| cat95| 19.6| | 0| cat105| 1.3| | 1| cat67| 28.5| | 1| cat4| 26.8| | 1| cat13| 12.6| | 1| cat23| …

143 sql scala apache-spark dataframe apache-spark-sql

Differenza tra array ed elenco in scala

In quali casi dovrei usare Array (Buffer) e List (Buffer). Solo una differenza che conosco è che gli array non sono variabili e gli elenchi sono covarianti. Ma per quanto riguarda le prestazioni e alcune altre caratteristiche?

142 arrays list scala scala-collections

Spark: carica il file CSV come DataFrame?

Vorrei leggere un CSV in Spark e convertirlo come DataFrame e memorizzarlo in HDFS con df.registerTempTable("table_name") Ho provato: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") Errore che ho ricevuto: java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [49, 59, 54, 10] at …

142 scala apache-spark hadoop apache-spark-sql hdfs

Come convertire l'oggetto RDD in frame di dati in Spark

Come posso convertire un RDD ( org.apache.spark.rdd.RDD[org.apache.spark.sql.Row]) in un Dataframe org.apache.spark.sql.DataFrame. Ho convertito un dataframe in rdd utilizzando .rdd. Dopo averlo elaborato, lo rivoglio in dataframe. Come posso fare questo ?

139 scala apache-spark apache-spark-sql rdd

Il rientro della classe case di IntelliJ Scala Plugin è assurdo

Quando una classe di case ha molti campi e i loro nomi sono lunghi, è spesso una buona idea scrivere ogni campo in ogni riga come: case class Person ( name: String, age: Int ) Questo assomiglia alla structdefinizione C / C ++ e totalmente leggibile anche quando la classe …

138 scala intellij-idea indentation case-class

Pro e contro dell'utilizzo di sbt vs maven nel progetto Scala [chiuso]

Allo stato attuale, questa domanda non è adatta al nostro formato di domande e risposte. Ci aspettiamo che le risposte siano supportate da fatti, riferimenti o competenze, ma questa domanda probabilmente solleciterà dibattiti, argomenti, sondaggi o discussioni estese. Se ritieni che questa domanda possa essere migliorata e possibilmente riaperta, visita …

138 scala maven sbt

Come accedere alle risorse di test in Scala?

Ho un file data.xmlin src/test/resources/. Come posso leggere quel file in un nuovo FileReadernel mio test data.scalain src/test/scala/?

137 scala sbt

Qual è il modo migliore per invertire l'ordinamento in scala?

Qual è il modo migliore per fare un ordinamento inverso in scala? Immagino che il seguente sia un po 'lento. list.sortBy(_.size).reverse Esiste un modo conveniente di usare sortBy ma ottenere un ordinamento inverso? Preferirei non aver bisogno di usare sortWith.

137 scala

Come ordinare per colonna in ordine decrescente in Spark SQL?

Ho provato, df.orderBy("col1").show(10)ma ha ordinato in ordine crescente. df.sort("col1").show(10)ordina anche in ordine decrescente. Ho esaminato StackOverflow e le risposte che ho trovato erano tutte obsolete o riferite a RDD . Vorrei usare il frame di dati nativo in Spark.

137 scala apache-spark apache-spark-sql

Stream vs Views vs Iterators

Quali sono le differenze tra stream, viste (SeqView) e iteratori in scala? Questa è la mia comprensione: Sono tutti elenchi pigri. I flussi memorizzano nella cache i valori. Gli iteratori possono essere utilizzati solo una volta? Non puoi tornare all'inizio e valutare di nuovo il valore? I valori della vista …

136 scala scala-collections

Come uscire da scala 2.11.0 REPL?

Nell'ultima versione di scala (2.10.3) REPL, posso digitare exitper uscire da REPL. Tuttavia, in Scala 2.11.0 questo non funziona. $ scala Welcome to Scala version 2.11.0 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_51). Type in expressions to have them evaluated. Type :help for more information. scala> exit <console>:8: error: not …

135 scala scala-2.11

Sovraccarico costruttore Scala?

Come fornite costruttori sovraccarichi in Scala?

135 scala

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.

Licensed under cc by-sa 3.0 with attribution required.