Programmazione precision

25

Limitare i galleggianti a due punti decimali

Voglio aessere arrotondato a 13.95 . >>> a 13.949999999999999 >>> round(a, 2) 13.949999999999999 La roundfunzione non funziona nel modo previsto.

1691 python floating-point rounding precision

12

Qual'è la differenza tra float e double?

Ho letto della differenza tra precisione doppia e precisione singola. Tuttavia, nella maggior parte dei casi, floate doublesembrano essere intercambiabili, ovvero l'utilizzo dell'uno o dell'altro non sembra influire sui risultati. È davvero così? Quando sono intercambiabili float e doppi? Quali sono le differenze tra loro?

420 c++ c floating-point precision

11

Come posso stampare un doppio valore con la massima precisione usando cout?

Quindi ho ottenuto la risposta alla mia ultima domanda (non so perché non ci abbia pensato). Stavo stampando un doubleuso coutarrotondato quando non me lo aspettavo. Come posso fare coutuna stampa doubleusando la massima precisione?

332 c++ floating-point precision iostream cout

10

JavaScript visualizza un float con 2 cifre decimali

Volevo visualizzare un numero con 2 cifre decimali. Pensavo di poter usare toPrecision(2)in JavaScript. Tuttavia, se il numero è 0.05, ottengo 0.0500. Preferirei che rimanesse lo stesso. Guardalo su JSbin . Qual è il modo migliore per farlo? Posso pensare di codificare alcune soluzioni, ma immagino (spero) che sia integrato …

316 javascript floating-point precision

3

Come interpretare la precisione e la scala di un numero in un database?

Ho la seguente colonna specificata in un database: decimale (5,2) Come si interpreta questo? In base alle proprietà della colonna visualizzate in SQL Server Management studio, posso vedere che significa: decimale (precisione numerica, scala numerica). Cosa significano precisione e scala in termini reali? Sarebbe facile interpretarlo come un decimale con …

245 sql database decimal scale precision

11

Ottieni DateTime.Now con precisione in millisecondi

Come posso costruire esattamente un timestamp di tempo reale con precisione in millisecondi? Ho bisogno di qualcosa come il 16.4.2013 9: 48: 00: 123. È possibile? Ho un'applicazione, in cui campiono i valori 10 volte al secondo e devo mostrarli in un grafico.

231 c# datetime precision milliseconds

6

Perché i numeri in virgola mobile sono imprecisi?

Perché alcuni numeri perdono precisione quando memorizzati come numeri in virgola mobile? Ad esempio, il numero decimale 9.2può essere espresso esattamente come un rapporto di due numeri decimali ( 92/10), entrambi i quali possono essere espressi esattamente in binario ( 0b1011100/0b1010). Tuttavia, lo stesso rapporto memorizzato come un numero in …

198 floating-point language-agnostic precision

30

Risultati imprevisti quando si lavora con numeri interi molto grandi su linguaggi interpretati

Sto cercando di ottenere la somma di 1 + 2 + ... + 1000000000, ma sto ottenendo risultati divertenti in PHP e Node.js . PHP $sum = 0; for($i = 0; $i <= 1000000000 ; $i++) { $sum += $i; } printf("%s", number_format($sum, 0, "", "")); // 500000000067108992 Node.js var …

192 php node.js precision integer-overflow integer-arithmetic

3

Perché una conversione di andata e ritorno tramite una stringa non è sicura per una doppia?

Di recente ho dovuto serializzare un doppio nel testo e poi ripristinarlo. Il valore sembra non essere equivalente: double d1 = 0.84551240822557006; string s = d1.ToString("R"); double d2 = double.Parse(s); bool s1 = d1 == d2; // -> s1 is False Ma secondo MSDN: Stringhe di formato numerico standard , …

185 c# double tostring precision

11

Qual è la differenza tra un'operazione in virgola mobile a precisione singola e doppia precisione?

Qual è la differenza tra un'operazione a virgola mobile a precisione singola e un'operazione a virgola mobile a precisione doppia? Sono particolarmente interessato in termini pratici in relazione alle console per videogiochi. Ad esempio, il Nintendo 64 ha un processore a 64 bit e se così fosse, ciò significherebbe che …

169 floating-point precision processor operations

10

La matematica in virgola mobile è coerente in C #? Può essere?

No, questa non è un'altra domanda "Why is (1 / 3.0) * 3! = 1" . Ultimamente ho letto parecchi punti in virgola mobile; in particolare, come lo stesso calcolo potrebbe dare risultati diversi su architetture o impostazioni di ottimizzazione diverse. Questo è un problema per i videogiochi che memorizzano …

155 c# .net floating-point precision ieee-754

3

Perché l'aggiunta di 0,1 volte multiple rimane senza perdita?

So che il 0.1numero decimale non può essere rappresentato esattamente con un numero binario finito ( spiegazione ), quindi double n = 0.1perderà una certa precisione e non sarà esattamente 0.1. D'altra parte 0.5può essere rappresentato esattamente perché lo è 0.5 = 1/2 = 0.1b. Detto questo, è comprensibile che …

152 java floating-point double precision

21

Mantieni la precisione con il doppio in Java

public class doublePrecision { public static void main(String[] args) { double total = 0; total += 5.6; total += 5.8; System.out.println(total); } } Il codice sopra riportato stampa: 11.399999999999 Come potrei ottenere questo per stampare (o essere in grado di usarlo come) 11.4?

149 java floating-point double precision

8

Differenza tra toFixed () e toPrecision ()?

Sono nuovo in JavaScript e ho appena scoperto toFixed()etoPrecision() per arrotondare i numeri. Tuttavia, non riesco a capire quale sia la differenza tra i due. Qual'è la differenza tra number.toFixed()e number.toPrecision()?

124 javascript rounding precision

3

Controllo del numero di cifre decimali nell'output di stampa in R

C'è un'opzione in R per ottenere il controllo sulla visualizzazione delle cifre. Per esempio: options(digits=10) dovrebbe fornire i risultati del calcolo in 10 cifre fino alla fine della sessione R. Nel file della guida di R, la definizione del parametro digits è la seguente: cifre: controlla il numero di cifre …

110 r precision digits r-faq output-formatting

Domande taggate «precision»