Domande taggate «precision»

Per domande relative alla precisione numerica nella programmazione. Per la precisione della classificazione utilizzare il tag [precision-richiamo].



7
C # DateTime.Now precisione
Ho appena riscontrato un comportamento imprevisto con DateTime.UtcNow mentre eseguivo alcuni test unitari. Sembra che quando chiami DateTime.Now/UtcNow in rapida successione, sembra che ti restituisca lo stesso valore per un intervallo di tempo più lungo del previsto, piuttosto che acquisire incrementi di millisecondi più precisi. So che esiste una classe …

6
Quanti numeri doppi ci sono tra 0,0 e 1,0?
Questo è qualcosa che ho in mente da anni, ma non ho mai avuto il tempo di chiederlo prima. Molti (pseudo) generatori di numeri casuali generano un numero casuale compreso tra 0,0 e 1,0. Matematicamente ci sono numeri infiniti in questo intervallo, ma doubleè un numero in virgola mobile e …

2
Perché 199.96 - 0 = 200 in SQL?
Alcuni clienti ricevono bollette strane. Sono stato in grado di isolare il problema principale: SELECT 199.96 - (0.0 * FLOOR(CAST(1.0 AS DECIMAL(19, 4)) * CAST(199.96 AS DECIMAL(19, 4)))) -- 200 what the? SELECT 199.96 - (0.0 * FLOOR(1.0 * CAST(199.96 AS DECIMAL(19, 4)))) -- 199.96 SELECT 199.96 - (0.0 * …


1
Perché np.dot non è impreciso? (array n-dim)
Supponiamo di prendere np.dotdue 'float32'array 2D: res = np.dot(a, b) # see CASE 1 print(list(res[0])) # list shows more digits [-0.90448684, -1.1708503, 0.907136, 3.5594249, 1.1374011, -1.3826287] Numeri. Tranne che possono cambiare: CASO 1 : fettaa np.random.seed(1) a = np.random.randn(9, 6).astype('float32') b = np.random.randn(6, 6).astype('float32') for i in range(1, len(a)): print(list(np.dot(a[:i], …
15 python  c  arrays  numpy  precision 

5
Somma efficiente e stabile dei numeri ordinati
Ho un elenco abbastanza lungo di numeri positivi in ​​virgola mobile ( std::vector<float>, dimensione ~ 1000). I numeri sono ordinati in ordine decrescente. Se li riassumo seguendo l'ordine: for (auto v : vec) { sum += v; } Immagino di poter avere qualche problema di stabilità numerica, poiché vicino alla …
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.