Come verificare tassi di errore estremamente bassi

9

Sono di fronte al tentativo di dimostrare attraverso il test di un tasso di errore estremamente basso per un sensore (non più di 1 errore in 1.000.000 di tentativi). Abbiamo tempo limitato per condurre l'esperimento, quindi prevediamo di non essere in grado di ottenere più di circa 4.000 tentativi. Non vedo alcun problema nel mostrare che il sensore non soddisfa i requisiti, poiché anche un errore in 4.000 tentativi produrrà un intervallo di confidenza del 95% per il tasso di errore con un limite inferiore maggiore di 0,000001. Dimostrare che soddisfa il requisito, tuttavia è il problema, poiché anche 0 errori in 4.000 tentativi si traducono ancora in un limite inferiore maggiore di 0,000001. Ogni suggerimento sarà molto apprezzato.

survival sample-size quality-control

— Keith Rivenbark
fonte

10

Questo è un problema comune, in particolare con componenti o sistemi moderni che possono avere tassi di guasto fino a . Per affrontarlo, è necessario formulare ipotesi, creare modelli e / o incorporare altre forme di dati. $10^{-9}$

Lee Cadwallader di INL scrive ,

Quando non esistono dati sull'esperienza operativa per un componente, ad esempio un componente in fase di progettazione, l'analista ha diverse opzioni:

Decomposizione: decostruzione di un componente nelle sue parti costitutive e assegnazione delle percentuali di guasto del manuale alle parti. Se l'analista è sicuro dell'accuratezza dei dati delle parti, questa tecnica è noiosa ma utile; se i dati sulle parti non sono accurati, dovrebbero essere utilizzate altre tecniche.

Giudizio dell'analista: può richiedere una stima inversa basata su un requisito di disponibilità del sistema o semplicemente un giudizio ingegneristico dei tassi di errore generici per quella classe di componente.

Opinione dell'esperto: ottenere opinioni qualitative dagli esperti in materia e combinare quelle per sviluppare un tasso di fallimento dell'ordine di grandezza.

Tecniche specifiche dei componenti, ad esempio il metodo Thomas per le tubazioni.

La decomposizione viene spesso utilizzata per le parti elettroniche, come evidenziato dai manuali sui tassi di guasto dei componenti .

Altre fonti suggeriscono che i dati o l'esperienza del settore possano essere utilizzati per informare o sostituire i dati dei test.

Altre tecniche discusse su Weibull.com includono

Per valutare il tempo di usura di un componente, possono essere richiesti test a lungo termine. In alcuni casi, un ciclo di lavoro al 100% (funzionamento di pneumatici in un simulatore di usura stradale 24 ore al giorno) può fornire utili test di durata in mesi. In altri casi, l'uso effettivo del prodotto può essere di 24 ore al giorno e non è possibile accelerare il ciclo di lavoro. Potrebbero essere necessarie sollecitazioni fisiche di alto livello per abbreviare i tempi del test. Questa è una tecnica emergente di valutazione dell'affidabilità denominata QALT (Quantitative Accelerated Life Testing) che richiede la considerazione della fisica e dell'ingegneria dei materiali da testare.

In una nota cautelativa, sembra esserci uno stretto parallelo tra questo problema e quello della stima di altri eventi rari come attacchi di asteroidi e fallimenti catastrofici nel sistema finanziario: i "cigni neri" di Taleb . . Questi ultimi tassi erano notoriamente sottostimati.

— whuber
fonte

Molto bella. Presumo che l'approccio della "decomposizione" sarebbe seguito da un'ipotesi di indipendenza dei fallimenti. Mi chiedo quanto spesso sia vero (o che ci siano prove empiriche per giustificarlo).

— Karl,

1

@Karl In linea di principio, è possibile compensare una certa dipendenza tra i guasti. Un modo è attraverso l'analisi dell'albero dei guasti e l'analisi dell'albero degli eventi ( ibid. ). È necessario disporre di un modello completo e accurato dell'intero sistema affinché ciò abbia successo, e anche in questo caso non verranno presi in considerazione eventi esogeni rari imprevisti. La morale è che qualsiasi stima onesta del tasso di fallimento / errore sarà fortemente qualificata con ipotesi.

— whuber

7

Non c'è modo di dimostrare un tasso di errore <1 / 1.000.000 con solo 4.000 prove. È necessario in qualche modo selezionare gli errori (eseguire più prove in parallelo e guardare solo i casi che generano un errore) o applicare una sorta di stress che aumenterebbe la possibilità di un errore e quindi estrapolare da condizioni stressate a condizioni normali.

Questo è quello che farebbero i genetisti, comunque ...

— Karl
fonte

1

$1/10^6$ $4000$

Ci possono essere alcuni casi speciali in cui è possibile dimostrare il livello desiderato di affidabilità usando un numero così limitato di test, ad esempio prendendo in considerazione qualcosa sulla fisica della situazione. Ma sono rari e quel tipo di ragionamento è fragile.

— DW
fonte