Domande taggate «regularization»

4
Perché l'aggiunta di un livello di dropout migliora le prestazioni di deep / machine learning, dato che il dropout elimina alcuni neuroni dal modello?
Se la rimozione di alcuni neuroni si traduce in un modello con prestazioni migliori, perché non utilizzare in primo luogo una rete neurale più semplice con meno strati e meno neuroni? Perché costruire un modello più grande e complicato all'inizio e sopprimerne parti in seguito?
2
Perché usare la regolarizzazione L1 su L2?
Conducendo un modello di regressione lineare usando una funzione di perdita, perché dovrei usare invece della regolarizzazione ?L1L1L_1L2L2L_2 È meglio prevenire l'eccessivo adattamento? È deterministico (quindi sempre una soluzione unica)? È meglio nella selezione delle caratteristiche (perché produce modelli sparsi)? Dissipa i pesi tra le caratteristiche?
3
Come fare il prodotto interno in lotti a Tensorflow?
Ho due tensori a:[batch_size, dim] b:[batch_size, dim]. Voglio fare un prodotto interno per ogni coppia nel lotto, generando c:[batch_size, 1], dove c[i,0]=a[i,:].T*b[i,:]. Come?
10 tensorflow  scikit-learn  svm  cross-validation  feature-selection  bayesian  machine-learning  decision-trees  parameter-estimation  neural-network  convnet  neural-network  regularization  visualization  machine-learning  similarity  python  pandas  indexing  r  data-cleaning  machine-learning  predictive-modeling  data-cleaning  recommender-system  python  sequential-pattern-mining  software-recommendation  r  visualization  gaussian  distribution  machine-learning  data-mining  bigdata  apache-hadoop  predictive-modeling  logistic-regression  sampling  machine-learning  regression  feature-selection  mongodb  neural-network  inception  machine-learning  classification  dataset  databases  logistic-regression  deep-learning  backpropagation  classification  data-mining  multilabel-classification  text-mining  data-cleaning  unsupervised-learning  anomaly-detection  python  r  python  pandas 
3
Scelta del metodo di regolarizzazione nelle reti neurali
Durante l'addestramento delle reti neurali, ci sono almeno 4 modi per regolarizzare la rete: L1 regolarizzazione Regolarizzazione L2 Buttare fuori Normalizzazione in lotti oltre ovviamente ad altre cose come la condivisione del peso e la riduzione del numero di connessioni, che potrebbe non essere regolarizzazione nel senso più stretto. Ma …
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.