Scienza dei dati

4

Perché l'aggiunta di un livello di dropout migliora le prestazioni di deep / machine learning, dato che il dropout elimina alcuni neuroni dal modello?

Se la rimozione di alcuni neuroni si traduce in un modello con prestazioni migliori, perché non utilizzare in primo luogo una rete neurale più semplice con meno strati e meno neuroni? Perché costruire un modello più grande e complicato all'inizio e sopprimerne parti in seguito?

13 machine-learning deep-learning keras regularization dropout

3

Cosa sono gli incorporamenti dei grafici?

Di recente mi sono imbattuto in un incorporamento grafico come DeepWalk e LINE. Tuttavia, non ho ancora un'idea chiara di cosa significhino gli incastri grafici e quando utilizzarli (applicazioni)? Eventuali suggerimenti sono benvenuti!

13 graphs

3

Perché i codificatori automatici per la riduzione dimensionale sono simmetrici?

Non sono un esperto di autoencoder o reti neurali in alcun modo, quindi perdonami se questa è una domanda sciocca. Ai fini della riduzione dimensionale o della visualizzazione di cluster in dati ad alta dimensione, è possibile utilizzare un codificatore automatico per creare una rappresentazione bidimensionale (con perdita) ispezionando l'output …

13 neural-network dimensionality-reduction autoencoder

3

Perché le convoluzioni usano sempre i numeri dispari come filter_size

Se diamo uno sguardo al 90-99% dei lavori pubblicati utilizzando una CNN (ConvNet). La stragrande maggioranza di essi utilizza le dimensioni del filtro per i numeri dispari : {1, 3, 5, 7} per i più utilizzati. Questa situazione può comportare alcuni problemi: con queste dimensioni di filtro, di solito l'operazione …

13 deep-learning convnet computer-vision convolution

2

Perché l'inizializzazione di pesi e distorsioni dovrebbe essere scelta intorno a 0?

Ho letto questo: Per addestrare la nostra rete neurale, inizializzeremo ogni parametro W (l) ijWij (l) e ogni b (l) ibi (l) su un piccolo valore casuale vicino allo zero (diciamo secondo un normale (0, ϵ2) normale (0 , ϵ2) distribuzione per alcuni piccoli ϵϵ, diciamo 0.01) da Stanford Tutorial …

13 deep-learning stanford-nlp randomized-algorithms

3

Le reti neurali hanno spiegabilità come fanno gli alberi delle decisioni?

In Decision Trees, possiamo comprendere l'output della struttura ad albero e possiamo anche visualizzare come l'albero decisionale prende le decisioni. Quindi gli alberi delle decisioni hanno spiegabilità (il loro output può essere spiegato facilmente). Abbiamo spiegabilità nelle reti neurali come con gli alberi decisionali?

13 neural-network

1

Come dovrebbe essere inizializzato e regolarizzato il bias?

Ho letto un paio di articoli sull'inizializzazione del kernel e molti articoli menzionano che usano la regolarizzazione L2 del kernel (spesso con ).λ = 0,0001λ=0.0001\lambda = 0.0001 Qualcuno fa qualcosa di diverso dall'inizializzare il bias con zero costante e non regolarizzarlo? Documenti di inizializzazione del kernel Mishkin e Matas: tutto …

13 neural-network

1

Che cos'è uno strato convoluzionale 1D nell'apprendimento profondo?

Ho una buona comprensione generale del ruolo e del meccanismo dei livelli convoluzionali in Deep Learning per l'elaborazione delle immagini in caso di implementazioni 2D o 3D: "semplicemente" cercano di catturare modelli 2D nelle immagini (in 3 canali in caso di 3D). Ma recentemente mi sono imbattuto in strati convoluzionali …

13 deep-learning nlp convolution

1

Dimentica il livello in una rete neurale ricorrente (RNN) -

Sto cercando di capire le dimensioni di ciascuna variabile in un RNN nel livello di dimenticanza, tuttavia, non sono sicuro di essere sulla strada giusta. L'immagine e l'equazione successive sono tratte dal post sul blog di Colah "Capire le reti LSTM" : dove: xtxtx_t è un input di dimensione vettorem∗1m∗1m*1 …

13 neural-network rnn

3

Perché contorto se Max Pooling sta per sottocampionare l'immagine comunque?

L'idea di applicare filtri per fare qualcosa come identificare i bordi, è un'idea piuttosto interessante. Ad esempio, è possibile acquisire un'immagine di un 7. Con alcuni filtri, è possibile ottenere immagini trasformate che enfatizzano le diverse caratteristiche dell'immagine originale. L'originale 7: può essere sperimentato dalla rete come: Notare come ogni …

13 neural-network

3

Come scegliere un classificatore dopo la convalida incrociata?

Quando eseguiamo la convalida incrociata di k-fold, dovremmo semplicemente utilizzare il classificatore con la massima precisione di prova? Qual è generalmente l'approccio migliore per ottenere un classificatore dalla validazione incrociata?

13 machine-learning cross-validation

1

Qual è la differenza tra una codifica a caldo e tralasciare una codifica?

Sto leggendo una presentazione e mi consiglia di non utilizzare lasciare una codifica, ma va bene con una codifica a caldo. Pensavo fossero entrambi uguali. Qualcuno può descrivere quali sono le differenze tra loro?

13 machine-learning data-mining feature-selection feature-extraction feature-engineering

4

Possiamo trarre vantaggio dall'uso dell'apprendimento di trasferimento durante l'addestramento di modelli word2vec?

Sto cercando di trovare pesi pre-allenati di modelli già addestrati come i dati di Google News ecc. Ho trovato difficile addestrare un nuovo modello con una quantità sufficiente (10 GB ecc.) Di dati per me stesso. Quindi, voglio trarre beneficio dall'apprendimento del trasferimento in cui sarei in grado di ottenere …

13 machine-learning bigdata word2vec

2

Scalabilità dei dati in modo etico ed economico

Poche cose nella vita mi fanno piacere come scartare dati strutturati e non strutturati da Internet e usarli nei miei modelli. Ad esempio, il Data Science Toolkit (o RDSTKper i programmatori R) mi consente di estrarre molti buoni dati basati sulla posizione utilizzando IP o indirizzi e il pacchetto tm.webmining.pluginfor …

13 text-mining scraping

3

Il modo migliore per classificare set di dati con tipi misti di attributi

Vorrei sapere qual è il modo migliore per classificare un set di dati composto da tipi misti di attributi, ad esempio testuale e numerico. So di poter convertire testuale in booleano, ma il vocabolario è vario e i dati diventano troppo scarsi. Ho anche cercato di classificare i tipi di …

13 machine-learning classification