Funzione logistica con pendenza ma senza asintoti?

La funzione logistica ha un intervallo di uscita da 0 a 1 e la pendenza asintotica è zero su entrambi i lati.

Qual è un'alternativa a una funzione logistica che non si appiattisce completamente alle sue estremità? Le cui pendenze asintotiche si avvicinano allo zero ma non allo zero e l'intervallo è infinito?

sigmoid-curve

— Aksakal
fonte

Il titolo sembra essere in disaccordo con il modo in cui ho letto la tua domanda: è necessaria questa nuova funzione per avere asintoti o no?

— jld

Fondamentalmente voglio una funzione che assomigli al sigmoide ma abbia una pendenza

— Aksakal

Bene, una forma simile a un sigmoide che non si appiattisce completamente, ad es. La funzione di registro non si appiattisce completamente

— Aksakal

sign (x) \log (1 + | x |)

$\operatorname{sign}(x)\log(1 + |x|)$ ?

— steveo'america,

All'inizio del decennio chiamato, vuole che le sue funzioni di attivazione della rete neurale tornino indietro. (Mi dispiace scherzo cattivo, ma realisticamente questo è il motivo per cui le persone si sono trasferite a ReLUs) (+1 però, domanda pertinente)

— usεr11852

Risposte:

Potresti semplicemente aggiungere un termine a una funzione logistica :

f (x; a, b, c, d, e) = \frac{a}{1 + b \exp (- c x)} + d x + e

$f(x; a, b, c, d, e)=\frac{a}{1+b\exp(-cx)} + dx + e$

Gli asintoti avranno pendenze $d$ .

Ecco un esempio con $a=10, b = 1, c = 2, d = \frac{1}{20}, e = -5$ :

— COOLSerdash
fonte

Penso che questa risposta sia la migliore perché se rimpicciolisci abbastanza lontano è solo una linea retta con un piccolo movimento nel mezzo. Fornisce il comportamento più intuitivo a grandi x ma mantiene la forma sigmoidea.

— user1717828

questo sembrava funzionare per il mio set di dati, e l'ho scelto, ma la soluzione non è ideale poiché la pendenza asintotica non diminuisce

— Aksakal

Inizialmente pensavo che si fatto desiderare gli asintoti orizzontali $0$ ancora; Ho spostato la mia risposta originale alla fine. Se invece vuoi $\lim_{x\to\pm \infty} f(x) = \pm\infty$ allora qualcosa come il seno iperbolico inverso funzionerebbe?

asinh (x) = \log (x + \sqrt{1 + x^{2}})

$\text{asinh}(x) = \log\left(x + \sqrt{1 + x^2}\right)$

Questo è illimitato ma cresce come per grandie sembra $\log$ $|x|$

Mi piace molto questa funzione di trasformazione dei dati quando ho code pesanti ma possibilmente zeri o valori negativi.

Un'altra cosa bella di questa funzione è che quindi ha una piacevole derivata semplice. $\text{asinh}'(x) = \frac{1}{\sqrt{1+x^2}}$

Risposta originale

$\newcommand{\e}{\varepsilon}$ Sia nostra funzione e assumeremo $f : \mathbb R\to\mathbb R$

lim_{x \to \pm \infty} f (x) = 0.

$\lim_{x\to\pm \infty} f(x) = 0.$

Supponiamo che sia continuo. Correzione . Dagli asintoti abbiamo e analogamente esiste un tale che . Pertanto al di fuori di è in . E è un intervallo compatto, quindi per continuità è limitato su di esso. $f$ $\e > 0$

\exists x_{1} : x < x_{1} ⟹ | f (x) | < ε

$\exists x_1 : x < x_1 \implies |f(x)| < \e$

x_{2}

$x_2$

x > x_{2} ⟹ | f (x) | < ε

$x > x_2 \implies |f(x)| < \e$

[x_{1}, x_{2}]

$[x_1,x_2]$

f

$f$

(- ε, ε)

$(-\e, \e)$

[x_{1}, x_{2}]

$[x_1,x_2]$

f

$f$

Ciò significa che tale funzione non può essere continua. Funzionerebbe qualcosa come ?

f (x) = {\begin{cases} x^{- 1} & x \neq 0 \\ 0 & x = 0 \end{cases}

$f(x) = \begin{cases} x^{-1} & x\neq 0 \\ 0 & x = 0\end{cases}$

— JLD
fonte

I thread "correlati" includono questa domanda senza risposta, nel caso in cui qualcun altro si sia posto il follow-up naturale "cosa succede se si utilizza asinh in una rete neurale?" stats.stackexchange.com/questions/359245/…

— Sycorax dice

Le mie orecchie si sono davvero drizzate. In passato ho trovato utile asinh () quando si desidera "registrare cose" su numeri sia positivi che negativi. Si aggira anche nella domanda in cui è possibile entrare, dove è necessario eseguire una trasformazione del registro sui dati con zeri e si deve giudicare un valore appropriato di per

a

$a$

l o g (x + a)

$log(x + a)$

— Ingolifs

come hai potuto parametrizzare questa funzione per cambiarne la forma? in particolare, per regolare la pendenza nel punto di flesso

— Aksakal

@Aksakal se quindi semplicemente eseguendo manterrebbe la forma e gli asintotici uguali e la derivata è quindi la pendenza è zero è solo

a > 0

$a > 0$

a \cdot asinh

$a\cdot\text{asinh}$

\frac{a}{\sqrt{1 + x^{2}}}

$\frac{a}{\sqrt{1+x^2}}$

a

$a$

— jld

@Aksakal più in generale potremmo considerare l'antiderivativo di che è e consente una maggiore possibilità di cambiare la forma, o semplicemente qualcosa come

\frac{a}{\sqrt{c^{2} + (b x)^{2}}}

$\frac{a}{\sqrt{c^2 + (bx)^2}}$

\frac{a}{b} \log (b (b x + \sqrt{c^{2} + (b x)^{2}}))

$\frac ab \log\left(b\left(bx + \sqrt{c^2 + (bx)^2}\right)\right)$

a \cdot asinh (b x)

$a\cdot\text{asinh}(bx)$

— jld

Continuerò e trasformerò il commento in una risposta. Suggerisco che ha una pendenza che tende verso lo zero, ma non ha limiti.

f (x) = sign (x) \log (1 + | x |),

$f(x) = \operatorname{sign}(x)\log{\left(1 + |x|\right)},$

modifica a grande richiesta, trama, per : $|x|\le 30$

— steveo'america
fonte