1° Forum di Astronomia Amatoriale Italiano

Il primo forum di astrofili per astrofili, nato nel 2000!
Oggi è giovedì 21 agosto 2025, 2:39

Menu

* Home
* Iscriviti
* La Bacheca
* F.A.Q.
* Cerca
* Login/Logout 

Login

Nome utente:
Password:

 Ho dimenticato la password

In Linea

Visitano il forum: Nessuno e 16 ospiti

Regolamento

regolamento

Links

*
Astrocafè

Segnala bolide
* Meteoblue.com
* Previsioni seeing
* Il Meteo.it
Help Forum
 

Tutti gli orari sono UTC + 1 ora


Regole del forum


Ciao! Se devi postare una fotografia, uno scatto o un'immagine ricorda di caricare anche direttamente sul Forum la tua foto.
Questo per permettere a tutti quanti di vedere sicuramente, ora e in futuro, l'immagine postata
Qui trovi le istruzioni per il caricamento file: viewtopic.php?f=13&t=86546.



Apri un nuovo argomento Rispondi all’argomento  [ 108 messaggi ]  Vai alla pagina Precedente  1, 2, 3, 4, 5 ... 11  Prossimo
Autore Messaggio
 Oggetto del messaggio: Re: Algoritmi di somma
MessaggioInviato: mercoledì 23 novembre 2016, 7:40 
Non connesso
Avatar utente

Iscritto il: lunedì 13 febbraio 2006, 9:53
Messaggi: 14851
Tipo di Astrofilo: Visualista e Fotografo
Innanzitutto, come si suol dire oggi, grazie per la domanda :D
Il progetto in realtà l'avevo un po' accantonato, ma prevedo di tornarci su presto.
Per quanto riguarda la presunta utilità (ancora da dimostrare), dovrebbe essere nei confronti del rumore shot.
Per chi non è avvezzo, spiego meglio: come sapete i fotoni arrivano in maniera quantizzata. Per i segnali più deboli, vedere o non vedere un dettaglio è questione di manciata di fotoni in più o in meno, che però arrivano con una certa statistica.
Se prendete la sigola posa e la stretchate, vedrete dei "buchi" di segnale nelle zone in cui questo è più debole: lì è dove, in quella posa, per puro caso, è arrivato un numero minore di fotoni.
Lo scopo dell'algoritmo è migliorare queste situazioni dando meno peso ai valori più bassi del normale.
Questo non ha però nulla a che vedere con tutte le comuni sorgenti di rumore additivo, che verranno trattate in maniera classica, cioè con sigma clip e simili. Dovrebbe dare una marcia in più solo dove il segnale è più debole, insomma.

_________________
{andreaconsole.altervista.org}¦ Ballscope 300/1500 DIY "John Holmes"


Top
  Profilo   WWW  
 
 Oggetto del messaggio: Re: Algoritmi di somma
MessaggioInviato: mercoledì 23 novembre 2016, 8:02 
Non connesso
Avatar utente

Iscritto il: mercoledì 8 febbraio 2006, 15:08
Messaggi: 9627
Località: Roma
Tipo di Astrofilo: Fotografo
andreaconsole ha scritto:
Il progetto in realtà l'avevo un po' accantonato, ma prevedo di tornarci su presto.



Forza Andrea, portaci qualcosa di concreto e tangibile sugli effetti di questo algoritmo, noi aspettiamo di
utilizzarli, se dovessero fare al caso! :wink:

_________________
Immagine


Latest New: https://www.danilopivato.com/introduction/latest_news/latest_news.html


Top
  Profilo   WWW  
 
 Oggetto del messaggio: Re: Algoritmi di somma
MessaggioInviato: mercoledì 23 novembre 2016, 13:27 
Non connesso
Avatar utente

Iscritto il: domenica 8 maggio 2011, 20:54
Messaggi: 15916
Località: (Bs)
Grazie Andrea per la spiegazione ... semplice, comprensibile, ma non banale.
(E' sempre difficile trovare il compromesso). :wink:

_________________
Costanzo
"Una cosa ho imparato nella mia lunga vita: che tutta la nostra scienza è primitiva e infantile
eppure è la cosa più preziosa che abbiamo" (A. Einstein).


Top
  Profilo    
 
 Oggetto del messaggio: Re: Algoritmi di somma
MessaggioInviato: mercoledì 21 dicembre 2016, 16:21 
Non connesso
Avatar utente

Iscritto il: lunedì 13 febbraio 2006, 9:53
Messaggi: 14851
Tipo di Astrofilo: Visualista e Fotografo
Stavo ragionando di nuovo un po' sulla questione e mi e' venuto in mente un algoritmo differente da quello che inizialmente avevo in mente. Purtoppo ho scoperto che esiste gia' sotto il nome di "Auto Adaptive Weighted Average". Tra l'altro, visto che sulla carta sembra ottimale, mi chiedo come mai non sia usato. Quali sono i limiti pratici che avete incontrato?

_________________
{andreaconsole.altervista.org}¦ Ballscope 300/1500 DIY "John Holmes"


Top
  Profilo   WWW  
 
 Oggetto del messaggio: Re: Algoritmi di somma
MessaggioInviato: giovedì 22 dicembre 2016, 5:44 
Non connesso
Avatar utente

Iscritto il: martedì 12 aprile 2016, 12:48
Messaggi: 245
Località: Lombardia / Sanremo
Tipo di Astrofilo: Fotografo
Alla fine si tratta di trovare un valore medio in maniera robusta ignorando quelli che in statistica di definiscono outliers. Algoritmi ce ne sono a bizzeffe in letteratura.

Non conosco l'SD Mask, ma sigma clipping, media pesata auto-adattiva e media entropico alla fine si assomigliano più o meno tutti.

Idee per andare avanti ce ne sono: un ulteriore passo potrebbe essere usare un algoritmo cross-validato, ma servirebbe un numero di pose elevato, almeno nell'ordine della cinquantina.

Ad ogni modo, una volta preso un algoritmo che elimina efficacemente gli outliers più estremi (parlo di quelli dovuti a satelliti o aerei, non al pixel che ha ricevuto 3 fotoni in meno) sono abbastanza convinto che la differenza sia minima.

A proposito di proposte strampalate, nessuno ha mai pensato di fare un fitting della densità di probabilità di ciascun pixel con una gaussiana standard per poi valutarne analiticamente la media? Volendo si potrebbe anche usare una distribuzione di Student per valutare il range di confidenza e capire se è necessario continuare l'integrazione o se ci si può fermare…

_________________
Vecchio nick: Pj1989


Top
  Profilo    
 
 Oggetto del messaggio: Re: Algoritmi di somma
MessaggioInviato: giovedì 22 dicembre 2016, 10:47 
Non connesso
Operatore Commerciale
Avatar utente

Iscritto il: lunedì 20 marzo 2006, 11:20
Messaggi: 6848
Località: Milano
Tipo di Astrofilo: Fotografo
Ciao Andrea,

ritengo che la prossima frontiera dell'integrazione sia l'integrazione selettiva in base al tipo di regione che si sta integrando

_________________
SkyMonsters http://www.skymonsters.net
Blog http://skymonsters.wordpress.com/
"Le anime pure e riflessive sono proprio quelle che amano di più il colore" (John Ruskin, Le pietre di Venezia)
C'è sempre, in ogni passione, qualcuno che riesce a fare meglio di te. Ma rinunciare a perseguirla solo perchè non si è il migliore significa ignorare il valore e la soddisfazione del cammino intrapreso.


Top
  Profilo   WWW  
 
 Oggetto del messaggio: Re: Algoritmi di somma
MessaggioInviato: giovedì 22 dicembre 2016, 11:03 
Non connesso
Avatar utente

Iscritto il: lunedì 13 febbraio 2006, 9:53
Messaggi: 14851
Tipo di Astrofilo: Visualista e Fotografo
Pj1989 ha scritto:
Non conosco l'SD Mask, ma sigma clipping, media pesata auto-adattiva e media entropico alla fine si assomigliano più o meno tutti.

la media pesata auto-adattiva e' un procedimento iterativo convergente che sulla carta sembrerebbe molto efficace, per quello mi chiedevo come mai non sia quello piu' comunemente adoperato

Pj1989 ha scritto:
Ad ogni modo, una volta preso un algoritmo che elimina efficacemente gli outliers più estremi (parlo di quelli dovuti a satelliti o aerei, non al pixel che ha ricevuto 3 fotoni in meno) sono abbastanza convinto che la differenza sia minima.

Boh, non sono convinto: considerato il livello di stretching che serve, un algoritmo ottimizzato credo possa fare davvero la differenza...

Pj1989 ha scritto:
A proposito di proposte strampalate, nessuno ha mai pensato di fare un fitting della densità di probabilità di ciascun pixel con una gaussiana standard per poi valutarne analiticamente la media? Volendo si potrebbe anche usare una distribuzione di Student per valutare il range di confidenza e capire se è necessario continuare l'integrazione o se ci si può fermare…

Si'! era una delle opzioni che avevo in mente! ma mi sa che i punti sono troppo pochi per trovare una corrispondenza sensata...

Nicola Montecchiari ha scritto:
ritengo che la prossima frontiera dell'integrazione sia l'integrazione selettiva in base al tipo di regione che si sta integrando

Ti puoi spiegare meglio?

_________________
{andreaconsole.altervista.org}¦ Ballscope 300/1500 DIY "John Holmes"


Top
  Profilo   WWW  
 
 Oggetto del messaggio: Re: Algoritmi di somma
MessaggioInviato: giovedì 22 dicembre 2016, 16:17 
Non connesso
Avatar utente

Iscritto il: martedì 12 aprile 2016, 12:48
Messaggi: 245
Località: Lombardia / Sanremo
Tipo di Astrofilo: Fotografo
andreaconsole ha scritto:
la media pesata auto-adattiva e' un procedimento iterativo convergente che sulla carta sembrerebbe molto efficace, per quello mi chiedevo come mai non sia quello piu' comunemente adoperato

La differenza sta che la media pesata autoadattiva ad ogni iterazione riduce il peso dei punti che giacciono troppo lontani dal valore medio, il sigma clipping fa lo stesso, ma anzichè farlo con dei pesi compresi tra 0 e 1, lo fa assegnando un coefficiente di censura che può essere o 1 o 0. In altre parole la media pesata è più "delicata" e "sfumata" del sigma-clipping, ma alla fine è la stessa minestra
andreaconsole ha scritto:
Boh, non sono convinto: considerato il livello di stretching che serve, un algoritmo ottimizzato credo possa fare davvero la differenza...

Guarda il problema da un punto di vista statistico: quello che succede è che il pixel dovrebbe avere un valore "giusto" x. A causa del rumore e della quantizzazione della luce però noi otteniamo un valore xi. Per il teorema centrale del limite il valore atteso E[xi] = x. Quindi tutto si riassume in una banale "media". Tutto sta nel farlo in maniera robusta, senza farsi condizionare dagli outliers.
andreaconsole ha scritto:
Si'! era una delle opzioni che avevo in mente! ma mi sa che i punti sono troppo pochi per trovare una corrispondenza sensata...

Vogliamo provare? Io sono abbastanza ferrato a lavorare con MATLAB, che non è il linguaggia adatto a scrivere un programma stand-alone da zero, ma va molto bene per fare questi esperimenti numerici. Purtroppo la competenza con MATLAB è bilanciata da una assoluta incompetenza in ambito di fotografia astronomica :mrgreen: (ho scattato in tutto 5 foto di cui nessuna degna di questo nome :lol: ). Se avessi dei file sono disponibile per un esperimento "condiviso" per studiare un po il problema.

Tra l'altro è un problema molto molto simile alla mia attuale ricerca di PhD che sto facendo, ma dovrebbe essere un po' più facile (nella mia ricerca ho a che fare con un problema multi-variato multi-modale funzione di ulteriori 4-5 parametri :crazy: )

_________________
Vecchio nick: Pj1989


Top
  Profilo    
 
 Oggetto del messaggio: Re: Algoritmi di somma
MessaggioInviato: giovedì 22 dicembre 2016, 22:30 
Non connesso
Avatar utente

Iscritto il: domenica 8 maggio 2011, 20:54
Messaggi: 15916
Località: (Bs)
( :wtf: Un pizzico di binomiale ... none? :mrgreen: )

_________________
Costanzo
"Una cosa ho imparato nella mia lunga vita: che tutta la nostra scienza è primitiva e infantile
eppure è la cosa più preziosa che abbiamo" (A. Einstein).


Top
  Profilo    
 
 Oggetto del messaggio: Re: Algoritmi di somma
MessaggioInviato: venerdì 23 dicembre 2016, 9:22 
Non connesso
Avatar utente

Iscritto il: lunedì 13 febbraio 2006, 9:53
Messaggi: 14851
Tipo di Astrofilo: Visualista e Fotografo
Luca, quello che dici e' ovviamente tutto corretto, visto che fai riferimento alle basi della statistica, ma il problema e' ben piu' complesso e sfaccettato di quel che mi pare tu stia considerando, e le armi potenzialmente nelle nostre mani sono secondo me ben piu' interessanti di una banale media.
Non a caso, per quanto ti possano apparire simili, i risultati delle differenti tecniche di rimozione degli outliers sono effettivamente diversi a seconda del tipo di materiale in ingresso (se non ricordo male, sigma median lavora meglio di sigmaclip con poche pose, ad esempio), segno che qualcosa si puo' fare per ottimizzare.

Innanzitutto vorrei evidenziare che il rumore che riscontriamo alla fine e' la somma di diversi contributi, in origine non tutti gaussiani (vedasi lo shot noise).
Non mi spendo in una descrizione puntuale perche' ci sono tante interessanti fonti in rete. Una particolarmente chiara e' ad esempio questa:
http://qsimaging.com/ccd_noise.html
o questa:
http://www.photometrics.com/resources/t ... fs/snr.pdf

Ora, posto che l'obiettivo dell'astrofotografo e' evidenziare quanto piu' segnale possibile, senza un preciso limite, non tutte le sorgenti di rumore sono uguali e non tutti i metodi per combatterlo sono ugualmente efficienti.
Innanzitutto si possono fare pose lunghe.
Come puoi facilmente immaginare, quello che avviene all'interno della singola posa e' una "media" (tecnicamente e' una somma, ma rapportata al tempo di esposizione e' la stessa cosa) del segnale e del rumore, che abbatte efficacemente tutte le sorgenti gaussiane o che ad un certo punto diventano tali (la distribuzione poissoniana tende ad una gaussiana al crescere del numero dei campioni).
In sostanza le pose lunghe combattono efficacemente tutte le sorgenti di rumore incorrelate. In particolare combatte bene il rumore di lettura che, essendo indipendente dal tempo, diventa rapidamente trascurabile al crescere della durata della posa. Rimane solo quello dovuto ad interferenze elettroniche, che puo' essere lavorato con tecniche di filtraggio nel dominio della frequenza. Di contro le pose lunghe sono irrimediabilmente vittime degli outliers (raggi cosmici, satelliti...), qiundi una sola posa non sarebbe di sicuro sufficiente in ogni caso.
In ogni caso poi le pose non possono essere infinitamente lunghe, anzi spesso il limite e' relativamente basso, vuoi per la difficolta' di ottenere pose ben guidate per un lungo tempo, vuoi per il rischio crescente che qualcosa vada storto nella singola posa, vuoi per minimizzare gli effetti del seeing "lento", vuoi soprattutto per evitare fenomeni di saturazione dovuti a stelle e fondo cielo.

Per questo motivo si utilizza la composizione di piu' pose relativamente brevi.
In questo caso pero' diventa piu' importante conoscere le componenti del rumore, perche' qualcosa cambia:
- la quantizzazione del segnale comincia ad avere piu' peso: nelle regioni in cui il segnale e' piu' debole, il numero di fotoni rivelati e' comparabile con la soglia del convertitore A/D
- lo shot noise comincia ad avere effettivamente una distribuzione poissoniana, e si vede perche' la somma "stretchata" presenta dei "buchi" nelle zone piu' deboli


Tra le armi a nostra disposizione e che mi piacerebbe utilizzare, posto che innanzitutto i contributi dei pixel deve assolutamente essere uniformato con dark e flat per conferirgli il giusto valore statistico, ricordo:
- ovviamente, la statistica sul medesimo pixel, che e' quello che normalmente si fa
- una ricca fonte di informazione sul rumore, ricavabile dai milioni di pixel presenti in ogni posa, che ci consente di caratterizzarlo con grande precisione
- la comparazione fra i dati di pixel vicini (nelle varie pose), per riconoscere ad esempio un "buco" di segnale vero fra compagni piu' luminosi da un effetto dell'arrivo randomico dei fotoni) o anche un outlier in maniera piu' efficace.

In particolare vorrei, ma le mie basi di statistica non sono sufficientemente solide, capire quanta informazione sia possibile ricavare dalla seconda fonte, con l'obiettivo di distinguere e quantificare le varie tipologie di sorgente di rumore e magari riuscire a sfruttare questi dati in maniera proficua.

Detto questo, se puoi aiutarmi in questa direzione, sarei ben felice di avviare una collaborazione (ho gia' fatto diverse simulazioni con matlab, andando un po' a sentimento, ma finora non ho trovato risultati interessanti)

_________________
{andreaconsole.altervista.org}¦ Ballscope 300/1500 DIY "John Holmes"


Top
  Profilo   WWW  
 
Visualizza ultimi messaggi:  Ordina per  
Apri un nuovo argomento Rispondi all’argomento  [ 108 messaggi ]  Vai alla pagina Precedente  1, 2, 3, 4, 5 ... 11  Prossimo

Tutti gli orari sono UTC + 1 ora


Chi c’è in linea

Visitano il forum: Nessuno e 16 ospiti


Non puoi aprire nuovi argomenti
Non puoi rispondere negli argomenti
Non puoi modificare i tuoi messaggi
Non puoi cancellare i tuoi messaggi
Non puoi inviare allegati

Cerca per:
Vai a:  
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Traduzione Italiana phpBBItalia.net basata su phpBB.it 2010