1° Forum di Astronomia Amatoriale Italiano

Si fa tutto! Però aspettiamo che passino questi giorni di feste
Lo spazio da 1TB sarebbe una grande comodità

_________________

Mauro Narduzzi
Responsabile sezione Astronomia
www.skypoint.it

Beh… diciamo che ci tengo su anche altri dati… ma un 100/150 GB da dedicare a questo lavoro non dovrebbero essere un problema.

Ringraziamo zio Microsoft e mamma Politecnico per l'account business


Sent from my iPhone using Tapatalk

_________________
Vecchio nick: Pj1989

Ho creato la cartella in questione. Per "invitare" persone ho bisogno della mail.
Mauro, Andrea e chiunque altro sia interessato a partecipare ATTIVAMENTE (per ho vuole solo sbirciare teniamo aggiornato il post) fornendo foto di prova o lavorando sugli algoritmi per favore [b] mandatemi un messaggio privato con la vostra mail in modo da potervi aggiungere alla cartella [\b].

Avviso che serve possedere un account Microsoft, ma credo che chiunque abbia Windows 10 già lo abbia. In caso contrario si può creare gratuitamente in pochi minuti.

Ciao a tutti e buon natale


Sent from my iPhone using Tapatalk

_________________
Vecchio nick: Pj1989

Voglio uppare ancora una volta questo 3D .

La ragione è semplice:
vedo che la Scienza Statistica trova finalmente
una splendida applicazione concreta molto utile,
non finalizzata a scopi elettorali o di lucro.

Poi mi piacerebbe che il trattamento delle immagini fosse un protocollo aperto,
dichiarato, in modo da diventare una procedura scientifica ed obiettiva,
non solo una ricerca estetica e di gusto.

Appena potrò dare una mano con qualche foto (in un lontano futuro)
lo farò volentieri.

Ciao .

_________________
Costanzo
"Una cosa ho imparato nella mia lunga vita: che tutta la nostra scienza è primitiva e infantile
eppure è la cosa più preziosa che abbiamo" (A. Einstein).

Ippo, la ricerca statistica è già aperta*, dichiarata e applicata in maniera scientifica e rigorosa.

Esistono fior fiore di articoli scientifici sull'argomento. Basti pensare che il Drizzle ora disponibile in Deep Sky Stacker fu sviluppato per Hubble dalla NASA.

Per quanto riguarda il thread proprio oggi ho fatto alcuni esperimenti con vari algoritmi applicati a dati random sintetici (niente foto). Appena riesco faccio un post per illustrare i risultati (non molto incoraggianti a dire il vero)


Sent from my iPhone using Tapatalk

_________________
Vecchio nick: Pj1989

Scusate se ci ho messo un po' a rispondere.
Ho fatto alcuni test e i risultati sono interessanti.
Innazitutto vi illustro la metodologia in modo che possiate dirmi se secondo voi ha senso ciò che ho fatto o se cambiereste qualcosa.

1) Ho generato dei dati composti da 50 campioni (un numero ragionevole di foto) con una deviazione standard prefissata (5, 10 o 15) a cui ho aggiunto un certo numero (10, 20 e 40% del numero totale di campioni) di outliers rappresentati da una distribuzione uniforma compresa tra (mu +/- 40% i.e. tra 75 e 175).

2) A questo punto per ogni set di dati ho calcolato il valore "medio" calcolato con alcuni metodi. In particolare:
- media "classica"
- k-sigma clipping
- autoadaptive weighted average (vedi nota)
- empirical PDF fitting (il metodo di cui stiamo parlando su questo topic) realizzato con la funzione matlab FITDIST (documentazione).

3) ho ripetuto la procedura 100'000 volte e ho generato la distribuzione dei valori previsti da ciascun metodo.

Risultati:
Vi allego la figura

(nota: le curve blu e viola sono perfettamente sovrapposte)

A mio parere da questo semplice test ci sono due informazioni interessanti:
1) L'autoadaptive weighted average ha prestazioni solo minimamente migliori rispetto al sigma-clipping
2) Sorprendentemente la media "classica" si comporta piuttosto bene nel caso di dati rumorosi. Persino meglio dei metodi più elaborati!
3) Il valore stimato da FITDIST è esattamente identico alla media "classica" Questo però credo dipenda da come funziona FITDIST. Ora sto riprovando con una procedura iterativa di gradient-descend. Questa seconda procedura però è molto più lenta, ma almeno ci fa capire se l'idea ha senso.

NOTA RIGUARDO L'AUTOADAPTIVE WEIGHTED AVERAGE
Il paper a cui sia DSS, sia altri fanno riferimento riguardo l'autoadaptive weighted average (AAWA per gli amici), è sempre Artificial Skepticism (AS) (Stetson 1989, V Advanced School of Astrophysics [Univerisidade de Sao Paulo], p.1.) . Peccato che questo paper non sia indicizzato Scopus!!! Fatto sta che cercando ho trovato l'equazione

riportata quasi sempre con le stesse identiche parole. Peccato che in questa definizione non sia chiaro cosa sia il valore di sigma_i dato che non ha senso parlare di "deviazione standard di un campione"! La deviazione standard va riferita a una popolazione!
Cercando ancora ho trovato questo sito https://ned.ipac.caltech.edu/level5/Ste ... tents.html. Si tratta di un sito arcaico di 27 anni fa, ma credo che la citazione venga da qui, ma non sono comunque riuscito a trovare il punto esatto in cui compare la formula.

Nella mia riscrittura dell'AAWA ho dovuto quindi "improvvisare" e la cosa più logica mi è sembrata usare una deviazione standard "pesata" (presa da qui) con i pesi w_i dell'iterazione precedente.

Vi tengo aggiornati...
PS: l'invito ad aiutare è sempre aperto

_________________
Vecchio nick: Pj1989

Ciao.
Chiedo venia, ma gli outliers rappresenterebbero il disturbo?
(Ho scritto una cavolata? )

_________________
Costanzo
"Una cosa ho imparato nella mia lunga vita: che tutta la nostra scienza è primitiva e infantile
eppure è la cosa più preziosa che abbiamo" (A. Einstein).

Si, rappresentano campioni "anomali". Per esempio un pixel che è teoricamente quasi nero (fondo cielo) in uno scatto potrebbe essere rosso o bianco a causa di aerei, satelliti o raggi cosmici.

Sono campioni che non rispettano la "normale" distribuzione dei valori in quel punto


Sent from my iPhone using Tapatalk

_________________
Vecchio nick: Pj1989

E il rumore elettronico dei pixel lo immagini già eliminato dalla calibrazione?
O forse è dentro nella gaussiana del segnale? (Ho sparato una c.? )

_________________
Costanzo
"Una cosa ho imparato nella mia lunga vita: che tutta la nostra scienza è primitiva e infantile
eppure è la cosa più preziosa che abbiamo" (A. Einstein).

La prima. Dovrebbe venire eliminato dalla calibrazione. In alternativa rientra negli outliers.

Ad ogni modo questa era solo una prova su un campione sintetico per vedere come si comportano i vari metodi. Lo step successivo sarebbe quello di provare ad applicarlo a foto vere


Sent from my iPhone using Tapatalk

_________________
Vecchio nick: Pj1989