1° Forum di Astronomia Amatoriale Italiano

Il primo forum di astrofili per astrofili, nato nel 2000!
Oggi è giovedì 21 agosto 2025, 0:39

Menu

* Home
* Iscriviti
* La Bacheca
* F.A.Q.
* Cerca
* Login/Logout 

Login

Nome utente:
Password:

 Ho dimenticato la password

In Linea

Visitano il forum: Nessuno e 15 ospiti

Regolamento

regolamento

Links

*
Astrocafè

Segnala bolide
* Meteoblue.com
* Previsioni seeing
* Il Meteo.it
Help Forum
 

Tutti gli orari sono UTC + 1 ora


Regole del forum


Ciao! Se devi postare una fotografia, uno scatto o un'immagine ricorda di caricare anche direttamente sul Forum la tua foto.
Questo per permettere a tutti quanti di vedere sicuramente, ora e in futuro, l'immagine postata
Qui trovi le istruzioni per il caricamento file: viewtopic.php?f=13&t=86546.



Apri un nuovo argomento Rispondi all’argomento  [ 108 messaggi ]  Vai alla pagina Precedente  1 ... 5, 6, 7, 8, 9, 10, 11  Prossimo
Autore Messaggio
 Oggetto del messaggio: Re: Algoritmi di somma
MessaggioInviato: giovedì 5 gennaio 2017, 19:28 
Non connesso
Avatar utente

Iscritto il: domenica 8 maggio 2011, 20:54
Messaggi: 15916
Località: (Bs)
La reject è qualcosa di più complicato di una soglia? :roll:

_________________
Costanzo
"Una cosa ho imparato nella mia lunga vita: che tutta la nostra scienza è primitiva e infantile
eppure è la cosa più preziosa che abbiamo" (A. Einstein).


Top
  Profilo    
 
 Oggetto del messaggio: Re: Algoritmi di somma
MessaggioInviato: giovedì 5 gennaio 2017, 19:43 
Non connesso
Avatar utente

Iscritto il: lunedì 13 febbraio 2006, 9:53
Messaggi: 14851
Tipo di Astrofilo: Visualista e Fotografo
reject = rigettare, solo che in inglese suona meglio :D
Puoi usare l'algoritmo che vuoi, la soglia è una possibilità

_________________
{andreaconsole.altervista.org}¦ Ballscope 300/1500 DIY "John Holmes"


Top
  Profilo   WWW  
 
 Oggetto del messaggio: Re: Algoritmi di somma
MessaggioInviato: giovedì 5 gennaio 2017, 19:55 
Non connesso
Avatar utente

Iscritto il: domenica 8 maggio 2011, 20:54
Messaggi: 15916
Località: (Bs)
Grazie per la risposta :wink: :D

_________________
Costanzo
"Una cosa ho imparato nella mia lunga vita: che tutta la nostra scienza è primitiva e infantile
eppure è la cosa più preziosa che abbiamo" (A. Einstein).


Top
  Profilo    
 
 Oggetto del messaggio: Re: Algoritmi di somma
MessaggioInviato: sabato 7 gennaio 2017, 14:34 
Non connesso
Avatar utente

Iscritto il: martedì 12 aprile 2016, 12:48
Messaggi: 245
Località: Lombardia / Sanremo
Tipo di Astrofilo: Fotografo
AGGIORNAMENTO ESPERIMENTO 2:

Nelle puntate precedenti...
Nel primo esperimento avevo generato dei dati "sintetici" per mettere alla prova i vari algoritmi esistenti e alcuni nuovi algoritmi. Questi dati erano rappresentati da un segnale gaussiano, tutti con lo stesso valore medio (125) e la stessa deviazione standard, a cui andavo ad aggiungere una certa percentuale (tra il 20 e il 40%) di dati outliers, ovvero dati "anomali", rappresentati da una distribuzione uniforme simmetrica rispetto alla media.
Allegato:
pdf.jpg
pdf.jpg [ 14.81 KiB | Osservato 1292 volte ]

I risultati erano stati interessanti, con il metodo sigma-clipping e l'autoadaptive weighted average che si comportavano sostanzialmente allo stesso modo, entrambi comunque non si comportavano particolarmente meglio della media.
Il metodo del fitting-gaussiano (quello su cui sto/stiamo lavorando) non dava risultati interessanti.

In questa puntata
Grazie all'idea di Andrea Console ho avuto una idea: ho ipotizzato di avere un set di 50 immagini da 0.5MPixel (di più erano troppo pesanti da processare).
Innanzitutto ho migliorato la creazione dei dati sintetici. Come ha sottolineato Andrea, gli outliers non sono simmetrici. Ho quindi creato una distribuzione di outliers asimmetrica tra 125 e 255.
Allegato:
pdf2.jpg
pdf2.jpg [ 13.28 KiB | Osservato 1292 volte ]


Per ognuno di questi pixel si può applicare uno dei classici algoritmi. Per ogni pixel, questi lavorano sui 50 valori che questo assume in ciascuna immagine. I risultati sono i soliti.

Qui però entra in gioco l'idea di Andrea. Poiché noi abbiamo 500'000 pixel x 50 foto, possiamo stimare abbastanza bene la distribuzione di probabilità dei dati di ciascun pixel a cui abbiamo sottratto preventivamente il suo valore medio.
A questo punto per ciascun pixel, per il quale abbiamo 50 dati, possiamo trovare il valore medio che minimizza l'errore rispetto alla distribuzione di probabilità stimata. In altre parole, ipotizziamo che per un numero di foto che tendesse all'infinito, il segnale dell'i-esimo pixel tenderebbe a quella che abbiamo stimato sull'intero sensore. Avendo però un numero finito di campioni, cerchiamo di stimare quale sia il valore medio a partire da una regressione ai minimi quadrati.

Affinchè questo metodo abbia senso occorre conoscere la risposta a due domande:
Domanda 1: nella realtà, se prendiamo due pixels che misurano due aree di cielo con la stessa intensità, la distribuzione di probabilità del segnale è uguale per tutti e due?
Domanda 2: nel caso precedente, se prendiamo due pixels che misurano due aree di cielo con intensità diversa, la distribuzione di probabilità del segnale è uguale per entrambe, una volta che si sottrae il valor medio?

La domanda 1 è una condizione necessaria affinché il metodo funzioni. Se la risposta è NO, possiamo anche fermarci qui.
La domanda 2 non è necessaria, ma aiuterebbe non poco. In caso di risposta negativa infatti non potremmo più limitarci a stimare una "master PDF", ma dovremmo stimarne una per ciascun valore di intensità media.

Detto questo, ho applicato il metodo ai dati sintetici di cui vi parlavo. Il metodo è molto lento per ora (non ho fatto nessuna ottimizzazione in questo senso) e ogni iterazione richiede circa 2 ore di calcolo. Per ora quindi ho fatto una sola prova.

I risultati sono incoraggianti.
Come potete vedere nell'immagine seguente la PDF dei dati viene stimata sufficiente bene già a partire dalla seconda iterazione del metodo. Le iterazioni successive migliorano leggermente la stima della moda del segnale, ma non in maniera drastica.
Allegato:
centeredDataPDF.jpg
centeredDataPDF.jpg [ 23.87 KiB | Osservato 1292 volte ]


Guardando il valore stimato dal metodo si vede come questo pare comportarsi meglio del k-sigma. Si fa ingannare meno dagli outliers e non stima mai dati troppo distanti dal valore medio teorico di 125.
Pare essere un successo!
Allegato:
ExpectedValuePDF.jpg
ExpectedValuePDF.jpg [ 20.63 KiB | Osservato 1292 volte ]


Nelle prossime puntate...
Adesso sto provando ad applicare il metodo ai dati di Mauro che gentilmente mi ha fornito un centinaio di FITS. Innanzitutto voglio rispondere alle due domande sopra-citate.
L'applicazione dovrebbe essere abbastanza straight-forward. MA...!
Le immagini che ho purtroppo non sono allineate. Questo fa sì che non abbia senso stackarle se prima non le allineo e... non ci riesco! Sto provando a farlo con MATLAB, ma per ora non sono riuscito a cavare un ragno dal buco. Proverò ancora nei prossimi giorni, se però qualcuno ha qualche idea la ascolto molto volentieri.

A presto
Ciao
Luca

_________________
Vecchio nick: Pj1989


Top
  Profilo    
 
 Oggetto del messaggio: Re: Algoritmi di somma
MessaggioInviato: sabato 7 gennaio 2017, 15:06 
Non connesso
Avatar utente

Iscritto il: lunedì 13 febbraio 2006, 9:53
Messaggi: 14851
Tipo di Astrofilo: Visualista e Fotografo
Ciao Luca, complimenti per i progressi! Secondo me la risposta alla 1, per immagini calibrate, è sì. La risposta alla due invece è no, ma magari di poco (solo la componente di shot noise genera differenza). Era un aspetto di cui pensavo già di sincerarmi personalmente generando un'immagine i cui pixel fossero i valori di varianza per ciascuna coordinata. Per l'allineamento dei frame puoi usare iris

CEO

_________________
{andreaconsole.altervista.org}¦ Ballscope 300/1500 DIY "John Holmes"


Top
  Profilo   WWW  
 
 Oggetto del messaggio: Algoritmi di somma
MessaggioInviato: sabato 7 gennaio 2017, 15:17 
Non connesso
Avatar utente

Iscritto il: martedì 12 aprile 2016, 12:48
Messaggi: 245
Località: Lombardia / Sanremo
Tipo di Astrofilo: Fotografo
Iris è gratuito? Non l'ho mai usato, mi sapresti dare due dritte?

Per quanto riguarda la domanda 2, complicherebbe le cose, ma ho già in mente come ovviare con un procedimento iterativo.

Il problema poi diventerà avere un algoritmo che non richiede 5 giorni per girare, ma quello è un problema che credo sia risolvibile con una ottimizzazione dal punto di vista matematico/informatico.

Sent from my iPhone using Tapatalk

_________________
Vecchio nick: Pj1989


Ultima modifica di Luca Amerio il sabato 7 gennaio 2017, 15:42, modificato 1 volta in totale.

Top
  Profilo    
 
 Oggetto del messaggio: Re: Algoritmi di somma
MessaggioInviato: sabato 7 gennaio 2017, 15:21 
Non connesso
Avatar utente

Iscritto il: lunedì 13 febbraio 2006, 9:53
Messaggi: 14851
Tipo di Astrofilo: Visualista e Fotografo
Sì è gratis. Googla iris buil per trovarlo. Troverai anche un sacco di tutorial ma a te interessa solo l'allineamento deep

CEO

_________________
{andreaconsole.altervista.org}¦ Ballscope 300/1500 DIY "John Holmes"


Top
  Profilo   WWW  
 
 Oggetto del messaggio: Re: Algoritmi di somma
MessaggioInviato: sabato 7 gennaio 2017, 17:29 
Non connesso
Avatar utente

Iscritto il: mercoledì 8 febbraio 2006, 15:35
Messaggi: 16961
Località: Dove mi portano le stelle
Tipo di Astrofilo: Visualista e Fotografo
Anche DSS è gratis e fa solo lo stacking con il salvataggio della singola immagine allineata sia come fit sia come tiff.
E mentre Iris rstituisce i fit in formato a 15 bit perchè presenta valori da -32767 a +32768 (e perciò i comuni programmi poi non considerano valori negativi se non viene sommato al fit un valore di 32767 per portarlo nel range "normale") DSS da valori da 0 a 65535. Intanto continuate che io leggo e imparo. :ook: :ook:

_________________
Cieli sereni da Renzo
Immagine

Prima di un acquisto parallelo, pensateci - link

Il titolo del topic non è un optional. Usiamolo bene!


Top
  Profilo   WWW  
 
 Oggetto del messaggio: Re: Algoritmi di somma
MessaggioInviato: sabato 7 gennaio 2017, 17:49 
Non connesso
Avatar utente

Iscritto il: domenica 8 maggio 2011, 20:54
Messaggi: 15916
Località: (Bs)
Pj1989 ha scritto:
...
Affinchè questo metodo abbia senso occorre conoscere la risposta a due domande:
Domanda 1: nella realtà, se prendiamo due pixels che misurano due aree di cielo con la stessa intensità, la distribuzione di probabilità del segnale è uguale per tutti e due?
...

Scusate se faccio una domanda scema:
gli hot pixel li avete già identificati e tolti con operazioni precedenti (calibrazione), giusto?
Rispondere sì a questa Domanda 1 (citata) significa poi ammettere che i pixel buoni hanno tutti uno standard di risposta uguale ed uniforme, mi par di capire. :shifty:

_________________
Costanzo
"Una cosa ho imparato nella mia lunga vita: che tutta la nostra scienza è primitiva e infantile
eppure è la cosa più preziosa che abbiamo" (A. Einstein).


Top
  Profilo    
 
 Oggetto del messaggio: Algoritmi di somma
MessaggioInviato: sabato 7 gennaio 2017, 18:24 
Non connesso
Avatar utente

Iscritto il: martedì 12 aprile 2016, 12:48
Messaggi: 245
Località: Lombardia / Sanremo
Tipo di Astrofilo: Fotografo
@Renzo: che scemo… uso sempre DSS ma non avevo pensato al salvataggio intermedio. Userò quello che sono più pratico…

@Ippo:
Se un pixel restituisce SEMPRE lo stesso valore, allora è eliminato in calibrazione. In caso invece in una singola foto un pixel restituisse un valore anomalo (raggio cosmico o altro) allora dovrebbe ricadere nella zona di PDF che identifica gli outliers.

Il discorso della PDF vuole dire che due pixels hanno la stessa probabilità di misurare un valore di X unità sopra o sotto il valore "giusto"

Dico una banalità, ma che magari non è ovvio per tutti: il fatto che due pixels abbiano la stessa densità di probabilità, non significa che misurino gli stessi identici valori su ogni foto. Se non è chiaro a qualcuno ditemelo che spiego meglio, ma credo sia ovvio a tutti


Sent from my iPhone using Tapatalk

_________________
Vecchio nick: Pj1989


Top
  Profilo    
 
Visualizza ultimi messaggi:  Ordina per  
Apri un nuovo argomento Rispondi all’argomento  [ 108 messaggi ]  Vai alla pagina Precedente  1 ... 5, 6, 7, 8, 9, 10, 11  Prossimo

Tutti gli orari sono UTC + 1 ora


Chi c’è in linea

Visitano il forum: Nessuno e 15 ospiti


Non puoi aprire nuovi argomenti
Non puoi rispondere negli argomenti
Non puoi modificare i tuoi messaggi
Non puoi cancellare i tuoi messaggi
Non puoi inviare allegati

Cerca per:
Vai a:  
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Traduzione Italiana phpBBItalia.net basata su phpBB.it 2010