Simulatore d'esposizione in tempo reale

[francler]

Salve a tutti! Sono nuovo del forum e vorrei sottoporre alla vostra attenzione un mio dubbio / proposta.
Premetto che sono un astrofilo principiante, uso (o meglio, prendo a calci) un 114mm riflettore, e so poco o niente di astrofotografia. Da quello che ho letto in rete, uno degli "issue" è la necessità di disporre di un certo tempo d'esposizione prima di ottenere delle immagini cromaticamente definite. Questo tempo d'esposizione può raggiungere diverse ore, se non diverse notti, per gli oggetti più deboli, anche con grandi diametri.

Io suppongo che a mano a mano che la luce entra nel telescopio e raggiunge un sensore, ogni pixel aumenti la luminosità captata, in modo da avere alla fine un'immagine ben luminosa, con una gamma cromatica completa, dell'oggetto che si va ad osservare.

Quello che io mi chiedo è se esistono dei sistemi software i quali, prendendo in input un segnale luminoso (come quello trasmesso da una ccd), restituiscano a video una versione sovraesposta del capo osservato, simulando un'esposizione di diverse ore.
Mi spiego meglio con un esempio: supponiamo che vogliamo osservare una nebulosa debole. Quello che vediamo nell'oculare è una luminescenza acromatica. Ora, attacchiamo un sensore ottico che invia il segnale direttamente al software suddetto. Ciò che ci appare sullo schermo sarà la nebulosa corredata dalle sue sfumature cromatiche naturali, ottenuta mediante un algoritmo di estrapolazione dai dati forniti in pochi istanti dalla webcam, come se fosse stata esposta per diverse ore.

Schematizzato:
Diversi frame collezionati negli ultimi istanti di tempo --> il software legge questi frame e ottiene una legge di crescita di luminosità per ogni pixel --> estrapola e ottiene una versione simulata sovraesposta, come se l'esposizione fosse durata ore.
Il tutto in tempo reale.

Ecco, esiste un siffatto software? Questa domanda mi è sorta dall'insoddisfazione di non poter osservare in tempo reale tutte quelle meravigliose sfumature tipiche degli oggetti deep-sky.

Io non ho trovato nulla in realtà, e per questo mi piacerebbe tentare di scrivere io stesso un algoritmo che possa ottemperare a tal compito. L'algoritmo dovrebbe fare "learning" su un insieme di frame relativi a un intervallo molto breve, non più di un secondo, e utilizzare la variazione di ogni singolo pixel per operare una mostruosa estrapolazione a diverse ore. Io non sono sicuro che possa funzionare, soprattutto se la variazione di luminosità cambia in modo non lineare da oggetto a oggetto e da telescopio a telescopio. Però, mai dire mai.
Più in generale, mi ha sempre sorpreso che in astrofotografia e in astronomia amatoriale questo genere di tecniche (trattasi di machine learning, alla fine) siano così poco diffuse, sia da parte dei produttori, che da parte degli utilizzatori.
Comunque, domanda, qualcuno di voi sarebbe disposto a fornirmi i dati necessari a fare questo genere di prove? Se sì, fatemelo sapere per ulteriori dettagli tecnici (il post è già sufficientemente lungo).

[UpInTheSky]

mai sentito di nulla del genere... e in generale credo sia di realizzazione impossibile

se vuoi un anteprima di quello che devi fotografare hai mai pensato di fare un singolo scatto con iso molto alti tipo 6400/12800?

[francler]

Quello che ho in mente io è esattamente una specie di regolazione della sensitività, proprio come regolare l'ISO. Solo che l'ISO è un procedimento che amplifica il segnale analogico attraverso un sistema di amplificatori che applicano la stessa legge (secondo me lineare, ma non trovo report esaustivi in giro). Applicando la stessa legge per ogni cosa, si possono generare effetti collaterali come rumore digitale, rumore luminoso e rumore cromatico.
Quello che ho in mente di fare è di far apprendere all'algoritmo (adattivo) la legge di crescita della luminosità di ogni pixel, con modelli più o meno complessi (che vanno valutati anche secondo bibliografia) e che naturalmente tenga conto del risultato finale.
Per fare ciò mi occorrerebbe una serie di frame di diversi oggetti, e il risultato finale. In matematichese, questo insieme si chiama "training set", ed è rappresentabile come un insieme di tuple (\textbf{x}_n,y_n) dove x_{n,i} è l'i-esimo frame dell'oggetto celeste n. Quello che vorrei fare è trovare il miglior modello che mi permetta di prevedere l'output y data una serie di frame \textbf{x} collezionata in pochissimi istanti.

[UpInTheSky]

non credo si possa fare per un semplice motivo...

gli oggetti celesti hanno una luminosità superficiale non omogenea.

immagine di osservare M31: centro molto luminoso e bracci sempre più evanescenti man mano che si allontani dal centro...
con una breve esposizione il tuo sensore non riceve abbastanza fotoni da poter ricorstruire che so la parte più vicina al centro e se per ovviare a questo aumenti l'esposizione sarai sempre mancante della parte meno luminosa dei bracci.

quindi in sostanza facendo una istantanea di un oggetto con luminosità non omogena non riusciresti a ricostruirlo per intero perché alcune parti non verrebbero impresse nemmeno per sbaglio sul sensore

[francler]

A quel punto trovi un compromesso tra reattività, ISO e tempo d'esposizione, e ovviamente modello adeguato. Oppure puoi usare una tecnica Bayes-like, in cui ricostruisci i pixel utilizzando i valori di quelli adiacenti e dei valori di correlazione. Oppure usi metodi di imputazione per ricostruire i dati mancanti. Ci sono un miliardo di opzioni possibili. E' ovvio che ogni pixel illumina in modo differente (anche pesantemente differente) e che ci sono in gioco ordini di grandezza enormi. E magari dei dati mancanti. Se non fosse così dove starebbe tutto il divertimento di fare questa ricerca?
Questo genere di algoritmi vengono usati in una quantità enorme di campi, dagli stock exchange di Wall Street alla fisica quantistica del CERN fino alla ricerca di esopianeti con Kepler. Ci sarà un motivo se sono così diffusi. ;)

[UpInTheSky]

scusami ma se sai tutte queste cose e credi sia possibile perché non lo sviluppi tu?

[francler]

Perché ho solo un riflettore 114mm, nessuna telecamera e pochi soldi :D. Quindi, niente dati.

Oltretutto vorrei provare a farlo nei prossimi mesi perché al momento sono fresco di studi, e non vorrei ritrovarmi in futuro con la strumentazione sì adatta, ma i neuroni arrugginiti.

Uno dei motivi che mi ha spinto a iscrivermi a un forum di astronomia è stato appunto quello di trovare utenti disposti a condividere dei dati osservativi prodotti con strumentazioni buone (o almeno esistenti, che nel mio caso non sono).

[UpInTheSky]

per me "predire" che tipo di fotone colpirà il sensore è impossibile e in ogni caso si verrebbe a creare una figura sicuramente diversa da quella reale

poi non capisco dove sarebbe l'utilità quando con 1 scatto singolo ad iso medi/alti puoi vedere in 3-4-5 minuti quello che ti serve

[francler]

per me "predire" che tipo di fotone colpirà il sensore è impossibile e in ogni caso si verrebbe a creare una figura sicuramente diversa da quella reale

Hai perfettamente ragione, sono pur sempre tecniche statistiche. La differenza tra un modello statistico e uno fisico è che il primo descrive un'incertezza, mentre il secondo descrive un sistema reale. I modelli statistici vengono implementati per comprendere in modo approssimativo fenomeni estremamente complessi (come i fotoni prodotti da un corpo celeste che raggiungono un telescopio), impossibili da descrivere e/o computare con un modello fisico. Sono letteralmente approssimazioni. E' possibile contenere i fattori di incertezza? Se sì, come? Sono domande che hanno risposta, ma la risposta è lunga circa 150/200 anni di studi.


poi non capisco dove sarebbe l'utilità quando con 1 scatto singolo ad iso medi/alti puoi vedere in 3-4-5 minuti quello che ti serve
Infatti quello che vorrei tentare di fare è di abbattere questo tempo il più possibile, possibilmente fino ad arrivare ad un'applicazione real-time. Anch'io sono pesantemente dubbioso, più che altro per la complessità dei dati e la grande estrapolazione richiesta. Funzionerà? Finché non provi non lo sai.

[Gimo85]

Per me Up è stato un po' troppo sbrigativo, io mi sento di dire che questi software esistono già e sono i software di elaborazione fotografica che comunemente si utilizzano per mettere a punto le riprese.

Quello che ti sfugge è la premessa: in un secondo il sensore non rileva nulla o quasi nulla del segnale dall'oggetto deep sky, è per quello che sono necessarie le lunghe esposizioni.
Ciascuna posa di diverse ore deve essere composta da singoli fotogrammi con esposizione di diversi minuti, proprio per permettere al sensore di accumulare l'informazione sui pixel giusti e farla emergere dal rumore di fondo.

Il tuo algoritmo di machine learning può essere efficace con sensori estremamente sensibili e comunque al di sopra di un limite minimo di esposizione, pena il sovraesporre praticamente tuttob (perchè il rumore avrebbe lo stesso ordine di grandezza del segnale buono).
Da ingegnere ti avverto che le condizioni al contorno da imporre saranno praticamente tutte da inventare.

[francler]

Ho capito. E quanto tempo occorre prima che il segnale superi il rumore, di solito? Up ha scritto che a ISO medio-alti puoi vedere in pochi minuti quello che ti serve, ma anche con la giusta combinazione di ISO e apertura rischi di non vedere nulla?

PS. cosa intendi con condizioni al bordo?

[Gimo85]

Un software o un qualsiasi algoritmo deve avere delle condizioni di verifica dalle quali partire ed eventualmente procedere oppure fermarsi. Deve avere anche dei controlli intermedi per non partire per la tangente e restituire risultati assurdi. Ecco che questi controlli sono da inventare, perchè c'è da regolare non solo l'intensità del segnale, ma anche il contrasto e la saturazione dei colori e queste sono informazioni che in una posa molto breve non possono venire dalla sorgente, ma devono essere immesse dall'esterno.
In pratica se non c'è abbastanza segnale e il software non sa dove deve andare a parare darà risultati casualmente giusti, ma molto probabilmente sbagliati.

Gli oggetti deep sky sono in prima approssimazione classificabili per tipo, ma anche all'interno dello stesso tipo hanno caratteristiche peculiari, per cui la combinazione iso-esposizione adatta a uno non è detto sia adatta agli altri.
Esiste una tecnica recente, cerca nel forum lucky imaging che fa uso di sensori CMOS molto sensibili, con basso rumore di fondo e riesce a sfruttare molte esposizioni di pochi secondi, riducendo il tempo totale.
Questa tecnica è utilizzabile per ora solo su soggetti molto luminosi, per cui con pochi secondi si riesce a catturare segnale.

edit: non stiamo poi considerando l'apertura del telescopio o dello strumento di ripresa. Più è grande e a rapporto focale basso più è catturabile molto segnale in tempi più brevi.

[francler]

Ecco che questi controlli sono da inventare
E' esattamente quello che vorrei fare, ma parlerei più di modello che di controlli "à la sistema dinamico".


[...] c'è da regolare non solo l'intensità del segnale, ma anche il contrasto e la saturazione dei colori [...]
Non esattamente, quelli sono dati, che possono essere di training o di test (o di validazione). Il modello è probabilistico, non fisico, non c'è un segnale da regolare o amplificare o moltiplicare, ma probabilità da calcolare. E' ovvio che è impossibile sbattere una costante moltiplicativa calcolata come media su tante immagini e via.


[...] la combinazione iso-esposizione adatta a uno non è detto sia adatta agli altri.
Sì, infatti la variabilità è la ragione dell'analisi, e non avrebbe senso applicare il machine learning se non ci fosse variabilità (pensate agli algoritmi di riconoscimento dei cani: riescono facilmente a tenere conto della razza, distinguendo un Chihuahua da un gatto facilmente come un San Bernardo da un gatto).

Comunque, più in generale, non riesco a capire bene cosa intendete. Se fate una foto con un secondo di esposizione, cosa vedete? E se la lasciate per 10 secondi? E dopo 100? E dopo 1000? L'emersione dell'immagine non è graduale? Quand'è che la fotografia raggiunge almeno il livello del visuale? Dovrebbe esistere un intervallo temporale in cui l'essere umano non distingue nulla sul display, ma effettivamente qualcosa c'è, no? Quanto vale quell'intervallo temporale?


in un secondo il sensore non rileva nulla o quasi nulla del segnale dall'oggetto deep sky [...] deve essere composta da singoli fotogrammi con esposizione di diversi minuti
Cosa compare sul singolo fotogramma con minuti di esposizione? In un secondo non esiste sensore che rilevi qualcosa? Dopo quanto il segnale luminoso "reale" supera il rumore di fondo? Se \epsilon è una variabile aleatoria che rappresenta il rumore bianco, quand'è che \min_{pixel \in ccd}I_{pixel} \geq E[\max \epsilon] ?

Scusate le domande ma vorrei capire bene a fondo cosa intendete.
Certo, avere una serie di fotogrammi cumulativi di un'esposizione, che contengano l'emersione graduale dell'immagine, aiuterebbe a chiarirmi le idee :D

[mikyfly]

Mi piace il tuo approccio teorico ed effettivamente concordo con te: deve esistere una relazione tra tempo, sensore ed oggetto.

Non posso aiutarti da un punto di vista teorico, ma se provi a cercare tra le discussioni iniziate da Maurizio_39 potresti trovare spunti interessanti (ricordo una affascinante discussione proprio su un tema simile).

[Gimo85]

francler è più facile a vedersi che a farsi.
Gli oggetti deep sky sono spesso sistemi di oggetti diversi, che emettono radiazione in intensità e frequenze diverse, quindi se per Andromeda il primo secondo di esposizione inizia a rilevare già il nucleo galattico meglio dell'occhio umano, le propaggini più esterne hanno bisogno del 12-15esimo per emergere dal rumore (con l'occhio non si vedono proprio). Le polveri poi emergono per contrasto tra zone illuminate e zone che restano buie, interpolando l'informazione dei pixel adiacenti nel primo secondo di esposizione e senza conoscere l'oggetto lo sbaglieresti di sicuro.
In generale un sensore elettronico supera di gran lunga e dopo pochissimo l'occhio umano al telescopio.

Dovresti andare nella sezione di astrofotografia deep sky e confrontare lo stesso soggetto ripreso da astrofili diversi...i risultati per la maggior parte dei soggetti sono molto variabili, e non dipendono solo dalla strumentazione.

Mi immagino dei controlli dinamici perchè credo sia una via fattibile, per un modello ti ci vorrebbe un'esperienza sconfinata in astrofotografia, oppure un database enorme, pieno di soggetti unici, su cui tarare il modello (ma un modello dovrebbe poter camminare, così diventerebbe un sistema di riconoscimento di impronte digitali).

Confermo che servirebbe qui l'approccio analitico sulle magnitudini di Maurizio_39

[francler]

Vi ringrazio per avermi segnalato l'utente, le sue discussioni sembrano molto, molto interessanti! Inizierò a spulciarmele.

[francler]

Rispondo cercando di fare un po' di chiarezza, perché rileggendo ciò che ho scritto ho capito perché nessuno ha capito.

Parto con un micro riassunto dei concetti base di probabilità necessari a comprendere meglio la questione.

Anzitutto, cos'è la probabilità? Per rispondere è prima necessario chiarire cos'è la nozione di "evento". La prima cosa da fare per capire quale sarà l'esito di una prova, o un esperimento o di un test, è la più ovvia: fare un elenco degli esiti possibili. Questo elenco si chiama "spazio campionario", generalmente indicato con la lettera greca \Omega. Ad esempio, lo spazio campionario per gli esiti di un dado a sei facce è \{1,2,3,4,5,6\}. Un "evento" è un elemento dello spazio campionario, ad esempio \{4\} nell'esempio di un singolo lancio di un dado a sei facce. Nel caso di due lanci di un dado a sei facce, un evento può essere invece \{1,5\}, cioè ottengo prima 1 e poi 5.
Tornando al discorso iniziale, cos'è la probabilità? La probabilità è una funzione definita sullo spazio campionario a valori in [0,1]. Cioè, è una cosa in cui tu metti dentro un "evento" e ti sputa fuori un numero compreso tra zero e uno. Se il mio dado a sei facce è equilibrato (questa è un'assunzione a priori), per ogni lancio ogni numero ha una probabilità eguale di uscire, cioè P(\{x\})=\frac{1}{6} per ogni x = 1, 2, 3, 4, 5, 6.

E qui si conclude il "matematichese". Ora, mettiamo di trovarci davanti a un sistema un po' complicato. Ad esempio, facciamo finta di trovarci su un prato, sotto al cielo, quindi consideriamo il sistema prato+cielo, e vado a considerare i due spazi campionari: \Omega_1 = {"cielo nuvoloso","cielo sereno","piove"} e \Omega_2 = {"erba bagnata","erba asciutta"}. Vogliamo calcolare la probabilità che l'erba sia bagnata. Tuttavia, conosciamo il meteo attuale, e sappiamo tutti che il meteo influenza il fatto che l'erba sia bagnata o meno. Questa cosa si chiama "probabilità condizionata", ossia, sappiamo fornire delle misure di probabilità più precise di un evento A in base alla conoscenza di un evento B. Questa cosa si indica nel seguente modo: P(A|B), e si legge "P di A dato B", e significa "probabilità che accada A sapendo che è accaduto B". Tornando all'esempio di prima, quindi, è ovvio che la probabilità che l'erba sia bagnata sapendo che piove è 1 (evento certo). E' abbastanza altina se il cielo è nuvoloso (può aver piovuto da poco o siamo in una stagione piovosa), diciamo 0.4. Sappiamo che è bassa se il cielo è sereno, diciamo 0.1 (sono valori a titolo esemplificativo). Quindi: P("erba bagnata"|"piove") > P("erba bagnata"|"cielo nuvoloso") > P("erba bagnata"|"cielo sereno"). Ovviamente per l'erba asciutta la catena di disuguaglianze è ribaltata: P("erba asciutta"|"piove") < P("erba asciutta"|"cielo nuvoloso") < P("erba asciutta"|"cielo sereno").

Ora, provo a contestualizzare il discorso dei pixel in questo framework. Consideriamo delle immagini monocromatiche per semplificare e senza perdita di generalità (immagini a colori vuol dire tre componenti cromatiche per pixel e si entra nel fantastico mondo delle probabilità vettoriali, cosa che va oltre lo scopo divulgativo di questo commento).
Quello che voglio andare a calcolare è la luminosità di un pixel X in un certo istante di tempo (diciamo tre ore, puramente ed esclusivamente a titolo esemplificativo). Quindi, il nostro spazio campionario risulta un po' più complesso del caso del dado a sei facce o della pioggia. Si tratta di uno spazio campionario continuo. Cioè, il valore del pixel può assumere un range di valori, diciamo tra 0 e 10 (0 = nero, 10 = bianco saturo, valori in mezzo = scala di grigi).
Quindi, vogliamo sapere, ad esempio la probabilità che il nostro pixel X raggiunga la luminosità, che so, 3.45. Ossia P( 3.45 - \epsilon < X < 3.45 + \epsilon). Perché X deve stare fra quei due valori? Semplice, la probabilità che una variabile continua assuma ESATTAMENTE un numero è sempre 0 (a meno di casi patologici e delte di Dirac selvatiche di cui non parlo). Tuttavia, per questo discorso possiamo tranquillamente scrivere che P( 3.45 - \epsilon < X 3.45 + \epsilon) è uguale a P(X=3.45). E' una convenzione, ma semplifica enormemente il discorso.
Ora, ovviamente non abbiamo nessun modo di calcolare la suddetta probabilità. A parte uno: condizionandola a degli eventi passati già misurati. E cosa sono questi eventi passati? Possono essere i valori di X misurati in qualche istante di tempo prima, ad esempio quelli calcolati agli istanti 1 secondo, 2 secondi e 3 secondi (in notazione: X_1, X_2 e X_3). Quindi possiamo calcolare la probabilità: P(X=3.45 | X_1, X_2, X_3). Però, magari, ci accorgiamo che è bassa. Allora vogliamo cercare qual è il valore di X dopo tre ore che massimizza la suddetta. In notazione:


\begin{equation*}
\hat{X} = argmax_k P(X=k| X_1, X_2, X_3)
\end{equation*}


Ossia: \hat{X} è l'argomento che mi massimizza (argmax) la funzione.
Ovviamente la cosa può essere complicata a piacere. Ad esempio, la logica suggerisce che se i pixels intorno al pixel X sono stati catalogati molto luminosi (scuri, rispettivamente), allora anche X sarà verosimilmente molto luminoso (scuro, rispettivamente). Come vedete ci si può sbizzarrire sulla questione.

La domanda sorge spontanea: ma come calcolo queste probabilità? Dai dati. Le probabilità suddette si calcolano a partire da una tabella di dati, chiamata dataset, che colleziona un numero colossale di immagini calcolate nei valori iniziali di istanti di tempo (nell'esempio di prima a 1, 2 e 3 secondi) e dalla risposta (ossia dall'immagine finale).
Ok, dopo che ho i dati come calcolo queste probabilità, quindi? Questa è la domanda più divertente di tutte, ed è qui che entra in gioco il machine learning. Si parte con un modello: Random forest? Naïve Bayes? Regressione lineare? Multipla? AdaBoost? Gradient Boost? Cosa? Poi, occorre saper dividere il dataset in modo da fornire stime degli errori accurate e tuning dei parametri, e anche qui si apre un mondo: test, train, validation, cross-validation, bootstrapping, bagging, ecc...

Spero di aver dato un flavor della cosa.
L'utente che mi avete segnalato in una discussione ha fatto un riassunto di diverse ricerche e paper che descrivono una relazione analitica tra il tempo di esposizione e vari parametri (luminosità, caratteristiche di telescopio e CCD, ecc...), e questo tipo di relazioni potrebbero essere le protagoniste del preprocessing, ossia, importantissimi calcoli fatti sul dataset prima (pre-) di calcolare (-processing) le probabilità suddette. Inoltre, rispondono in modo esaustivo alle osservazioni giustamente fatte da altri utenti.

[Maurizio_39]

francler
Rispondo usando questa discussione per evitare di andare fuori argomento.

Cos'è il termine D nella prima espressione? E {d}_{p}_{x}_{l} ? Ce ne sono diversi altri in verità…
Con D ho indicato il diametro in mm della pupilla d’entrata, mentre con {d}_{p }_{x}_{l} mi sono riferito alla dimensione del singolo fotosensore (pixel), sempre in mm.


...se esistono dei sistemi software i quali, prendendo in input un segnale luminoso…mediante un algoritmo di estrapolazione dai dati forniti in pochi istanti dalla webcam… come se fosse stata esposta per diverse ore.
Mi risulta che una webcam riprende fotogrammi con frequenza minima di circa 5 f/s, che non può consentire tempi di esposizione superiori a 20/100 di secondo, tempo già molto breve per accumulare un sufficiente numero di elettroni nel sensore. Una impostazione della webcam che preveda un numero maggiore di fotogrammi/sec aumenta il numero di fotogrammi ma riduce quello delle deboli informazioni rilevate.
Questo aspetto è stato giustamente rilevato anche da Gimo85:

...in un secondo il sensore non rileva nulla o quasi nulla del segnale dall'oggetto deep sky, è per quello che sono necessarie le lunghe esposizioni.
Torniamo a noi.

… estrapola e ottiene una versione simulata sovraesposta, come se l'esposizione fosse durata ore.
L'algoritmo dovrebbe fare "learning" su un insieme di frame relativi a un intervallo molto breve, non più di un secondo, e utilizzare la variazione di ogni singolo pixel per operare una mostruosa estrapolazione a diverse ore.
Riguardo al numero di frame relativi ad un intervallo molto breve, leggi sopra.
L’accumulo di elettroni, generati dai fotoni incidenti, è un fenomeno soggetto a distribuzione statistica; se tale accumulo è scarso, il conteggio può essere mascherato dagli elettroni generati da fenomeni di polarizzazione del sensore, dal Bias (segnale generato dai circuiti elettronici), dal rumore di lettura del chip e da eventuali campi magnetici esterni circostanti.
Ora, sulla base di quanto detto sopra, in un secondo si possono accumulare solo 5 rilevazioni e ognuna di esse può essere affetta dal “rumore” sopra esposto, che magari la sovrasta. Personalmente ritengo che esse non possano essere considerate un campione statisticamente valido, e non riesco ad immaginare come si possa da esso estrapolare una funzione che lo proietti validamente al un tempo ottimale di saturazione.


Quand'è che la fotografia raggiunge almeno il livello del visuale? Dovrebbe esistere un intervallo temporale in cui l'essere umano non distingue nulla sul display, ma effettivamente qualcosa c'è…

Il motivo non è che l’occhio non riesce a vedere per una sua carenza mentre lo può il sensore, il motivo è che anche il sensore non ha il tempo di accumulare una apprezzabile informazione, oppure che ce l’ha, seppur minima, ma mescolata ad altri disturbi di base.
Se il motivo fosse questo basterebbe forse pensare a sommare diverse volte la stessa immagine per intensificare il bassissimo segnale esistente, ma insieme ad esso si intensificherebbero di pari passo tutti gli altri segnali indesiderati presenti.


Anzitutto, cos'è la probabilità?
Le probabilità suddette si calcolano a partire da una tabella di dati, chiamata dataset, che colleziona un numero colossale di immagini calcolate nei valori iniziali di istanti di tempo (nell'esempio di prima a 1, 2 e 3 secondi) e dalla risposta (ossia dall'immagine finale).

Ma statisticamente il dataset deve essere formato da un numero consistente (colossale come tu stesso lo definisci) di dati affidabili e qui non siamo in presenza né di una quantità statisticamente rilevante, né di dati inequivocabili.:sad:
Già in un’altra occasione ho chiarito che, per arricchire un’immagine di particolari, non è la stessa cosa fare una sola posa lunga di contro alla somma di tante pose corte, la cui somma equivalga a quella lunga.
Diversamente da quanto asseriva il grande Totò, in questo caso non è la somma che fa il totale!:hm:

In prima istanza penso di averti dato alcuni elementi del mio pensiero sull'argomento, resto in attesa di eventuali ulteriori chiarimenti. Io la vedo tosta!
Ciao. Maurizio39:)

[Gimo85]

Tra le altre cose io sottolineo che il database da cui attingerebbe la statistica sarebbe formato da tanti oggetti solo apparentemente simili, ma di fatto unici... l'implementazione dovrebbe essere una sequenza di scelte che procede per sfoltimento del database (in questo senso probabilità condizionata), fino ad identificare l'oggetto e riprodurlo nella versione memorizzata.
Questo perché non esistono oggetti sconosciuti alla portata di un sensore commerciale. Un software del genere sarebbe comunque interessante, ma a mio avviso non produrrebbe risultati originali.

[Maurizio_39]

Gimo85
Cercando di immedesimarmi nel concetto espresso da francler sono ritornato alle molte esperienze fatte in campo lavorativo per lo scale-up nella progettazione degli impianti di sintesi chimica dallo stadio di laboratorio a quello di pilota, per giungere alfine alla scala industriale.
Credo che qualcosa di simile venga proposto da francler, solo che nel mio caso si trattava di una estrapolazione dei parametri di comportamento dei sistemi usando quale variabile di estrapolazione una dimensione, mentre nel caso in esame tale estrapolazione prende come variabile il tempo.
Questi problemi vengono normalmente affrontati proponendo innanzitutto una possibile correlazione tra i parametri che influenzano il fenomeno e poi determinando per via statistica, usando tecniche quali l’analisi di regressione, le costanti e gli esponenti che meglio si adattano al fenomeno studiato.
Questi ultimi valgono ovviamente per la particolare configurazione studiata, cioè si lavora secondo i criteri di similitudine (geometrica, statica, dinamica, termica, ecc.).
Ora, il primo problema da risolvere è la definizione della correlazione.
In base alla mia esperienza, tale problema può essere risolto definendo un certo numero di parametri certi, che intervengono nel fenomeno studiato (ad es. Diametro dell’obiettivo, focale, dimensione dei pixels, tempo di esposizione, livello di dettaglio raggiungibile, seeing, ecc.) e correlarli insieme con una adeguata tecnica. Ad es. nelle correlazioni di cui mi sono interessato la tecnica usata era quella dell’Analisi Dimensionale basata sul Teorema di Buckingham che, nella prima parte asserisce che:
La soluzione di qualsiasi equazione fisica, dimensionalmente omogenea, ha la forma
\Phi ({\Gamma}_{1 },{\Gamma}_{2 },{\Gamma}_{3 }\ldots) = 0
Dove i \Gamma rappresentano un set completo di gruppi adimensionali costituiti dalle variabili e dalle costanti dimensionali che intervengono nella relazione cercata.

In parole povere, questa tecnica parte dal presupposto che una qualunque correlazione tra variabili fisiche può essere rappresentata, in modo sufficientemente accettabile, da una funzione formata dal prodotto di numeri adimensionali predeterminati in cui tali variabili compaiano.
Un ben noto esempio di numero adimensionale usato nella tecnica idraulica è il Numero di Reynolds, mentre altri, noti agli addetti ai lavori, sono quelli di Nusselt, Prandl, Grashof, Weber, Fourier, Eulero ecc.
Al termine di questo procedimento ci troveremo di fronte ad una relazione del tipo
T=\alpha \cdot{{\Gamma}_{1 }}^{x } \cdot{{\Gamma}_{2 }}^{y }\cdot {{\Gamma}_{3 }}^{z } \ldots
Superato però questo primo ostacolo, occorre individuare il valore della costante moltiplicativa \alpha e quello degli esponenti x, y, z, …che sono incogniti e, come detto, applicabili solo ad una data configurazione del sistema.
Questa è la fase in cui interviene la sperimentazione o meglio, nel caso in esame, la rilevazione delle informazioni (tante) necessarie a determinare, con l’applicazione di un metodo di regressione statistico, la costante e gli esponenti incogniti.
Ora, secondo quanto ho capito, tale fase viene svolta nei primi secondi dell’esposizione e mi sembra impensabile che, in così breve tempo, si possa accumulare il numero sufficiente di informazioni, soprattutto a livello di dettaglio necessario.
A tutto questo si aggiunge poi che la correlazione trovata sia sufficientemente corretta e si mantenga tale da permettere una estrapolazione sulla lunga durata. In genere, infatti, queste correlazioni hanno una estensione di validità limitata, sono insomma un fac-simile della tangente usata in sostituzione della curva reale!

[Gimo85]

Maurizio_39 Anche io sono affezionato a Buckingham, ma non sono sicuro della sua possibile applicazione al caso in oggetto.
Dalla mia esperienza posso dire che se le rilevazioni non sono sufficienti a registrare un segnale chiaro (perchè troppo brevi, o sporcate da altro), ben al di sopra del rumore di fondo (vale anche per le onde) entrano in gioco tanti e tali fenomeni secondari che puoi trovare correlazioni fra grandezze che in realtà hanno poco a che fare o lo hanno in proporzioni diverse e tu proietti un andamento falsato da un errore concettuale a monte.

Il problema sta tutto nei dati di partenza, che devono essere sufficienti, altrimenti anche se riduci i parametri indipendenti a 2 ottieni una correlazione che può non avere niente a che fare col fenomeno che stai misurando.
Detto ciò io sono anche contrario in linea di principio ad estrapolare dati da un database costruito artificialmente quando si avrebbero a disposizione i dati primari.

Il punto allora potrebbe essere: qual è un tempo minimo per permettere la rilevazione dei dati in modo sensato, e su quali oggetti?

[Maurizio_39]

Gimo85
Concordo su ogni punto.

[francler]

Probabilmente ho dato l'idea di essere troppo ottimistico circa il risultato finale. A dire la verità io stesso sono fortemente dubbioso sulla riuscita di questa cosa.
Fondamentalmente quello che andrebbe fatto in questo caso è un'estrapolazione, e fin da statistica 1 mi è sempre stato detto di stare attento con le estrapolazioni, basti pensare che l'O-ring che causò il disastro del Columbia nel 1986 fu il risultato di un'estrapolazione troppo tirata. Inoltre, nella regressione lineare le estrapolazioni sono soggette a errori gestibili solo quando si va fuori "di poco" dal range di valori del dataset. Come dice anche Maurizio_39


In genere, infatti, queste correlazioni hanno una estensione di validità limitata [...]

senza contare che difficilmente


[...] in così breve tempo, si possa accumulare il numero sufficiente di informazioni, soprattutto a livello di dettaglio necessario

Gestibilissimo estrapolare da un'ora a un'ora e dieci. O da due ore a due ore e mezza (valori a caso, per dire). Ma da 3 secondi a tre ore è obiettivamente da pazzi furiosi.

L'unico motivo che mi spingerebbe a "perderci tempo" è che esistono linguaggi di programmazione veramente molto potenti e con un'interfaccia molto intuitiva che permetterebbero di fare molti tentativi in poco tempo: stimo addirittura mezza giornata di lavoro solo per valutare la fattibilità. Mi riferisco alla libreria scikit-learn di Python, per i non-profani. E sono disposto a sacrificare mezza giornata sugli altari della Scienza :rolleyes:

Per l'aggettivo "colossale" mi riferisco più al fatto che questo genere di approcci si basano su metodi frequentisti, e a livello teorico si basano sui risultati di convergenza di successioni di variabili aleatorie. Detto in termini "umani", sono gli stessi risultati teorici che inconsapevolmente evochiamo quando diciamo frasi del tipo "provaci il maggior numero di volte possibili, che prima o poi ci riesci". E poi, come dicono alcuni miei professori, i dati sono come un maiale: non si butta via niente :D


A questo punto, finalmente convinto dalle forti perplessità manifestate da chi ne sa più di me, posso dichiarare fallito il mio obiettivo iniziale. Tuttavia, essendo ingegnere, mi reputo abbastanza ossessivo e testardo, e a questo punto vorrei ribaltare la domanda: fino a che punto posso sforzare la procedura?. Ossia: fino a che punto posso contrarre il tempo di training prima di avere risultati insensati?
Per rispondere a questa domanda mi piacerebbe poter avere in mano qualche numero, ad esempio prendere l'espressione per il tempo di integrazione di Maurizio_39 e inserire nei vari parametri dei valori "standard" per delle strumentazioni che si trovano comunemente in casa di un astrofilo. Sapete dove posso trovarli?
Inoltre vorrei rinnovare la mia richiesta: ci sarebbe qualcuno disposto a fornirmi dei dati delle immagini?

[Maurizio_39]

vorrei ribaltare la domanda: fino a che punto posso sforzare la procedura?. Ossia: fino a che punto posso contrarre il tempo di training prima di avere risultati insensati?

Chiariamo prima un punto: per poter asserire che un dato sarà utile alla procedura di elaborazione statistica per la successiva regressione, occorre che l’informazione che si desidera mettere in risalto sia presente, anche se in forma appena percettibile. E mi riferisco non alla percettibilità istantanea dell’occhio ma a quella "integrata" di un sensore elettronico.
Per tentare di stabilire il tempo di integrazione minimo indispensabile, occorre innanzitutto stabilire la luminosità dell’oggetto che si desidera rilevare. Questa non è inferiormente illimitata ma, anche se non intervenissero interferenze negative esterne dovute alle condizioni locali e variabili del cielo, è comunque limitata alla luminosità intrinseca dello stesso.
Come fa rilevare W.Ferreri nella sua pubblicazione “Fotografia Astronomica” del 1982, “il fondo cielo si comporta mediamente come una sorgente luminosa di intensità paragonabile a quella di una stella di 13° magnitudine, la cui luce sia sparpagliata su un disco del diametro di un primo d’arco” e pertanto, “nasconde ogni sorgente distribuita sulla stessa superficie”.
Non basta, l’uso di un sensore elettronico di rilevazione introduce disturbi, in parte fissi e dovuti semplicemente al fatto che sia acceso (Bias), in parte proporzionali alla durata dell’esposizione (Dark current).
A tale proposito, per avere maggiori informazioni, ti consiglio di leggere “Il CCD in Astronomia” di Franchini, Pasi e Nicolini.
Una volta stabilito questo limite minimo di luminosità raggiungibile, al di sotto del quale non si è in grado di andare, più desideri avvicinarti ad esso più aumenta, a parità di rapporto di apertura, il tempo di integrazione necessario.
Ora, riferiamoci ad un campo stellare in cui sono presenti stelle di diversa magnitudine. E’ evidente che usando tempi di integrazione molto brevi verranno rilevati solo gli oggetti più luminosi e che, aumentando progressivamente il tempo, verranno man mano rilevati oggetti sempre meno luminosi, fino al limite minimo.
Si potranno, quindi, effettuare tutta una serie di rilevazioni per definire la progressiva comparsa di oggetti di luminosità decrescente, fino al valore desiderato.
A questi dati, più o meno replicati per una corretta indagine statistica, potrebbe essere applicata una regressione per definire un’adatta correlazione in funzione del tempo.
A livello teorico questo avrebbe un senso se la variazione delle condizioni di rilevazione, dovuta alla mutabilità del cielo durante l’intero processo, fosse sufficientemente ripetitiva per altre occasioni; in caso contrario, che è il più probabile, l’intera correlazione verrebbe influenzata anche da questa variabilità.


ci sarebbe qualcuno disposto a fornirmi dei dati delle immagini?

Dal momento che per sviluppare un tale studio occorre che le successive rilevazioni siano riferite allo stesso oggetto, con la stessa attrezzatura e fatte entro un intervallo di tempo il più possibile ridotto, ritengo impensabile fare riferimento a dati accumulati da altri.

Comunque, il risultato potrebbe (?!) costituire solo un punto di riferimento ma… da prendere con le molle! :confused:
Ciao e cieli sereni.:)

[francler]

Per tentare di stabilire il tempo di integrazione minimo indispensabile, occorre innanzitutto stabilire la luminosità dell’oggetto che si desidera rilevare. Questa non è inferiormente illimitata ma, anche se non intervenissero interferenze negative esterne dovute alle condizioni locali e variabili del cielo, è comunque limitata alla luminosità intrinseca dello stesso [...] E’ evidente che usando tempi di integrazione molto brevi verranno rilevati solo gli oggetti più luminosi e che, aumentando progressivamente il tempo, verranno man mano rilevati oggetti sempre meno luminosi, fino al limite minimo.
Si potranno, quindi, effettuare tutta una serie di rilevazioni per definire la progressiva comparsa di oggetti di luminosità decrescente, fino al valore desiderato.

Quindi un ipotetico algoritmo deve anche - e soprattutto - essere in grado, ad esempio, di:

1) identificare le regioni del campo visivo con tempo di integrazione minimo uniforme;
2) identificare, per ogni regione, il tempo di integrazione minimo suddetto;
3) saper distinguere il rumore di fondo dal segnale vero e proprio (San Fourier aiutaci tu!).

Questo potrebbe portare a spunti interessanti, come ad esempio l'introduzione di parametri di tuning per regolare la magnitudine massima.
Effettivamente inizio a rendermi conto che la cosa non è fattibile in poco tempo, anzi, credo che possa diventare una buona tesi di laurea. E che probabilmente dovrò aspettare di avere una mia strumentazione per condurre questo genere di analisi.

L'idea che avevo (e vi sembrerà folle) era quella di fare un algoritmo il più generale possibile, indipendente dalla strumentazione e dalla condizione del cielo. Per questo motivo la cosa deve (o meglio, dovrebbe) poter funzionare indipendentemente dal tipo di telescopio, CCD, condizione meteorologica ecc...
Forse non mi sono spiegato benissimo, ma quello che intendevo fare è di ideare un algoritmo adattivo, cioè che stima i parametri del modello sia dal dataset, sia dai dati stessi in input durante l'esecuzione. L'alto livello di generalizzazione richiede appunto una procedura adattiva. Sono classi di algoritmi abbastanza recenti, un esempio può essere quello dell'intercettazioni delle frodi nelle compagnie assicurative, in cui un modello generale viene ideato da una grossa quantità di dati, ma alcuni parametri vengono "pesati" sulla storia del singolo cliente.
La mole di dati colossale iniziale servirebbe a testare e validare diversi modelli, non propriamente a calcolare i parametri del modello. Anche perché troppi dati spesso conducono all'overfitting (cioè, quando l'algoritmo funziona benissimo sul dataset, ma fa schifo sui dati mai osservati), e ovviamente non ci piace. L'ossessione di generalizzare è tipica dei matematici :hm:

Io penso a questo punto che la cosa sia molto complessa, ma (per me) che sia anche molto avvincente. E che rimanga ancora fattibile. Tuttavia, sono costretto a tornare fra i ranghi, almeno finché non avrò io stesso una strumentazione adatta e non avrò abbastanza conoscenze nel campo dell'astrofotografia (spero di raggiungere almeno un centesimo della vostra esperienza!). La figura dello statistico è inutile senza la figura dello specialista e viceversa, come in qualsiasi studio di questo tipo.

Avrei un'ultima domanda per Maurizio_39: fermo restando che le immagini che mi interessano sono esclusivamente digitali, sarebbe opportuno iniziare a documentarsi sui manuali di astrofotografia analogica e poi digitale, oppure passare direttamente alla digitale?

[Maurizio_39]

Mi preme chiarire subito che quelle che seguono sono delle opinioni personali, e che sono aperto a qualsiasi critica.
Iniziamo dall’ultima domanda.

...sarebbe opportuno iniziare a documentarsi sui manuali di astrofotografia analogica e poi digitale, oppure passare direttamente alla digitale?
Forse sono a corto di informazioni, ma lo escluderei in partenza.
La risposta dell’emulsione fotografica presenta un comportamento totalmente diverso da quello di un sensore elettronico.
La prima non ha un comportamento lineare, tranne che per una prima fase molto breve; è il prodotto di una reazione fotochimica e risente del difetto di reciprocità, poi il risultato dipende dalla sensibilità della emulsione, dalla grana dell'emulsione (che dipende anche dalla sensibillità e dai trattamenti di sviluppo), dal tipo di trattamento preliminare (ipersensibilizzazione, latensificazione, arrostimento, ecc) a cui la stessa viene sottoposta, dal bagno di sviluppo, dalla sua temperatura, dai difetti delle pellicole e delle lastre, ecc. Insomma è un processo chimico ed è quindi condizionato dalle modalità con cui viene condotto.
La seconda garantisce una notevole linearità di risposta che tende a diminuire soltanto quando si supera il 70/80% della FWC.
Mettere a confronto foto ottenute con i due sistemi per ricavare dei dati statistici, a mio parere, è impossibile.

Per quanto riguarda il punto iniziale invece,

...ma quello che intendevo fare è di ideare un algoritmo adattivo, cioè che stima i parametri del modello sia dal dataset, sia dai dati stessi in input durante l'esecuzione.
da un punto di vista puramente teorico prenderei in considerazione la definizione stessa di magnitudine, sempre che le condizioni del cielo, nella stessa seduta e soprattutto in quelle successive si mantengano praticamente molto simili.
Se è vero, infatti che la magnitudine esprime la luminosità dell’oggetto, anche se in modo logaritmico, e la luminosità incide direttamente sul tempo di integrazione, non mi sembrerebbe così assurdo agire nel modo seguente:
Fare una foto con un prefissato tempo di integrazione e rilevare la magnitudine degli oggetti meno luminosi registrati, poi aumentare il tempo di integrazione in base alla correlazione magnitudine/luminosità.
Ad esempio, se con un tempo di 1 sec riuscissi a raggiungere la 10° magnitudine, potrei aumentare il tempo a 2.512^7=631 sec per provare a raggiungere la 17°.:confused:
Per quanto riguarda la dipendenza di tale tempo dalle caratteristiche della strumentazione (diametro dell’obiettivo, rapporto focale,dimensione dei pixels), queste vengono sufficientemente descritte nelle relazioni note.
Chiaramente tutto ciò è molto teorico, ma come punto di partenza può essere preso in considerazione.
Ciao. Maurizio.;)

[francler]

sarebbe opportuno iniziare a documentarsi sui manuali di astrofotografia analogica e poi digitale [...] lo escluderei in partenza


Immaginavo, ma volevo avere la risposta di un esperto.

A questo punto partirò dai consigli e dalle critiche ricevute, e ringrazio tutti per le risposte e la pazienza infinita dedicatami!

[Virginio tonello]

Bella discussione, mi fa pensare a quella storiella del maggiolino che secondo l'aerodinamica non potrebbe volare, ma lui non lo sa e vola...,chiedo a mia volta se esiste un software che registra il filmato, poi fa lo stack e mi da l'immagine in live view, magari anche con un certo ritardo. Uso APT e mi sembra che con QHY5L l'immagine in live view è più sovraesposta del frame dello scatto. Dico mi sembra perchè il CCD lo ho da poco, piove sempre e non posso fare verificare. Però era quello che cercavo cioè un buon live view che non riuscivo ad ottenere con la canon neanche con magic lantern. Ciao, speriamo smetta di piovere basta funghi mi mancano le stelle.

[Maurizio_39]

@Virginio tonello (https://www.astronomia.com/forum/member.php?u=6050)

...secondo l'aerodinamica non potrebbe volare, ma lui non lo sa e vola...
Beh, in effetti il maggiolino non ha un volo molto ...sciolto e forse ha scoperto qualche fattore di sostentamento aerodinamico che noi non abbiamo ancora considerato.:confused:


...se esiste un software che ... uso APT e mi sembra che con QHY5L l'immagine in live view è più sovraesposta del frame dello scatto
Non conosco APT e quindi non posso dare un giudizio. Personalmente rilevo il filmato con una semplice webcam NexImage e lo elaboro con Registax o IRIS.
Penso che l'effetto da te riscontrato possa dipendere o dalla scelta dei fotogrammi da includere nello "stacking" o da qualche parametro non ben impostato. In ogni caso, in genere, esiste la possibilità di applicare uno "stretching" per adattare meglio le luminosità registrate.
Vale però sempre il principio che non si può recuperare quello che nella ripresa originale non c'è, oppure che è stato cancellato da una eccessiva sovraesposizione.
Ciao e cieli più sereni!;)