Un nuovo brevetto di autofocus Nikon ... pensando alla Z9

Una premessa e due o tre passi indietro.

Il primo luglio 2021, cioè ... ieri, Nikon ha depositato in Giappone un nuovo brevetto che copre un sistema di autofocus che utilizza un approccio ibrido, sfruttando debolezze e punti di forza degli otturatori elettronici.

La data non può far pensare ad altro che quanto coperto dal brevetto possa essere alla base del nuovo autofocus della Nikon Z9 (e delle prossime Z) che Nikon assicura sarà superiore a quello più evoluto dell'ammiraglia reflex Nikon D6.
Questa però è una nostra illazione. Magari è solo un brevetto cautelativo buono per guadagnare due soldi in qualche causa legale o per arrivare ad un accomodamento con qualche concorrente.

Di certo, se quanto descritto è uscito dalla fase sperimentale, dimostra quanto i laboratori di ricerca di Nikon siano all'avanguardia in questo campo. Perché passare dai concetti all'utilizzo pratico di metodi così sofisticati è materia complessa, a livello della migliore tecnologia di Formula 1. Solo che là viene applicata a un paio di prototipi al massimo, qui si lavora per replicare i sistemi in milioni di esemplari da dare in mano a milioni di fotografi di tutto il mondo. Gente che si aspetta di avere strumenti cui affidare i propri scatti con serenità.

Le premesse.

1) Sull'otturatore elettronico e le due soluzioni "rolling shutter" e "global shutter" ho parlato in un recente articolo, a margine della soluzione adottata da Nikon per superare la lentezza degli attuali sensori con l'introduzione nelle Nikon Z a partire dalla Z9, dei sensori "stacked" :

2) Nikon attualmente utilizza un autofocus misto a differenza di contrasto e a rilevazione di fase.
Questo sistema discende direttamente da quello sviluppato per Nikon da Aptina per le Nikon 1. Sistema che è stato adottato anche da Sony che lo ha ripreso con uno scambio di licenze con Aptina nel 2013 quando questa è uscita dal mercato fotografico (e anche da Fujifilm che utilizza sensori Sony personalizzati solo nella matrice di microlenti).

La rilevazione di fase per essere implementata necessita di una matrice di punti direttamente sul sensore.
Sono fotodiodi semiaccecati a livello della microlente che li ricopre che vengono impiegati per allineare la messa a fuoco.

le due parti vengono fatte collimare spostando il fuoco. Se i due punti coincidono, il soggetto è a fuoco.

Naturalmente non è una cosa così facile perchè l'autofocus delle mirrorless deve coprire tutto il frame.
Quindi il sensore è coperto letteralmente di questi puntini che poi vengono organizzati in vario modo nei punti di messa a fuoco colorati ed animati che vediamo a mirino.
Ci vogliono centinaia di migliaia o milioni di puntini per avere qui 200-300-500 punti di messa a fuoco a mirino.

C'è però un limite in questo sistema.
Il sensore è in presa diretta durante la composizione e il tracking dell'autofocus, ma passa in modalità rolling shutter quando viene letta l'immagine da catturare (al nostro click).
Per fare in modo che l'autofocus non sia accecato durante la ripresa o non ci siano ritardi nel tracking quando il soggetto è grande o si muove tra una parte e un'altra del frame, i punti di messa a fuoco sono organizzati sulla verticale, mediante righe orizzontali distanziate di 12 pixel l'una dall'altra.

Queste righe vengono lette in modalità global-shutter, quindi tutte insieme tra loro e i risultati elaborati dal processore per mantenere la messa a fuoco.

La domanda sorge spontanea. Perchè non usare il global-shutter anche per leggere l'immagine, oppure perchè non lasciar fare al rolling shutter tutto il lavoro sia di ripresa che di messa a fuoco ?

Perchè in modalità global-shutter il sensore è sempre in tensione e produce un rumore digitale di fondo. Mentre il rolling shutter come sappiamo parte dall'alto e scende verso il basso.
E anche nel più veloce c'è un ritardo tra la lettura in cima e quella in basso.
L'introduzione del global shutter a righe per l'autofocus non è indolore perchè nelle Z6 I e Z7 I lasciava trasparire un banding a righine (puntini colorati) nelle aeree scure sotto esposte, che nelle versioni II viene soppresso dal secondo processore.

Ma ci sono altri limiti. Uno è l'inefficienza del sistema, basato su un numero finito di puntini quando il sensore ne ha decine di milioni, l'altro la lettura orizzontale che mette dei limiti sulla rilevazione verticale (non ci sono punti a croce). Si può mettere più potenza per far girare tutto più in fretta ma alla lunga si arriva ad un punto morto : come siamo arrivati con quello delle reflex che ha precisi limiti fisici indotti dal mirror-box.
Nikon è sempre pragmatica in questo e non crede al superamento dell'inefficienza installando semplicemente più potenza (lo capiamo dai limiti mostrati subito dai due processori di Z6 II e Z7 II).
Quindi è plausibile che si siano messi subito a lavorare su come superare questo scenario con una visione alternativa.

Tutto chiaro sin qui ?

Speriamo.

Bene, che ha fatto Nikon adesso, che dice questo brevetto ?

Nikon ha pensato un sistema ibrido che sfrutta la velocità del sensore stacked non semplicemente in lettura delle immagini ma anche in termini di switch tra una modalità e l'altra.

Nella pratica.

Durante la messa a fuoco viene utilizzato il sensore in modalità global-shutter. Questo consente di avere potenzialmente tutti i fotodiodi a disposizione, non solo quelli a righe ogni 12 pixel.
Averli tutti a disposizione toglie i limiti di calcolo e permette algoritmi più precisi. Se ha un tallone di Achille la rilevazione di fase così come è adesso è quella di non avere punti a croce (di fatto in termini di verticale il sistema perde buona parte della sua sensibilità che invece è alta in orizzontale ma sempre ... a macchia di leopardo per la distanza tra le righe in verticale e tra i diodi in orizzontale).

Quando però c'è da catturare l'immagine, non vogliamo che il global shutter influenzi la cattura per non avere limitazioni in termini di rumore e di dinamica, per cui il sensore passa istantaneamente in modalità rolling shutter. Mano a mano che le striscioline vengono lette, la parte libera ripassa a global shutter e così viene mantenuto illuminato il soggetto in termini di autofocus.

Quello che segue è lo schema allegato al brevetto e poi la traduzione automatica del brevetto (giapponese : italiano )

"

• [Numero di pubblicazione] Domanda di brevetto giapponese aperta n. 2021-100287 (P2021-100287A)
• [Data di pubblicazione] 1 luglio 2021
• APPLICABILITÀ INDUSTRIALE APPLICABILITÀ INDUSTRIALE
• [Data della domanda] 22 marzo 2021
• [Visualizzazione della divisione] Divisione della domanda di brevetto giapponese 2016-130966 (P2016-130966)
• [Richiedente]
  [Numero di identificazione] 000004112
  [Nome o nome] Nikon Corporation
• PROBLEMA DA RISOLVERE: Fornire un dispositivo di imaging per ottenere un segnale di imaging da un sistema di otturatore elettronico a rotazione e un segnale di imaging da un sistema di otturatore elettronico globale in un periodo di lettura di un fotogramma.
• [0024]
  (rolling electronic shutter e problemi di global electronic shutter)
  rolling electronic shutter, poiché catturato dall'immagine è il corpo distorto poiché non vi è simultaneità di accumulo di ciascuna riga, l'inseguimento del soggetto basato sul riconoscimento del soggetto e il risultato del riconoscimento Non è adatto per applicazioni. Anche se viene utilizzato un sensore di immagine in grado di pilotare un otturatore elettronico ad alta velocità, la distorsione dell'immagine non viene eliminata in linea di principio e c'è il problema che il consumo di energia aumenta operando ad alta velocità. Inoltre, anche quando l'otturatore elettronico a rotazione viene utilizzato per l'AF (AF a differenza di fase del piano dell'immagine, AF a contrasto, ecc.), non vi è accumulo simultaneo nella direzione verticale (stessa riga di pixel), il che è svantaggioso per la messa a fuoco di un oggetto in movimento. La precisione è inferiore perché l'AF viene eseguito solo basandosi sulla simultaneità di accumulo in direzione orizzontale (pixel di accompagnamento).
• [0025]
  D'altra parte, quando si utilizza un otturatore elettronico globale, la simultaneità di accumulo di tutti i pixel trasferendo contemporaneamente la carica del fotodiodo PD non si verifica distorsione dell'immagine perché assicurata. Tuttavia, c'è un ritardo nella lettura dalla capacità di mantenimento SC, che provoca variazioni nella corrente di buio e appare nell'immagine, degradando la qualità dell'immagine. L'ultimo pixel nell'ordine di lettura dalla capacità di mantenimento SC è influenzato dalla corrente di buio. Ad esempio, in applicazioni come le telecamere di sorveglianza, il sensore di immagine è sempre in funzione e l'influenza della corrente oscura dovuta alla generazione di calore tende a comparire nell'immagine. Pertanto, è necessario adottare misure di dissipazione del calore sufficienti e, se l'influenza della corrente oscura è elevata, è necessario considerare i mezzi di correzione.
• [0026]
  , nel caso dell'otturatore elettronico globale, poiché il fotodiodo PD viene resettato e il trasferimento di carica del fotodiodo PD viene eseguito contemporaneamente per tutti i pixel, scorre una corrente istantanea molte volte maggiore di quella dell'otturatore elettronico avvolgibile. Poiché si verifica una caduta di tensione a causa di questa corrente istantanea e dell'impedenza del cablaggio di alimentazione, la dimensione del chip del sensore di immagine è generalmente grande e la parte centrale del sensore di immagine è più suscettibile alla caduta di tensione. In particolare, l'intervallo dinamico del segnale di uscita potrebbe essere insufficiente a causa della caduta di tensione o potrebbe essere superato il normale intervallo di funzionamento del circuito montato. Poiché questi possono causare un deterioramento della qualità dell'immagine, è necessario prevedere un tempo di attesa fino a quando la corrente istantanea si stabilizza e la tensione di alimentazione si stabilizza a regime, il che provoca una diminuzione del frame rate.
• [0027]
  (Panoramica del dispositivo di imaging secondo la forma di realizzazione)
  Pertanto, nel dispositivo di imaging 101 della presente forma di realizzazione, la lettura del segnale di immagine di un frame per pilotare la porzione dell'area nell'otturatore elettronico globale, l'altro aree del È guidato da una tapparella elettronica per risolvere il problema. Esempi di una parte dell'area guidata dall'otturatore elettronico globale includono un'area di riconoscimento del soggetto e un'area AF. Quando è funzionalmente più accurato avere la simultaneità di accumulo dei pixel in questo modo, è preferibile utilizzare l'otturatore elettronico globale."

***

Io non sono abbastanza ferrato in materia per poter dare un giudizio su un argomento così complesso ma in rete ne stanno parlando in tanti.
Sembra chiaro a tutti che Nikon sta usando la sua capacità di progettare sensori complessi portando su livelli differenti dello stesso micro-dispositivi in grado di operare a livello locale per poi ottenere una lettura globale delle informazioni.

E' un approccio diametralmente opposto di quello di Sony che invece ha reagito ai limiti del suo sistema a "forza bruta" semplicemente mettendo un processore 8 volte più veloce nell'ultima generazione.

Più simile nel concetto ma diverso nella finalizzazione di quello che Canon ha chiamato dual-pixel e che sta facendo le fortune di R5 ed R6 (e sono sicuro anche di R3 prossima ventura).

L'avremo nella Z9 e nelle sue figlie ? Credo che non ce lo diranno mai esplicitamente ma probabilmente parleranno le sue prestazioni.
Di certo nella Z9 tutto gira attorno al sensore stacked e alla capacità di Nikon di andare oltre gli schemi come mostrato nel suo recente sensore da 1000 fps.

Intanto mettiamoci di santa pazienza ad attendere che tutto lo sforzo di ricerca di Nikon si traduca in sensori, processori, algoritmi molto più efficienti di quelli che sinora ha dovuto impiegare.

Come temo di aver scritto anche troppe volte, le Nikon Z che abbiamo visto sinora sono tutti modelli preliminare ottenuti sfruttando tecnologia superata e sistemi inefficienti.
Ma che dovevano uscire sul mercato comunque per coprire il gap necessario ad arrivare al completamento del ciclo di sviluppo di quello che verrà.
Che non è cominciato né ieri né l'altro ieri ma almeno nel 2017 se non ancora prima.