Il sensore delle Nikon D1 e la tecnica del pixel binning (ed 2023)

Dicembre 1999.

Nikon va in consegna con la sua nuova ammiraglia.

No, non é la spesso vaticinata F6 il cui sviluppo é stato interrotto (in realtà la F6 presentata cinque anni più tardi non ha nulla a che fare con quel progetto) ma la prima reflex digitale veramente Nikon, dopo le tante collaborazioni mezzo riuscite con Kodak e Fuji.

E' la Nikon D1, la fotocamera che segna l'inizio di un'era che si é probabilmente interrotta con la Nikon D6 del 2020 per poi proseguire, senza specchio, con la Nikon Z9 del 2021. Attuale ammiraglia.
Una parabola che è nata con l'uscita della Nikon F5, l'ultima vera ammiraglia a pellicola che era la punta di diamante dell'offerta Nikon quando partì il progetto della D1.

Che si avvia nel 1996, con la ricerca del sensore necessario per quel progetto.

Sembra facile a dirsi, oggi che gli smartphone hanno raggiunte vette sensazionali con sensori grandi come l'unghia di un mignolo e densi tali da avere fotodiodi più piccoli di un micron (un millesimo di millimetro) capaci, teoricamente di risoluzioni di 108 megapixel.
All'epoca sensori del tipo necessario agli ingegneri Nikon erano destinati a fotocamere per uso industriale, alimentate a corrente di rete, raffreddate con alette di alluminio e costose oltre ogni dire.

Ma Nikon voleva un sensore in grado di essere impiegato duttilmente - parola grossa, considerando che la Coolpix 950, la più avanzata digitale Nikon del 1999, faceva a stento 1.9 megapixel e scattava solo in jpg - in un corpo professionale da vendere a non più di 10.000.000 di lire.

Ma fermiamo un momento la nostra narrazione per far parlare chi la D1 l'ha pensata :

"
Kiyoshige SHIBAZAKI è nel 1999 il direttore dello sviluppo tecnologico di Nikon. Lavora in azienda dal 1976

Lo sviluppo della Nikon D1 è iniziato nel 1996, sulla base del nostro obiettivo di creare una fotocamera capace delle massime prestazioni secondo qualsiasi standard, sia a pellicola che digitale. A quel tempo, solo le industrie militare e aerospaziale utilizzavano sensori di immagine che soddisfacevano gli standard prestazionali più severi possibili. Volevamo utilizzare tali dispositivi in prodotti da vendere a poche migliaia di dollari. Riesci a immaginare quanto sia stato difficile?
 

Vuoi dire che è stato difficile accordarsi sul prezzo?

No. Non siamo riusciti a trovare un produttore. Nessuno di loro credeva che un prodotto che utilizzasse sensori ad alte prestazioni sarebbe stato venduto in volumi di migliaia di unità al mese. Anche quando abbiamo trovato un produttore che ha accettato di produrre i nostri sensori di immagine, si sono presentati problemi già con i prodotti di prova iniziali.

Che tipo di problemi?

Ad esempio, il prodotto di prova era un sensore che richiedeva diversi watt di elettricità. Inizialmente eravamo sicuri che sarebbe stato impossibile alimentare il sensore con una batteria. Tuttavia, non vedendo l'ora di ottenere prestazioni di scatto continuo ad alta velocità con tali specifiche, abbiamo iniziato a sviluppare noi stessi i circuiti per il sensore. All'inizio non riuscivamo nemmeno a pilotare il sensore, ma applicando linee di trasmissione e approcci costanti distribuiti al circuito di pilotaggio e con schemi di cablaggio elaborati, alla fine ci siamo riusciti. Ho accumulato il know-how tecnologico necessario per raggiungere questo obiettivo supervisionando lo sviluppo di telecamere analogiche industriali ad alta definizione all'inizio degli anni '90.
 

Le tecnologie utilizzate nelle fotocamere industriali ad alta definizione non erano utili per le fotocamere digitali?

Ovviamente. In effetti, la D1 utilizzava gli stessi circuiti utilizzati nelle fotocamere industriali ad alta definizione. In realtà, penso che siano state queste tecnologie a consentirci di lanciare la prima fotocamera reflex digitale di classe professionale ben un anno e mezzo prima dei nostri concorrenti.
Questo era solo un esempio del tipo di difficoltà che abbiamo dovuto affrontare. Potete immaginare, quindi, quanto fossi emozionato quando ho visto la prima bellissima immagine prodotta dal nostro sensore di immagine. Ero davvero orgoglioso del nostro successo nello sviluppo del primo sensore di immagine.
 

Ci è voluto molto tempo per riuscire finalmente ad alimentare il sensore di immagine?

Sì, ci sono voluti circa due anni. Successivamente, abbiamo lavorato per garantire stabilità e alta qualità con la produzione di massa. La nostra preoccupazione principale era la dimensione del nostro sensore di immagine. Era così grande che cominciammo davvero a dubitare di noi stessi. “Non abbiamo mai prodotto un sensore così grande…”, “Saremo in grado di alimentare questo sensore?” e "Non credo che Nikon abbia questo tipo di tecnologia di azionamento" erano le riserve che ci attraversavano la mente finché tutti coloro che hanno collaborato allo sviluppo del sensore non hanno visto le immagini prodotte. Tutti gli interessati erano così entusiasti che i nostri dubbi sono rapidamente scomparsi.
 

Quindi, il D1 aveva il potere di commuovere le persone ancor prima della sua uscita!

Sembrerebbe di sì. Dopo la sua uscita le cose sono decisamente migliorate. Chi era sul mercato aveva fiducia in Nikon e credeva che avremmo potuto vendere noi stessi i sensori di immagine. Ciò ha sicuramente reso molto più semplice lo sviluppo del nostro prossimo sensore di immagine di grandi dimensioni perché i fornitori sono diventati più disponibili a soddisfare le nostre richieste specifiche. Questo è stato un enorme passo avanti per noi perché a quel tempo il problema più grande nello sviluppo delle fotocamere reflex digitali era la mancanza di sensori che soddisfacessero le esigenze necessarie. Guardando indietro, ora ricordo quello che all’epoca sembrava un percorso faticoso come una grande esperienza formativa.

Immagino che ora sia sicuro rivelare che il sensore di immagine D1, con specifiche che rilevano un numero di pixel di 2,7 milioni di pixel, in realtà aveva un numero di pixel di 10,8 milioni di pixel. La ragione tecnica per un numero effettivo di pixel quattro volte maggiore di quello indicato pubblicamente risiede nella necessità di ottenere un'elevata sensibilità e un buon rapporto segnale-rumore. A differenza delle fotocamere attuali, per le quali il conteggio finale dei pixel tiene conto dei singoli pixel, con la D1 abbiamo dovuto includere più pixel in ciascuna unità pixel. In breve, il nostro sviluppo di un sensore di immagine con così tanti pixel in una fase così precoce nella storia delle fotocamere digitali indica l'importanza attribuita allo sviluppo delle fotocamere reflex in Nikon. Tenendo presente tutto ciò, sono veramente orgoglioso della nostra capacità di offrire una tecnologia di azionamento ad alta velocità che ha reso possibile la ripresa a cinque fotogrammi al secondo di immagini da 10,8 milioni di pixel.

Il tuo duro lavoro è stato ripagato dalla grande sensazione che la D1 ha creato. La sostanziale espansione della linea di prodotti dopo il rilascio del D1 ha fatto sì che non avessi tempo per riposarti ?

Assolutamente. La prima grande sfida che abbiamo dovuto affrontare dopo il rilascio della D1 è stata il miglioramento della tecnologia di elaborazione delle immagini sviluppata per le videocamere da utilizzare nell'elaborazione delle immagini fisse. Inizialmente abbiamo applicato i circuiti delle immagini delle videocamere e le tecnologie di elaborazione delle immagini alle fotocamere fisse senza alcuna modifica. Ciò ha prodotto immagini che sembravano un singolo fotogramma di un film piuttosto che una fotografia reale. Abbiamo scoperto che per l'elaborazione delle immagini fisse delle fotocamere dovevamo sviluppare parametri e algoritmi diversi da quelli utilizzati per i film. In realtà, abbiamo ricevuto molti commenti e richieste riguardanti la qualità delle immagini catturate con la Nikon D1, che utilizzava un'elaborazione delle immagini basata sulla tecnologia utilizzata nei film. Ad esempio, abbiamo ricevuto indicazioni secondo cui la riproduzione fedele dei colori era molto difficile con la D1, che utilizzava lo standard dello spazio colore NTSC 1 utilizzato principalmente nei video. 1 Comitato nazionale per gli standard televisivi; un sistema di segnali di immagini per trasmissioni televisive generalmente utilizzato negli Stati Uniti e in Giappone
 

Pensavo che la Nikon D1 avesse una buona reputazione per la sua ampia gamma di colori.

Lo ha fatto. I fotografi professionisti lo hanno particolarmente apprezzato. Ma onestamente, non possiamo dire che fosse facile da usare, dal momento che non c'è molto in termini di apparecchiature per l'immagine digitale o software che supporti lo standard video NTSC. Tuttavia, penso che sia valsa la pena adottare lo spazio colore NTSC perché ha contribuito a diffondere la consapevolezza riguardo allo spazio colore (risate). Fino al lancio della D1, poche persone comprendevano le difficoltà legate alla riproduzione fedele dei colori con i dati RGB, i dati utilizzati per le immagini a colori. Dopo il rilascio della D1, le persone hanno iniziato a riconoscere l'importanza di specificare il tipo RGB per una riproduzione fedele dei colori. La discussione riguardante lo spazio colore è stata diffusa in tutto il mercato fino al lancio del D1H e del D1X.
 

Sembra che ci siano stati molti tentativi ed errori solo nella gestione della riproduzione del colore.

SÌ. Non è stato facile sviluppare qualcosa di nuovo. Ma il risultato dei nostri tentativi ed errori è che sempre più parti del mondo possono essere espresse con le fotocamere digitali. Ad esempio, nella letteratura sentiamo spesso descrivere le montagne come blu. Ciò deriva da un fenomeno in cui le caratteristiche di penetrazione dello spettro dell'atmosfera fanno sì che le alte montagne appaiano più blu quanto più sono lontane. La regolazione precisa dei parametri di imaging consente ora alle fotocamere digitali di esprimere questo fenomeno. Sento una grande ricompensa per tutte le nostre lotte ogni volta che realizziamo tali risultati."

Dunque, la Nikon D1 esce nel 1999.
Ma già circa 18 mesi dopo viene avvicendata da due nuovi modelli, designati D1_H e D1_X

Che potete vedere qui in queste foto tratte da modelli della nostra collezione (la D1x viene dal mercato mentre quella D1h è ex Monica Buzzoni e si è fatta tutti campi di volley femminile italiani fino a quando è andata in pensione sostituita dalla D3).

a dispetto delle differenti caratteristiche, diversa risoluzione, diversa raffica, diverso buffer, le due macchine sono uguali.
Cambia il nome (H, storicamente per Nikon indica una macchina modificata per la velocità operativa, una sorta di GTa se fosse una Alfa Romeo, mentre X sta per macchina perfezionata, in questo caso per l'alta risoluzione).
Ma il resto è identico. Anche il sensore.
La D1h ce l'ha rossa ... la D2x ce l'ha invece grigia (la striscia gommata nell'impugnatura).

Entrambe erano derivate con poche migliorie dalla D1.

Questa macchina, nel corpo di una F5 (o di una F100 con il booster incorporato se vogliamo), era dotata di un fiammante CCD di produzione ignota ma di chiara progettazione Nikon, che di sensori se ne intende e molto.
I dati di targa parlavano di una risoluzione di 2,74 megapixel con una immagine di ben (per l'epoca !) 2.000x1.312 punti.

La letteratura dell'epoca - ricordiamo perfettamente l'articolo di Dpreview di presentazione e poi di test della D1x - diceva che il sensore delle tre fotocamere era lo stesso, solo che nella D1x i fotodiodi subivano uno strano processo di rimappatura che li rendeva rettangolari, con uno strano rapporto che poi in fase di conversione veniva normalizzato.

Lì per lì non capimmo ma del resto l'uscita della D1x ci colpiva per altri motivi che non per le astruse manipolazioni che avvenivano nel suo cuore.
Specie per il suo prezzo, superiore a quanto un fotoamatore potesse accettare, considerando che il battery-pack e l'alimentatore era da acquistare a parte ...

A metà ciclo di vita, Nikon propose un upgrade del buffer della Nikon D1x che le consentiva di avere una raffica più efficace e contemporaneamente un update di Nikon Capture realizzato specificatamente che permetteva di ricavare dalla D1x dei file di 10,8 megapixel.

All'epoca si parlava di semplice interpolazione software.

Il mistero si infittiva così ulteriormente.

Archiviate le D1 con l'uscita nel 2003 della D2H e, l'anno dopo della più avanzata D2x, le peculiarità delle D1 sono state dimenticate.
Usate molto pesantemente e piuttosto primordiali per certi versi, non sono macchine che hanno visto un grande spolvero sull'usato.

Sebbene la cosa ci abbia continuato ad incuriosire finché non ci siamo imbattuti in alcuni articoli riguardanti una particolare tecnica usata in special modo nei CCD speciali per usi astronomici.

Il progettista nell'intervista di cui abbiamo trascritto e tradotto uno stralcio, parla delle difficoltà di reperire un sensore di quelle caratteristiche da far produrre in piccola serie ma a costi contenuti per poter stare sotto ai $ 5.000 che era il target price al dettaglio per la D1.

Si trovò la soluzione in casa. Un sensore CCD a global shutter, capace di sincronizzare ad 1/500'' i flash Nikon dedicati, con un tempo minimo di scatto di 1/16.000'' (sempre a tendina aperta completamente e quindi in otturatore elettronico ... nel 1999 !).
Da 10.8 megapixel. Prodotto specificamente per Nikon da Renesas, società operativa nella componentistica elettronica (oggi famigerata per aver generato l'infausto shortage di microchip per l'automotive tre anni fa a causa di ripetuti incendi sospetti nel suo stabilimento) del gruppo Mitsubishi, mamma onnipotente di Nikon.

^{l'aletta di raffreddamento del circuito principale, dietro al sensore immagine, della D1x}

^{il sensore, con il suo filtro e dietro il circuito di conversione. Sempre della D1x.}

^{le due nostre gemelline : la D1h non si vergogna di avere un aspetto così vissuto. Lei la vita se l'è goduta mentre la sorella è stata tutto il tempo nella bambagia di uno studio fotografico milanese.}

Già, perché D1, D1H e D1X sono in pratica la stessa macchina, con lo stesso sensore e lo stesso corpo.
Piccole differenze di elettronica e di dotazione del buffer.

Lo stesso sensore ?

Si. E non solo. Non un sensore da 2,74 megapixel come D1 e D1H. Non un sensore da 5,4 megapixel come la D1x.

Un sensore da 10,8 megapixel.

Un sensore di tale densità si vedrà solamente con la D200 nel 2006 !

Eppure progettato, prodotto e utilizzato in diverse soluzioni che consentiva prestazioni ineguagliate nel 1999.
Con un accorgimento, però.

Ovviamente un sensore con pixel così piccoli, senza un sistema di riduzione hardware del rumore (come quelli in uso con i moderni CMOS) sarebbe stato una semplice spacconata perché avrebbe dato prestazioni inaccettabili ad ISO appena superiori al dato di targa.

Per ottenere i risultati attesi per le D1, Nikon intervenne alla fonte, sfruttando, appunto, una tecnica di approccio usata comunemente in astronomia.

Il Pixel Binning

Quando usciva la D1 era pratica esoterica, usata pressoché solo in laboratorio.
Oggi c'è più letteratura Android sul pixel binning di quanto sarebbe necessario.

Si, perché a parte il campo astronomico, dove è più impiegata oggi è nei sensori dei telefonini.

il Nonapixel di Samsung non è altro che uno scamotaggio capace di far rendere decentemente un sensore esageratamente denso da 108 megapixel e fotodiodi mignon da 0.8 micron.
Si tratta di combinarli in hardware a 9 a 9, per avere singoli punti fotorecettivi di capacità di lettura simili a quelli delle fotocamere grandi, come le nostre.

A discapito della risoluzione, si ottiene il vantaggio di avere maggiore superficie recettiva, una sensibilità "fotonica" risultante maggiorata e soprattutto, minore necessità di amplificazione elettrica.
Risultato -> minore rumore, maggiore sensibilità di base.

Lo stesso risultato studiato da nikonisti nel lontano 1999. Sulla prima ammiraglia digitale della storia.

Esistono diversi tipi di pixel binning, denominati a seconda del numero e del genere di connessioni effettuate tra i pixel adiacenti.

Ci preme sottolineare che si tratta di una tecnica hardware, una connessione "fisica", non riproducibile a livello software sulle immagini risultanti.
Anche se con tecniche di ricampionamento, almeno a livello teorico si può ricreare la risoluzione effettiva originale. Ma non migliorare il rumore se non lo si è fatto in hardware.

qui sopra abbiamo uno schemino esemplificativo di diversi tipi possibili di binning "simmetrico".

BIN1 = corrisponde ad un binning 1x1, sostanzialmente il pixel originale
BIN2 = corrisponde ad un binning 2x2, sostanzialmente un quadruplicamento della capacità di lettura a fronte di una riduzione ad 1/4 della risoluzione
BIN3 = corrisponde ad un binning 3x3, sostanzialmente una moltiplicazione della capacità di lettura per 9 a fronte di una riduzione ad 1/9 della risoluzione
BIN4 = corrisponde ad un binning 4x4, lo stesso con base 16

nella D1h Nikon ha impiegato un binning 2x2, con il risultato di avere una risoluzione di 2.74 megapixel, un quarto del totale dei pixel (200-1600 ISO)
mentre nella D1x ha scelto una soluzione più estrosa, facendo un 2x1 in orizzontale, avendo un dimezzamento della risoluzione ma con una sensibilità inferiore (125-800 ISO).

Conclusioni

Il vantaggio di avere pixel piccoli, con una sensibilità bassa ma che sommati si comportano come pixel grandi, con una sensibilità molto più alta (teoricamente doppia o tripla) e che possono essere utilizzati in cattura per periodi di tempo superiore a quanto potrebbero i singoli pixel quando non si dispone di altro sul mercato o quando non è conveniente creare una soluzione specifica.
Il risultato é una necessità di amplificazione inferiore con una figura di rumore migliore.

La domanda però sorge spontanea. Ma perché Nikon non ha usato semplicemente un sensore con pixel più grandi e una minore risoluzione ?

Per diversi motivi. Innanzitutto costi e flessibilità.

Producendo un solo sensore (come adesso per la Z9 e la Z8) si abbattono i costi di produzione e di sviluppo ma al contempo si possono fare più macchine semplicemente cambiando l'uso che si fa di quel sensore (all'epoca con il binning per l'appunto, e con una taratura di sensibilità di base adattata alla risoluzione effettivamente letta).

In più per sfruttare gli indubbi vantaggi ottenibili con il binning rispetto al singolo pixel grande.

•  La sensibilità del gruppo di pixel é superiore a quella del singolo pixel a parità di rumore generato.
  Oppure di converso, il rumore in lettura é inferiore a parità di sensibilità nel gruppo rispetto al singolo pixel (vi risparmiamo le formule dimostrative che potrete cercare nella letteratura astronomica sul web)
• la maggiore sensibilità del gruppo di pixel, corrisponde ad una minore amplificazione elettrica e quindi minore rumore conseguente
• Il tutto ovviamente, pagato con una perdita di risoluzione
• che però consente un tempo di lettura inferiore con un frame rate superiore.

Il risultato é elegante, efficiente, flessibile e all'atto pratico, funzionale, almeno nel 1999.

***

Fin qui la storia passata.

L'utilizzo di altro tipo di sensori, l'ingresso di Sony nel mercato della produzione dei sensori come global player e il passaggio al CMOS, più efficiente sul piano energetico e meno costoso su quello produttivo, ha cambiato le carte in tavola e sino ad ora nelle fotocamere il pixel binning è passato di moda (ci risulta che però ci siano videocamere che lo sfruttano insieme al dual base gain).
Ma l'arrivo del Global Shutter potrebbe aprire una finestra nuova su questo argomento, permettendo magari a Nikon di inserirsi in una nicchia con poca spesa rispetto ad un sensore completamente nuovo.

Che ne pensereste di una ipotetica Nikon Z9h, che utilizzi una versione del sensore di Z9/Z8 con un pixel binning 2x1 simile a quello usato nella D1x ?

Avremmo una Z9 con 22.5 megapixel, un ISO base di 125 ISO e una inversione dual gain a 1000 ISO, capace teoricamente di 40 scatti al secondo con un buffer raddoppiato.
Tutto sommato con una spesa industriale minima, rispetto allo sviluppo di un sensore superiore, da lasciare per una generazione successiva, da proporre ad un costo concorrenziale e rapidamente mettere sul mercato.

Ipotesi peregrina ? Non abbiamo assolutamente conferme al riguardo. Ma tecnologicamente possibile.

Resta il fatto che il savoir-faire tecnologico Nikon, dal 1917, si conferma sempre proverbiale, come stiamo registrando ad ogni lancio di nuovo prodotto da qualche anno a questa parte. Una sorta di rinascita dallo stesso uovo dell'Araba Fenice

le due gemelle D1x e D1h, imperterrite ci seguono in questi voli pindarici, incuranti dei 22 anni passati dalla loro presentazione.
Crediamo che con le batterie nuove e una spolverata, ognuna di loro saprebbe ancora far cantare quel sensore così geniale.