Matteo Dellepiane

Grafica 3D per i beni culturali

Laurea magistrale in Informatica Umanistica, anno accademico 2011/2012

Docente: Matteo Dellepiane e lo staff del Visual Computing Lab, ISTI-CNR

INIZIO CORSO: 23 Febbraio ore 12, Aula H

Orario:
Giovedì, 12.00-13.30, Aula H, Polo Fibonacci
Venerdì, 12.00-13.30, Aula I, Polo Fibonacci

APPELLI ESAME
Compitino scritto: 15 Giugno ore 9, Aula L (Polo Fibonacci)
Appello esame 1: 25 Giugno, ore 14, Aula L (Polo Fibonacci)
Appello esame 2: 25 Luglio, ore 9, Aula L (Polo Fibonacci)

Risultati scritto 15/06/2012 link

Edizione 2010/2011 del corso

Le tecnologie 3D hanno avuto un grande sviluppo negli ultimi 10 anni: uno dei principali campi di applicazione è da sempre il settore dei Beni Culturali. L'obiettivo del corso è fornire agli studenti una panoramica dei diversi approcci possibili per ottenere modelli tridimensionali partendo da dati "reali" (come misurazioni o fotografie). Gli studenti verranno a contatto con le tecnologie di alto livello (Scansione 3D) e con le emergenti alternative "low-cost" (modellazione e generazione di geometria da immagini). Il corso sarà principalmente applicativo: insieme a nozioni di tipo teorica saranno sperimentati una serie di strumenti software (principalmente freeware e open-source) che permetteranno agli studenti di poter continuare a usare parte delle tecnonlogie anche a corso ultimato. Il corso si occuperà di ricostruzione 3D automatica o assistita: non saranno trattate pertante le tecniche di modellazione 3D classica.

Requisiti per il corso

- Discreta conoscenza dell'inglese: i software utilizzati e parte del materiale per le lezioni sarà in lingua inglese.
- Laptop o desktop personale: parte delle lezioni sarà dedicata a tutorial e laboratori sul processamento dei dati. E' pertanto consigliabile avere un portatile o un computer a casa su cui poter installare i software.
- Nozioni base di informatica, conoscenza base dell'html per il progetto finale.
- Voglia di "smanettare" sui dati...

Programma del corso

Qui di seguito ecco le lezioni già concluse:

23 Febbraio 2012: Introduzione. Presentazione del corso e primi concetti Slides

24 Febbraio 2012: 3D e rendering: concetti generali, gloabl illumination, la pipeline di rendering (by Daniele Bernabei) Slides

1 Marzo 2012: Relightable Images: teoria e pratica Slides

8-9 Marzo 2012: Image-based modeling (by Marco Callieri) Slides

16-17 Marzo 2012: 3D Scanning Slides

22 Marzo 2012: MeshLab Intro and Basics Slides

23 Marzo 2012: 3D Scanning in MeshLab Slides

12 Aprile 2012: Mesh processing e advanced visualization in MeshLab Slides

13 Aprile 2012: Esempi di progetti di 3D Scanning Slides

26 Aprile 2012: Dense Stereo Matching: intro e best practice Slides

27 Aprile 2012: Dense Stereo Matching: Arc3D e Photosynth Toolkit Slides1 Slides2

3 Maggio 2012: Virtual Reality: cosa vuol dire? (by Nicolò Dell'Unto) Slides

4 Maggio 2012: Dense Stereo Matching: alternative, trattamento del modello, integrazione di differenti acquisizioni Slides

10 Maggio 2012: Immagini e 3D: problematiche e idee Slides

11 Maggio 2012: Il colore: acquisizione e visualizzazione + Modalità esame Slides1 Slides2

17 Maggio 2012: 3D Imagery Slides

18 Maggio 2012: Rendering video per modelli 3D

24 Maggio 2012: WebGL Slides

25 Maggio 2012: Wrap Up e raccomandazioni finali Slides

Risorse software

MeshLab Release Sito
PTM Builder Download
RTI Viewer Sito
Photosynth toolkit 3 32bit o 64bit
Photocloud Sito

Dataset vari

Esempi di PTM Download
La PTM del quadro delle Capre acquisito in aula: immagini, file lp, ptm finale Download
3D Scanning 1 Laurana_scan
3D Scanning 2 Tartaruga_scan
Mesh Processing Esempi per mesh processing
Mesh Processing - 2 Esempi per mesh processing - 2
Arc3D Datasets Datasets per Arc3D
Dense Stereo Matching: modelli per processing Download
Dense Stereo Matching: esempio di integrazione Download
Esempio di Viewer di modelli 3D con SpiderGL Download



I principali argomenti trattati saranno:

Introduzione, presentazione, overview

Introduzione alla grafica 3D

3D vs 2D; modelli di rappresentazione; la pipeline di rendering

Modellazione assistita da immagini: teoria e pratica

Basi di fotogrammetria; Image based modeling; Overview sui software commerciali; L’approccio Sketch-up; Laboratorio pratico Sketch-up

Scansione 3D: intro, teoria e pratica

Cosa è; sistemi di 3D scanning; teorie e tecniche di acquisizione; processing dei dati

Concetti di mesh processing: teoria e pratica

Navigazione; cleaning; re-meshing; coloring...; laboratorio pratico con MeshLab

Ricostruzione 3D da immagini; intro teoria e pratica

Dense stereo matching

Arc3D e Bundler; Processare i dati; Laboratorio pratico

Il colore in acquisizione: intro, teoria e pratica

Cos’è il colore; BRDF e simili; Image alignment; Color projection; Texture mapping and color per vertex; Laboratorio con MeshLab

RTI, intro teoria

Relightable Images; Polynomial Texture Maps; Acquisizione ed esempi

Advanced visualization

Shaders; multirisoluzione

WebGL e 3D su web

Presentazione casi di studio e risultati

Photocity; 3D Warehouse di Google; Cenobium; Overview dei progetti del Visual Computing Lab

Modalità di esame

L'esame consiste nell'applicazione di una delle tecniche di acquisizione viste nel corso (3D Scanning, Modellazione assistita, Dense Stereo Matching, PTM) su un oggetto di interesse per i beni culturali. Per la presentazione del progetto è necessario portare una chiavetta USB (o CD o disco esterno) contenente:
- una cartella con i dati utilizzati per il progetto (dati originali, file intermedi, qualsiasi dato che dimostri il lavoro fatto)
- una piccola pagina web contenente almeno tre sezioni: una pagina di presentazione (con visualizzazione del modello o snapshot accattivanti), una pagina che descriva (in dettaglio) la procedura di acquisizione, una pagina relativa al valore storico-artistico dell'oggetto acquisito, con motivazioni (anche pseudo-inventate) sulla necessità di un'acquisizione 3D.

L'esame consisterà in una breve presentazione della pagina web, e nella risposta ad eventuali domande chiarificatrici da parte mia. Raccomando la descrizione particolareggiata della vostra esperienza di acquisizione: anche gli errori e i diversi tentativi dimostrano il vostro impegno e lavoro. L'utilizzo "avanzato" degli strumenti visti durante il corso (MeshLab, WebGL, Proiezione colore...) è titolo di merito. Nel caso che non sia stato effettuato o superato il compitino, ci saranno alcune domande sul resto degli argomenti del corso.
I primi due appelli d'esame saranno fissati nelle date qui sopra, da settembre in poi sarà possibile sostenere l'esame presso il mio ufficio al CNR, previo appuntamento. Gli esami sono sempre pubblici, quindi se volete sapere se ho esami in programma da settembre in poi, potete chiedermelo via mail e venire ad assistere. Nei periodi dal 25 maggio all’11 giugno e dal 26 al 29 giugno sarò fuori Pisa, quindi per domande, visite e consulenze organizzatevi per tempo.

Elenco dei progetti attivi (nome studente, oggetto, tecnica scelta):

Mancini E.	Croce di Remole	PTM
Raule A.	Palazzo delle Finanze Ferrara	3D da foto + Modellazione
Papa A.	Quadro in rilievo	PTM
Rocca A..	Statua Cosimo De' Medici in P.zza Cavalieri	3D da foto
Briganti L.	Figurine Gioco Mage Knight	3D da foto (+ Scansione?)
Baldera C.	Capitelli di Borgo Largo	3D da foto
Belli M.	Oggetti vari	3D da foto
Bologna D.	Antica moneta d'argento	PTM
Bertini C.	Due piccoli oggetti	PTM
Poli I.	Facciata S. Michele Scalzi	3D da foto
Capochiani F.	Oratorio di S. Bernardino	3D da foto
De Matteis M.	Scultura L.O.V.E. Di M. Cattelan	3D da foto + Modellazione
Artioli L.	Medaglietta argento	PTM
Albertini N.	Maschere africane	3D da foto

Qualsiasi proposta dello studente per l’acquisizione è più che ben accetta, però vi propongo una breve lista di monumenti pisani che sono papabili per l’acquisizione. Sono più o meno in ordine di preferenza, e vale la regola del “chi primo arriva...”:

- Torre Campanaria S. Michele degli Scalzi
- San Pietro in Vinculis
- S. Sepolcro
- San Francesco
- San Frediano

Svolgimento dell’esame:
l candidato dovrà fornire una breve presentazione orale del suo progetto di acquisizione, descrivendo in breve l’oggetto acquisito, quale tecnica è stata usata e perché, quante acquisizioni sono stata fatte e come si sono elaborati i dati, quali contenuti aggiuntivi sono presenti sulla pagina. La modalità di presentazione è libera (orale, con slide, con navigazione sito...): se l’esame è svolto in coppia, entrambi i candidati devono parlare. La presentazione deve durare tra i 10 e i 25 minuti, in linea di massima. Consiglio di provarla qualche volta a casa, prima di presentarsi all’esame, possibilmente con audience. Se è necessario il collegamento ad internet, premunirsi sul proprio portatile (o usare il proprio account sul mio) perché io non ho l’accesso. Il sito e i contenuti saranno proiettati, in modo da poter permettere ai presenti di seguire il tutto.
Alla presentazione seguiranno delle domande di chiarimento poste dal docente, e alcune domande sul programma di corso nel caso non sia stato effettuato il test di fine anno (o non si voglia tener conto del suo risultato).

Nel caso di esami a coppie, il contenuto del progetto deve essere “doppio” o quasi rispetto a un progetto normale. Gli oggetti da acquisire assegnati a coppie sono in effetti più complessi, ma si consiglia di curare bene il tutto e possibilmente di aggiungere materiale o utilizzo avanzato di strumenti (ad esempio snapshots e visualizzazioni MeshLab, oppure WebGL).
Per quanto riguarda la cartella di dati aggiuntivi, oltre a quanto già scritto consiglio di presentare:
- Tutte le foto usate per le ricostruzioni, possibilmente divise nelle varie sessioni di ripresa
- Una cartella con qualche ulteriore snapshot accattivante
- Una struttura di cartelle facile da navigare e capire, con nomi dei file possibilmente comprensibili
- Tutto ciò che si ritiene possa essere utile alla valutazione del lavoro (“Nel molto ci sta il poco”, dice il mio vicino di scrivania)

Ultimo consiglio: provate il contenuto della chiavina USB (specialmente le pagine web) su altri computer rispetto al vostro, per evitare problemi di compatibilità, file mancanti etc etc. Sul mio PC c’é tutto quello che vi può servire in ambiente Windows. Se avete altri sistemi premuratevi di passare a un formato leggibile (ad es. presentazioni in PDF).
E’ possibile passare a visitarmi qualche giorno prima per mostrarmi i risultati e come si intende presentarli. Posso darvi qualche dritta dell’ultimo minuto. Sempre previo appuntamento, via mail.

Materiale e link

Le dispense dell'esame dovrebbero essere sufficienti a superare l'esame. Ulteriori indicazioni per articoli o risorse web di possibile utilità saranno fornite durante il corso.
Ecco alcuni link utili relativi alle tecnologie e ai software usati nel corso:
- MeshLab, a freeware tool for mesh processing
- MeshLab stuff, utile blog
- Il sito del Visual Computing Lab, con contatti e descrizione delle attività
- Arc3D, webservice per la ricostruzione 3D a immagini
- Bundler: Structure from Motion (SfM) for Unordered Image Collections
- Photocity: capture the world one photo at a time
- Cenobium: i capitelli dei chiostri Romanici in Europa
- Matteo Dellepiane, sito personale: ci siete già dentro!

Contatti

Matteo Dellepiane
Visual Computing Lab, ISTI-CNR
Via G. Moruzzi 1, 56124 Pisa (PI)
Tel: 0503152925
Mail: dellepiane@isti.cnr.it