NPGR001 3D počítačové vidění / 3D computer vision

Zimní semestr 2020/2021, přednáška 90 minut týdně. Semináře/laboratoře 90 minut týdně v Českém institutu informatiky, robotiky a kybernetiky ČVUT.
Winter semester 2020/2021, lecture 90 minutes weekly. Seminars/labs 90 minutes weekly at the Czech Institute of Informatics, Robotics, and Cybernetics, CTU.

Anotace předmětu / Subject annotation

Předmět seznámí s metodami trojrozměrného (3D) počítačového vidění. Nejdříve ve třech přednáškách shrneme potřebné pojmy z digitálního zpracování/analýzy obrazu. Navážeme popisem jedné (intenzitní, RGB) kamery a související geometrií. Naučíme se použít dvě a více kamer pro zjišťování hloubky ve scéně a 3D rekonstrukci. Přidáme další hloubkové senzorické modality, a to lidary, radary, sonary. Vysvětlíme, jak sdružovat informaci z různorodých senzorů. Metody budeme prakticky ilustrovat na úlohách spojených se samořiditelnými auty.

The subject introduces 3D computer vision methods. I will use three intial lectures to summarize needed concepts from the digital image processing/analysis. I will explain one (intensity, RGB) camera and related geometry. We will learn how to use two or more cameras to learn depth in the scene and perform 3D reconstructioni. We will add other depth sensory modalities as lidars, radars, sonars. We will explain how to fuse information from different sensors. We will illustrate the learned material mainly in the autonomous driving domain.

Přednáška / Lecture

Přednáška je v angličtině se koná v pondělí od 10:00 do 11:30 (Na první přednášce 5. 10. studenti vyhověli prosbě V. Hlaváče o posun, aby mohl stihnout oběd před následující přednášku). Na přednášku navazuje po desetiminutové přestávce od 11:40 cvičení. V době distanční výuky kvůli Covid-19 jsou přednáška i cvičení on-line přes Microsoft Teams v kanále zřízeném v prostoru UK.  Až zahájíme kontaktní výuku bude přednáška i cvičení v CIIRC ČVUT, Praha 6, Dejvice, Jugoslávských partyzánů 1580/3, budova B, 6. patro, místnost JP:B-633.

The lecture given in English takes place on Monday from 10:00 to 11:30 (At the first lecture on October 5, the students complied with V. Hlaváč's request for a shift so that he could have lunch before the next lecture). The lecture is followed by a practical/laboratory session from 11:40 after a ten-minute break. At the time of distance learning due to Covid-19, the lecture and exercises are online via Microsoft Teams in a channel established in the UK space. When we start contact teaching, there will be a lecture and an exercise  at CIIRC CTU, Praha 6, Dejvice, Jugoslávských partyzánů 1580/3, building B, 6th floor, room JP:B-633. The lecture will be followed by a practical/laboratory session in the same room.  

prof. Ing. Václav Hlaváč, CSc.
Český institut informatiky, robotiky a kybernetiky ČVUT, Praha 6, Dejvice, Jugoslávských partyzánů 1580/3, místnost JP:B-610
telefon 224 357 465, mobil 603 149 689

vaclav.hlavac@cvut.cz
, http://people.ciirc.cvut.cz/hlavac/

Dr. Ing. Josef Šivic
Český institut informatiky, robotiky a kybernetiky ČVUT, Praha 6, Dejvice, Jugoslávských partyzánů 1580/3, místnost JP:B-639
telefon 224 357 465, mobil 773 896 548
josef.sivic@cvut.cz, http://www.di.ens.fr/~josef/

J. Šivic's diploma theses topics for students.

Plán přednášek (plán před přednáškou a skutečnost po přednášce); Lecture plan (plan before the lecture, reality after the lecture)

Týden Datum Kdo Obsah přednášky
1 05.10.2020 VH Přehled digitálního zpracování obrazu (prezentace). Vlastnosti digitálního obrazu (prezentace). Jasové a geometrické transformace (prezentace). Digital image processing overview. (presentation) Digital image properties (presentation), brightness and geometric transforms (presentation)
2 12.10.2020 VH Předzpracování obrazů (prezentace). Detekce hran a zájmových bodů/oblastí (prezentace).
Image preprocessing (presentation). Detection of edges, interest points/regions (presentation).
3 19.10.2020 VH Objekty v obraze, nutnost interpretace, segmentace objektů. Optimalizace náhodným vzorkováním (RANSAC).
Objects in the image. Need for interpretation. Object segmentation. (presentations) Random Sampling and Consensus (RANSAC) (presentation)
4 26.10.2020 VH Vidění jako špatně podmíněná úloha fyziky pořízení obrazu (prezentace). Praktická optika. Radiální zkreslení (prezentace).
Vision as an ill-posed physics task of image formation (presentation). Practical optics. Radial distrortion (presentation).
5 02.11.2020 Úloha korespondence a její řešení. Coorespondence problem and its solution. (presentation)
6 09.11.2020 VH 3D počítačové vidění, cíle, různé teorie a aplikace. (presentation) 3D computer vision, aims and applications. (presentation)
7 16.11.2020 VH Geometrie pro popis tuhého tělesa ve 3D. Projektivní transformace. Gometrie jedné perspektivní kamery. Projekční matice a její rozklad. Kalibrace jedné kamery.
Geometry describing a solid body in 3D. Projective transform. Geometry of a single perspective camera. Projective matrix and its decomposition. One camera calibration. (presentation)
8 23.11.2020 Rychlé vizuální vyhledávání. Efficient visual search. (presentation)
9 30.11.2020 VH Geometrie dvou kamer, epipolární omezení, fundamentální a esenciální matice. Geometrie více kamer.
Geometry of two cameras. Epipolar constraint. Fundamental and essential matrices. Geometry of more cameras. (presentation)
10

07.12.2020

Učení ze slabých anotací v obrazech a ve videu, také pomocí hlubokých sítí.
Learning from weak annotations in images and video, also using deep networks. (presentation)
11 14.12.2020 VH Rekonstrukce 3D scény z několika pohledů. Úloha Tvar/struktura z pohybu (shape/structure from motion). Vyrovnání svazku (bundle adjustment).
3D scene reconstruction from several views. Task Shape/structure from motion. Bundle adjustment. (presentation)
12 21.12.2020 VH Hloubkové senzory (lidar, radar, sonar, kamery se strukturovaným světlem). Fúze dat z různých hloubkových senzorů.
Depth sensors (lidar, radar, sonar, cameras with structured light). Data fusion from different depth sensors. (presentation)
    Vánoční prázdniny. Christmas holidays.
13 04.01.2021 VH Metody zpracování hloubkových map (mraků bodů). Iterative closest points (ICP) algoritmus. Shlukování 3D bodů. Ukázky. Praktická aplikace 3D vidění v samořiditelném autě.
Depth maps (point clouds) processing methods.  Iterative closest points (ICP) algorithm. Use cases. 3D vision use-cases in self-driving domain. (presentation) (Maks Ovsjanikov's presentation)

 Okamžitý stav všech průsvitek Václava Hlaváče pro přednášky je česky, in English.
The present state of Václav Hlaváč's presentation is here, in English

 Doporučená literatura / Recommended literature:

  1. Šonka M., Hlaváč V., Boyle R.: Image Processing, Analysis and Machine vision, 4th edition, Cengage Learning, Inc , 2015. Asi deset kopií je k dispozici v knihovně Centra strojového vnímání, katedry kybernetiky FEL. 
  2. Szeliski R.: Computer Vision: Algorithms and Application, Springer, Berlin, 2010. 812 p. The book draft is freely available for download.
  3. Hartley R., Zisserman A: Multiple View Geometry in Computer Vision, Second edition, Cambridge University Press, March 2004. The downloadable draft.
  4. Karu Z.Z.: Signals and Systems Made Ridiculously Easy, ZiZi Press, Cambridge, MA, USA, 2001, (download scanned version). Velmi útlou knihu doporučuji těm, kdo neprošli kursem zpracování signálů, ale i těm, kdo si chtějí upevnit základ nepříliš formálním čtením. I recommend a tiny book to those who have not taken a signal processing course, but also to those who want to strengthen their foundations by reading a rather informal text.

Exkurse, výzkumná spolupráce, nabídka vedení ročníkových, bakalářských a diplomových prací.
Excursion, research collaboration, offer to supervise year, bachelor and diploma projects.

Oblasti přednášek odpovídá výzkumná aktivita několika výzkumníků z rostoucího vysokoškolského ústavu CIIRC ČVUT. Předmět nabízí studentům, aby se o výzkumu více dozvěděli. Domluvíme se během přednášek.
Several researchers from our growing university research institute CIIRC investigate topics related to the subject. We offer the students the possibility to learn about this research more. We will talk about it at lectures.


Cvičení / Seminars

(seminární i laboratorní) (seminars and labs)
Cvičení jsou v / Seminars are at  CIIRC ČVUT, Praha 6, Jugoslávských partyzánů 1580/3, místnost JP:B-633, případně v blízkých laboratořích v pondělí od (pravděpodobně) 10:40 do 12:10. Přesná domluva bude na první přednášce podle rozvrhu.

Ing. Martin Matoušek, Ph.D.
Český institut informatiky, robotiky a kybernetiky ČVUT, místnost JP:B-606b
martin.matousek@cvut.cz, http://people.ciirc.cvut.cz/~xmatousm/

Ve cvičení se student má prakticky seznámit s vybranými partiemi předmětu. Ve cvičení budou studenti řešit tři praktické úlohy. Podmínkou získání zápočtu je splnění úloh a nepříliš formální zpráva o řešení.
A student has to learn selected topics at seminars practically. Students will soilve three practical tasks at seminars. The prerequisit of the credit is the fulfilment o tasks and rather informal report about the solution.


Zkoušení, postup, podmínky zkoušky: / Examining, procedure, examination conditions:

Stránku spravuje / Maintained by Václav Hlaváč, vaclav.hlavac@cvut.cz
Poslední modifikace / last modification: 12.10. 2020 04:26