NPGR001 3D počítačové vidění / 3D computer vision

Zimní semestr 2025/2026, přednáška 90 minut týdně. Semináře/laboratoře 90 minut týdně v Českém institutu informatiky, robotiky a kybernetiky ČVUT.
Winter semester 2025/2026, lecture 90 minutes weekly. Seminars/labs 90 minutes weekly at the Czech Institute of Informatics, Robotics, and Cybernetics, CTU.

Anotace předmětu / Subject annotation

Předmět seznámí s metodami trojrozměrného (3D) počítačového vidění. Nejdříve ve třech přednáškách shrneme potřebné pojmy z digitálního zpracování/analýzy obrazu. Naučíme se hledat významné body a jak řešit úlohu korespondence. Navážeme popisem jedné (intenzitní, RGB) kamery a související geometrií. Naučíme se použít dvě a více kamer pro zjišťování hloubky ve scéně a 3D rekonstrukci. Přidáme další hloubkové senzorické modality, a to lidary, radary, sonary. Vysvětlíme, jak sdružovat informaci z různorodých senzorů. Metody budeme prakticky ilustrovat na úlohách spojených se samořiditelnými auty.

The subject introduces 3D computer vision methods. I will use three initial lectures to summarize the needed concepts from digital image processing/analysis. I will explain one (intensity, RGB) camera and related geometry. We will introduce how to find salient points in the image, and how to approach the correspondence problem. We will learn how to use two or more cameras to learn depth in the scene and perform 3D reconstruction. We will add other depth sensory modalities, such as lidars, radars, and sonars. We will explain how to fuse information from different sensors. We will illustrate the learned material mainly in the autonomous driving domain.

Přednáška / Lecture

Přednáška je v angličtině se koná v pondělí od 9:00 do 10:30 v CIIRC ČVUT, Praha 6, Dejvice, Jugoslávských partyzánů 1580/3, budova B, 6. patro, místnost JP:B-633. Přednáška a následující cvičení/laboratoř bude ve stejné místnosti.

The lecture given in English takes place on Monday from 9:00 to 10:30 at CIIRC CTU, Praha 6, Dejvice, Jugoslávských partyzánů 1580/3, building B, 6th floor, room JP:B-633. The lecture will be followed by a practical/laboratory session in the same room.  

prof. Ing. Václav Hlaváč, CSc.
Český institut informatiky, robotiky a kybernetiky ČVUT, Praha 6, Dejvice, Jugoslávských partyzánů 1580/3, místnost JP:B-610
telefon 224 357 465, mobil 603 149 689
vaclav.hlavac@cvut.cz, http://people.ciirc.cvut.cz/hlavac/

Dr. Ing. Josef Šivic
Český institut informatiky, robotiky a kybernetiky ČVUT, Praha 6, Dejvice, Jugoslávských partyzánů 1580/3, místnost JP:B-639
telefon 224 357 465, mobil 773 896 548
josef.sivic@cvut.cz, http://www.di.ens.fr/~josef/

Plán přednášek (plán před přednáškou a skutečnost po přednášce); Lecture plan (plan before the lecture, reality after the lecture)

Týden

Datum

Kdo

Obsah přednášky

1

29.09.2025

 VH

Přehled digitálního zpracování obrazu (prezentace). Vlastnosti digitálního obrazu (prezentace). Jasové a geometrické transformace (prezentace). Digital image processing overview. (presentation) Digital image properties (presentation), brightness and geometric transforms (presentation)

2

06.10.2025

VH

Předzpracování obrazů (prezentace). Hrany, hranové body, ostření (prezentace). Detekce zájmových bodů/oblastí (prezentace).
Image preprocessing (presentation). Edges, edgels, sharpening (presentation). Interest points/regions (presentation).

3

13.10.2025

VH

Praktická optika. Radiální zkreslení (prezentace). Objekty v obraze, nutnost interpretace, segmentace objektů. (presentations). Optimalizace náhodným vzorkováním (RANSAC).  (presentation)
Practical optics. Radial distrortion (presentation). Objects in the image. Need for interpretation. Object segmentation. (presentations). Random Sampling and Consensus (RANSAC) (presentation)

4

20.10.2025

VH

3D počítačové vidění, cíle, různé teorie a aplikace. (presentation). Geometrie pro popis tuhého tělesa ve 3D. Projektivní transformace. Gometrie jedné perspektivní kamery. Projekční matice a její rozklad. Kalibrace jedné kamery.
3D computer vision, aims and applications. (presentation). Geometry describing a solid body in 3D. Projective transform. Geometry of a single perspective camera. Projective matrix and its decomposition. One camera calibration. (presentation)

5

27.10.2025

VH

Geometrie dvou kamer, epipolární omezení, fundamentální a esenciální matice. Geometrie více kamer. Rekonstrukce 3D scény z několika pohledů.
Geometry of two cameras. Epipolar constraint. Fundamental and essential matrices. Geometry of more cameras. (presentation) 3D scene reconstruction from several views.

6

03.11.2025

JŠ

Úloha korespondence a její řešení. Coorespondence problem and its solution. (presentation)

7

10.11.2025

JŠ

Rychlé vizuální vyhledávání. Efficient visual search. (presentation)

8

17.11.2025

Státní svátek 

9

24.11.2025

JŠ

Učení ze slabých anotací v obrazech a ve videu, také pomocí hlubokých sítí.
Learning from weak annotations in images and video, also using deep networks. (presentation)

10

01.12.2025

JŠ

Metody strojového učení ve 3D počítačovém vidění I. Machine learning methods in 3D computer vision I.

11

08.12.2025

JŠ

Metody strojového učení ve 3D počítačovém vidění II. Machine learning methods in 3D computer vision II.

12

15.12.2025

VH

Hloubkové senzory (lidar, radar, sonar, kamery se strukturovaným světlem). Fúze dat z různých hloubkových senzorů.
Depth sensors (lidar, radar, sonar, cameras with structured light). Data fusion from different depth sensors. (presentation)

 

 

Vánoční prázdniny. Christmas holidays.

13

05.01.2026

VH

Metody zpracování hloubkových map (mraků bodů). Iterative closest points (ICP) algoritmus. Shlukování 3D bodů. Ukázky. Praktická aplikace 3D vidění v samořiditelném autě.
Depth maps (point clouds) processing methods.  Iterative closest points (ICP) algorithm. Use cases. 3D vision use-cases in self-driving domain. (presentation) (Maks Ovsjanikov's presentation)

Okamžitý stav všech průsvitek Václava Hlaváče pro přednášky je česky, in English.
The present state of Václav Hlaváč's presentation is here, in English

K samostudiu, kdo tyto prerekvizity z matematiky nezná: Probability and statistics, rehersal. Optimization methods, an overview. Least squares.

Presentations for self-study for those who do not know these prerequisites: Probability and statistics, rehersal. Optimization methods, an overview. Least squares.

 Doporučená literatura / Recommended literature:

1.      Šonka M., Hlaváč V., Boyle R.: Image Processing, Analysis and Machine vision, 4th edition, Cengage Learning, Inc , 2015. Asi deset kopií je k dispozici v knihovně Centra strojového vnímání, katedry kybernetiky FEL. 

2.      Szeliski R.: Computer Vision: Algorithms and Application, Springer, Berlin, 2010. 812 p. The book draft is freely available for download.

3.      Hartley R., Zisserman A: Multiple View Geometry in Computer Vision, Second edition, Cambridge University Press, March 2004. The downloadable draft.

4.      Karu Z.Z.: Signals and Systems Made Ridiculously Easy, ZiZi Press, Cambridge, MA, USA, 2001, (download scanned version). Velmi útlou knihu doporučuji těm, kdo neprošli kursem zpracování signálů, ale i těm, kdo si chtějí upevnit základ nepříliš formálním čtením. I recommend a tiny book to those who have not taken a signal processing course, but also to those who want to strengthen their foundations by reading a rather informal text.

5.      Doxiadēs, A. K., Papadimitriou, C. H., Papadatos, A., & Di, D. A. Logicomix. An Epic Search for Truth. New York: Bloomsbury, 2009. , You can download a free copy from https://archive.org/details/Logicomix-Comic-EarlyLifeOfBertrandRussell/mode/2up

6.      Doxiadēs, A. K., Papadimitriou, C. H., Papadatos, A., & Di, D. A. Logikomiks, Hledání absolutní pravdy, český překlad Dokořán 2012, ISBN: 978-80-7363-401-8 / 336 stran, přeložil Jaroslav Peregrin

Výzkumná spolupráce, nabídka vedení ročníkových, bakalářských a diplomových prací.
Research collaboration, offer to supervise year, bachelor and diploma projects.
Oblasti přednášek odpovídá výzkumná aktivita několika výzkumníků z rostoucího vysokoškolského ústavu CIIRC ČVUT. Předmět nabízí studentům, aby se o výzkumu více dozvěděli.
Several researchers from our growing university research institute CIIRC investigate topics related to the subject. We offer the students the possibility to learn about this research more.

 

Cvičení / Seminars

(seminární i laboratorní) (seminars and labs)
Cvičení jsou v / Seminars are at  CIIRC ČVUT, Praha 6, Jugoslávských partyzánů 1580/3, místnost JP:B-633, případně v blízkých laboratořích v pondělí od (pravděpodobně) 12:20 do 13:50. Přesná domluva bude na první přednášce podle rozvrhu.

Ing. Martin Matoušek, Ph.D.
Český institut informatiky, robotiky a kybernetiky ČVUT, místnost JP:B-606b
martin.matousek@cvut.cz, http://people.ciirc.cvut.cz/~xmatousm/

Ve cvičení se student má prakticky seznámit s vybranými partiemi předmětu. Ve cvičení studenti řeší devět praktických úloh. Podmínkou získání zápočtu je splnění sedmi z devíti úloh a nepříliš formální zpráva o řešení.
A student has to learn selected topics practically at seminars. Students will solve nine practical programming tasks at seminars. The prerequisite of the credit is the fulfillment of seven of the nine tasks and a rather informal report about the solution.

 

Zkoušení, postup, podmínky zkoušky: / Examining, procedure, examination conditions:

·        Písemná část prověří studentův přehled v předmětu šesti otázkami. Na odpovědi v celém testu bude 30 minut. Bezprostředně po odevzdání zkoušející test opraví. Otázky pro konkrétní zkušební termín se náhodně vyberou ze seznamu otázek (mohou se měnit do začátku zkouškového období). Tento seznam otázek také radí studentovi, která témata by měl umět ke zkoušce a uměl si tak vybrat v podrobnějším studijním materiálu v poskytnutých průsvitkách a doporučené literatuře.
The written part tests students' overview with six questions. There will be 30 minutes to finish the entire test. The test will be corrected right after it is written. Question for the particular test date will be selected randomly from the a priori known question list (it can be modified before the examination starts). The list also hints at the student which topics she/he could select for more thorough study.

·        Ústní část: Podrobnější studentova znalost se u zkoušky ověřuje diskusí nad vědeckým článkem, který si student sám vybere a přinese vytištěný ke zkoušce. Článek se musí vztahovat k tématu přednášky, tj. k počítačovému vidění nebo robotice. Volbou článku student sám ovlivní oblast diskuse do větší hloubky. U zkoušky student nebude vysvětlovat, o čem článek pojednává. Striktně se požaduje, aby článek byl následujícího seznamu prestižních časopisů a konferencí a nebyl starší pěti let: IEEE Transactions on Pattern Analysis and Machine Intelligence; International Journal of Computer Vision. Ujistěte se, že článek je opravdu z tohoto seznamu. Univerzita platí elektronický přístup k časopisům i konferencím. Nevybírejte články zaměřené na hluboké neuronové sítě. Tato oblast není usazená a těžko se zkouší.
Oral part: The deeper student's knowledge is tested by discussing a scientific paper. The student brings the printed-out paper to the lecture. The paper should relate to the subject, i.e., to computer vision or robotics. The student's paper selection influences the depth of the discussion. In the exam, the student will not explain what the article is about. I require that the paper is from the following list of journals and is not older than five years: IEEE Transactions on Pattern Analysis and Machine Intelligence; International Journal of Computer Vision. The university pays the electronic access to these journals. Do not select paper dealing with deep neural networks. This domain has not settled yet. It is difficult to examine it.

·        Hodnocení u zkoušky: Výkon ve cvičení max. 40 bodů. Písemka může být hodnocena max. 30 body. Zbylých 30 bodů do plného počtu 100 bodů je z ústního zkoušení. Hodnocení: méně než 50 - nevyhověl; 50 až 66 dobře; 67 až 83 velmi dobře; 84 až 100 výborně
Evaluation at the exam: Seminars max. 40 points. Written text max. 30 points. Oral part max. 30 points. Max total 100 points.  Evaluation less than 50 points - failed; 50 to 66 good; 67 to 83 very good;, 84 to 100 excellent.

·        Termíny zkoušek budou vypsány v SIS. The exam dates will be announced in SIS.

 

Josef Šivic nabízí témata diplomových prací / offers topics of diploma theses (témata/topics).

Stránku spravuje / Maintained by Václav Hlaváč, vaclav.hlavac@cvut.cz
Poslední modifikace / last modification: 16.9. 2025