|
Vyučující
|
-
Pavlačka Ondřej, RNDr. Ph.D.
|
|
Obsah předmětu
|
1. Ensemble učení: Základní principy, paralelní techniky (voting, bagging), sekvenční techniky (metody boostingu, gradientní boosting). 2. Úvod do hlubokého učení: Dopředné neuronové sítě - vícevrstvý perceptron (MLP) a algoritmus zpětného šíření chyby (backpropagation). 3. Optimalizační metody a regularizace v hlubokém učení. 4. Konvoluční neuronové sítě (CNN): Pokročilé architektury (ResNet, ...), přenos znalostí (transfer learning). 5. Zpracování sekvenčních dat: Rekurentní neuronové sítě (RNN). 6. Řešení dlouhodobých závislostí (Long-Term Dependencies): Architektury LSTM a GRU. 7. Mechanismus pozornosti (Attention Mechanism) a formalismus dotaz-klíč-hodnota (Query-Key-Value). 8. Architektura Transformer a moderní velké jazykové modely (LLM). 9. Hluboké generativní modely: Variační autoenkodéry (VAE) a generativní sítě s protivníkem (GAN). 10. Posilované učení (Reinforcement Learning) a hluboké Q-sítě (DQN).
|
|
Studijní aktivity a metody výuky
|
|
Přednášení, Dialogická (diskuze, rozhovor, brainstorming), Demonstrace, Projekce (statická, dynamická)
|
|
Výstupy z učení
|
Cílem předmětu je rozvinout schopnost studentů samostatně navrhovat, implementovat a kriticky vyhodnocovat pokročilé modely strojového učení a hluboké neuronové sítě, pochopit principy generativního modelování a zpětnovazebního učení, a zároveň porozumět vnitřnímu fungování moderních velkých jazykových modelů (LLM).
Porozumění pokročilým metodám strojového učení a architekturám hlubokých neuronových sítí. Schopnost aktivní implementace, optimalizace a kritického vyhodnocení komplexních modelů. Porozumění principům generativního modelování, zpětnovazebního učení a vnitřního fungování LLM.
|
|
Předpoklady
|
lineární algebra, kalkulus, programování, angličtina
|
|
Hodnoticí metody a kritéria
|
Známkou, Ústní zkouška, Analýza výkonů studenta, Seminární práce
Zápočet: Samostatně vyřešit zadané úlohy z oblasti strojového a hlubokého učení. Zkouška: Ústní.
|
|
Doporučená literatura
|
-
Bishop, Ch.M., Bishop, H. (2024). Deep Learning: Foundations and Concepts.
-
Géron, A. (2019). Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow. Sebastopol.
-
Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.
-
Hastie, T., Tibshirani, R., Friedman, J. (2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction.
-
Higham, C. F., Higham, D. J. (2019). Deep Learning: An Introduction for Applied Mathematicians.
-
Chollet, F. (2021). Deep Learning with Python.
-
Murphy, K. P. (2023). Probabilistic Machine Learning: Advanced Topics.
-
Prince, S. J. (2023). Understanding Deep Learning.
-
Sutton, R. S., Barto, A. G. (2018). Reinforcement Learning: An Introduction.
-
Zhang, A., Lipton, Z. C., Li, M., & Smola, A. J. (2023). Dive into Deep Learning.
|