Institute of Information Theory and Automation

You are here

Home

AS

BSc./Mgr. Téma: Physics-informed neural networks (Šmídl)

Type of Work: 
bachelor
diploma
Affiliation/Phone: 
ÚTIA AV ČR, v.v.i., oddělení AS, 266052420
Supervisor: 
Šmídl
Keywords: 
neuronové sítě, diferenciální rovnice

Physics-informed neural network (PINN) jsou aplikací neuronových sítí na problém řešení diferenciálních a parciálních diferenciálních rovnic. V principu jednoduchá technika, zalozená na náhodné mřižce a minimalizaci chyby splnění diferenciální rovnice v těchto bodech pro neuronovou síť. Od svého přestavení před několika lety se tato technika vyvinula do bohaté formy metod podporujících práci s neurčitostí, aktivní volbu uzlových bodů, a mnoho dalších rozšíření. Díky plné derivovatelnosti tyto sítě dovolují i optimalizaci zadání úlohy.

Bibliography: 

Raissi, M., Perdikaris, P. and Karniadakis, G.E., 2019. Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations. Journal of Computational physics, 378, pp.686-707. Yang, L., Meng, X. and Karniadakis, G.E., 2021. B-PINNs: Bayesian physics-informed neural networks for forward and inverse PDE problems with noisy data. Journal of Computational Physics, 425, p.109913. Lu, L., Pestourie, R., Yao, W., Wang, Z., Verdugo, F. and Johnson, S.G., 2021. Physics-informed neural networks with hard constraints for inverse design. SIAM Journal on Scientific Computing, 43(6), pp.B1105-B1132.

2022-10-10 10:45

BSc./Mgr. Téma: Metody odhadu řídké parametrizace neuronových sítí (Šmídl)

Type of Work: 
bachelor
diploma
Affiliation/Phone: 
ÚTIA AV ČR, v.v.i., oddělení AS, 266052420
Supervisor: 
Šmídl
Keywords: 
neuronové sítě, statistické metody

Typické architektury neuronových sítí přepokládají, že matice vah obsahují libovolné hodnoty. To vede na velmi komplexní sítě, které často takzvané přetrénovánají. Experimentálně bylo ukázáno, že použitím řídkých váhových matic dojde ke zlepšení vlastností sítě. Nalezením řídkých parametrizací se zabývajá olast Bayesovské statistiky s tzv. shrinkage priors, tj. apriorními rozloženími preferujícícmi nulové hodnoty. Cílem práce je použití těchto metod na odhad parametrů neuronových sítí. V první fázi půjde o ověření existujících metod typu dropout a jeho variant.

Bibliography: 

E. Nalisnick, J. M. Hernández-Lobato, P. Smyth, Dropout as a Structured Shrinkage Prior. In `International Conference on Machine Learning\', PMLR, 2019, 4712-4722. C. Louizos, K. Ullrich, M. Welling, Bayesian Compression for Deep Learning. In `Advances in Neural Information Processing Systems\', 2017, 3288-3298. K. Mohammad, D. Nielsen, V. Tangkaratt, W. Lin, Y. Gal, A. Srivastava, Fast and Scalable Bayesian Deep Learning by Weight-Perturbation in Adam. In `International Conference on Machine Learning\', PMLR, 2018, 2611-2620.

2022-10-10 10:29

Seminar Kalman filtering with unknown covariance matrices

The seminar will be held on Monday 10.10.2022 at 11:00 in the AS-meeting room 474. The speaker will be Kamil Dedecius.

2022-09-29 08:08

Dynamic distributed decision making: role of uncertainty

Start: 
2022
End: 
2026
Leader: 
Doc. Ing. Tatiana Valentine Guy, Ph.D.
Identification Code: 
EU-COST Action CA21169
Project Type (EU): 
EU
Project Focus: 
teoretický
Web: 
Publications ÚTIA: 
list
2022-09-21 18:01

BSc./Mgr. Téma: Distribuované bayesovské modelování (Dedecius)

Type of Work: 
bachelor
diploma
Affiliation/Phone: 
ÚTIA AV ČR, v.v.i., oddělení AS, 266052570
Supervisor: 
Dedecius
Keywords: 
distribuované modelování, parametrické modely, difuzní sítě, informační difuze, informační fúze

V souvislosti s prudkým rozmachem zařízení (agentů) se značným výpočetním potenciálem, dostatkem paměti a schopností vzájemné komunikace došlo v posledních dvou dekádách k rychlému rozvoji metod pro distribuované modelování nejrůznějších procesů. Namátkou - distribuovaný Kalmanův filtr, RLS či particle filter. Zatímco většina stávajících řešení je orientována na jeden konkrétní model, použití bayesovského přístupu umožňuje tuto orientaci opustit ve prospěch obecnějších řešení. Cílem práce je zaměřit se právě na tuto problematiku, např.

Tasks: 

1. Seznamte se s bayesovskou teorií odhadu
2. Seznamte se s problematikou distribuovaného modelování náhodných procesů.
3. Navrhněte vlastní přístup k odhadu parametrů parametrických modelů v sítích s informační difuzí. Konkrétní typ(y) modelu budou domluveny s vedoucím práce.
4. Porovnejte dosažené výsledky s těmi, jichž lze dosáhnout s již existujícími metodami.

Bibliography: 

[1] A. H. Sayed, “Adaptation, learning, and optimization over networks,” Found. Trends Mach. Learn., vol. 7, no. 4–5, pp. 311–801, 2014.
[2] A. H. Sayed, “Adaptive Networks,” Proc. IEEE, vol. 102, no. 4, pp. 460–497, Apr. 2014.
[3] R. Nassif, S. Vlaski, C. Richard, J. Chen, and A. H. Sayed, “Multitask Learning Over Graphs: An Approach for Distributed, Streaming Machine Learning,” IEEE Signal Process. Mag., vol. 37, no. 3, pp. 14–25, May 2020
[4] K. Dedecius and P. M. Djuric, “Sequential Estimation and Diffusion of Information Over Networks: A Bayesian Approach With Exponential Family of Distributions,” IEEE Trans. Signal Process., vol. 65, no. 7, pp. 1795–1809, Apr. 2017.

2022-09-15 10:14

BSc./Mgr./PhD. Topic: Normative theory and algorithms of distributed decision making under uncertainty and incomplete knowledge (Kárný)

Type of Work: 
bachelor
diploma
dissertation
Affiliation/Phone: 
ÚTIA AV ČR, v.v.i., oddělení AS, 266052274
Supervisor: 
Kárný
Keywords: 
adaptivní systémy, distribuované systémy, poradní systémy, bayesovské učení, pravděpodobnostní návrh, pravděpodobnostní kooperace, kvantifikace znalostí a preferencí

Real processes result from interactions of relatively independently deciding but mutually interacting parts, modelled predominantly as multi-agents’ systems. A sufficiently complete, normative and algorithmically implementable theory is still missing, which is dearly paid by effort and quality in solving specific problems. Preliminary results indicate that such a theory can be created by combining Bayesian decision making, dynamic probabilistic modelling and fully probabilistic design of decision strategies.

Bibliography: 

1. Kárný Miroslav, Guy Tatiana V.: On dynamic decision-making scenarios with multiple participants. In: Multiple Participant Decision Making. (Andrýsek J., Kárný M., Kracík J. eds.). ( International Series on Advanced Intelligence. 9). Advanced Knowledge International, Adelaide 2004, pp. 17-28.
2. Kárný Miroslav, Guy Tatiana V.: Fully probabilistic control design, Systems & Control Letters, 55:4, 259-265, 2006
3. Kárný Miroslav et al, Optimized Bayesian Dynamic Advising: Theory and Algorithms, Springer, London, 2006
4. Kárný Miroslav, Guy Tatiana V., Bodini A., Ruggeri F.: Cooperation via sharing of probabilistic information, Int. Journal of Computational Intelligence Studies, p. 139-162, 2009
5. Kárný Miroslav: Axiomatisation of Fully Probabilistic Design Revisited , Systems and Control Letters vol.141, 2020
6. Kárný Miroslav, Guy Tatiana V.: Preference Elicitation within Framework of Fully Probabilistic Design of Decision Strategies , IFAC-PapersOnLine. Volume 52, Issue 29 - Proceedings of the 13th IFAC Workshop on Adaptive and Learning Control Systems 2019, p. 239-244, IFAC Workshop on Adaptive and Learning Control Systems 2019 /13./, 2019
7. Kárný Miroslav: Prescriptive Inductive Operations On Probabilities Serving to Decision-Making Agents, IEEE Trans. on Systems Man Cybernetics-Systems vol.52, 4 p. 2110-2120, 2022

Note: 
The topic suits to students of MFF UK, FEL ČVUT, FJFI ČVUT, FAV ZČU, and possibly others.
2022-09-15 10:15

BSc. Topic: Nastavování parametrů rozhodovacích pravidel (Kárný)

Type of Work: 
bachelor
Affiliation/Phone: 
ÚTIA AV ČR, v.v.i., oddělení AS, 266052274
Supervisor: 
Kárný

The quality of optimized decision-making algorithms (estimation, forecasting, classification, hypothesis testing, economic, medical or political decision-making, management, etc.) depends, often critically, on the choice of their parameters (order of models, weight of individual attributes in multi-criteria decision-making, probability of mutations in genetic algorithms, etc.). Therefore, it is desirable to set them, preferably automatically. The work is focused on a general solution to this problem, which is decision-making in the meta-space of parameters.

Tasks: 

1. Learn about Bayesian estimation of Markov chains.
2. Familiarize yourself with dynamic programming to the extent necessary for Markov decision-making processes.
3. Familiarize yourself with the methodologies for setting design parameters optimal decision rule.
4. Design your own decision rule setting the parameters mentioned in point 3.
5. Implement the necessary algorithms in the Matlab environment and experimentally evaluate the quality of your solution using a simple example.

 

Bibliography: 

Recommended literature (parts selected after agreement with the supervisor)

1. V. Peterka, Bayesian System Identification, in P. Eykhoff "Trends and Progress in System Identification", Pergamon Press, Oxford, 239-304, 1981.
2. M. Puterman, Markov decision processes, John Wiley & Sons, 1994.
3. D. P. Bertsekas, Dynamic Programming, Prentice Hall, 1987.
4. A. E. Eiben, S. K. Smit, Parameter tuning for configuring and analyzing evolutionary algorithms, Swarm and Evolutionary Computation 1 (2011) 19–31.
5. M. Kárný, Towards On-Line Tuning of Adaptive-Agent's Multivariate Meta-Parameter, Pattern Recognition Letters, 150, 170-175, 2021

2022-09-15 10:15

BSc. Topic: Productivity of Geniuses (Kárný)

Type of Work: 
bachelor
Affiliation/Phone: 
ÚTIA AV ČR, v.v.i., oddělení AS, 266052274
Supervisor: 
Kárný

Even highly creative people (scientists, artists, influencers...) are able to create a limited number of significant outputs in life. Predicting the extent to which their creative capacity is exhausted is important for making decisions affecting their careers. The work is focused on the creation and data-driven personalization of the personal creative productivity drawing model.

Tasks: 

1. Learn about Bayesian parameter estimation.
2. Familiarize yourself with productivity modeling and choose a simple parametric model.
3. Get to know the numerical indicators of the productivity of scientists (or artists).
4. Choose an indicator available from public sources and collect the corresponding data.
5. Implement the proposed estimator in MATLAB and evaluate the quality your estimation and the resulting prediction.

Bibliography: 

Doporučená literatura (části vybrané po dohodě se školitelem)

1. V. Peterka, Bayesian System Identification, in P. Eykhoff "Trends and Progress in System Identification", Pergamon Press, Oxford, 239-304, 1981.
2. C. Marchetti. Action curves and clockwork geniuses. Technical report, IASA, Laxenburg, Vienna, 1984.
3. T. Braun, W. Ganzel, and A. Schubert. Scientometric indicators. World Scientific, (1985).
4. J. Mingers and L. Leydesdor_. A review of theory and practice in scientometrics. European Journal of Operational Research, 246 (2015),1-19.

2022-09-15 10:15

BSc./Mgr. Téma: Inverzní modelování zdroje při radiačním úniku do atmosféry (Tichý)

Type of Work: 
bachelor
diploma
Affiliation/Phone: 
ÚTIA AV ČR, v.v.i., oddělení AS, 266052570
Supervisor: 
Tichý
Keywords: 
Bayesovské modelování a odhadování, inverzní problém, atmosférické modelování

Při detekci radioaktivity v ovzduší je zásadním úkolem určení lokace úniku a jeho časového průběhu. Zatímco lokace bývá velmi často známa, časový průběh a celkové množství uniklé látky bývá většinou známo jen jako hrubý odhad nebo vůbec. Hlavním úkolem navrhované práce je určení časového průběhu úniku z dostupných terénních měření. Toho lze dosáhnout optimalizací mezi naměřenými hodnotami a mezi numerickými výsledky atmosférického modelu šíření.

Bibliography: 

1. M. Hutchinson, H. Oh, W. Chen, A review of source term estimation methods for atmospheric dispersion events using static or mobile sensors. Information Fusion 36, 2017, 130-148.
2. P. Seibert and A. Frank, Source-receptor matrix calculation with a Lagrangian particle dispersion model in backward mode. Atmospheric Chemistry and Physics 4(1), 2004, 51–63.
3. V. Šmídl, A. Quinn, The Variational Bayes Method in Signal Processing. Springer, 2006.
4. O. Tichý, V. Šmídl, R. Hofman, K. Šindelářová, M. Hýža, A. Stohl, Bayesian inverse modeling and source location of an unintended I-131 release in Europe in the fall of 2011, Atmospheric Chemistry and Physics 17(20), 2017, 12677-12696.
5. O. Tichý, V. Šmídl, N. Evangeliou, Source term determination with elastic plume bias correction, Journal of Hazardous Materials vol.425 (2022), 127776.

2022-09-15 10:16

BSc. Topic: Approximate Recursive Bayesian Estimation with Forgetting (Kárný)

Type of Work: 
bachelor
Affiliation/Phone: 
ÚTIA AV ČR, v.v.i., oddělení AS, 266052274
Supervisor: 
Kárný

Recursive estimation of model parameters is a key part of adaptive systems predicting or influencing their complex random environment. Mostly, the models do not allow the desired exact Bayesian estimation and therefore it is necessary to implement them approximately. In this case, it is necessary to forget the invalid knowledge, because otherwise the behavior of the estimated model and the modeled environment often diverge from each other. The choice of data-dependent forgetting rate is still an open problem despite decades of ongoing research on this issue.

Tasks: 

1. Learn about Bayesian parameter estimation.
2. Learn about the principle of minimum expected relative entropy.
3. Propose an approximate Bayesian model parameter estimation based on the Taylor expansion of the logarithm of the model.
4. Use Bayesian predictors using a priori and posterior probabilities of parameters to estimate confidence in them. This will serve for the design of a new a priori distribution using the principle of minimum expected entropy.
5. Program the result and, in case of logistic regression, compare its quality with a suitable standard.

Bibliography: 

Recommended literature (parts selected after agreement with the supervisor)

1. V. Peterka, Bayesian System Identification, in P. Eykhoff "Trends and Progress in System Identification", Pergamon Press, Oxford, 239-304, 1981.
2. R. Kulhavy, M.B. Zarrop, On a General Concept of Forgetting, International Journal of Control 58(4), 905-924, 1993.
3. M. Kárný, Minimum Expected Relative Entropy Principle, Proc. of the 18th European Control Conference, 35-40, 2020.
4. M. Kárný, Approximate Bayesian recursive estimation, Inf. Sciences 285(1), 100-111 2014.

2022-09-15 10:16

Pages

Subscribe to RSS - AS
Institute of Information Theory and Automation