<div dir="auto">A current CMU dissertation defense:<div dir="auto"><br></div><div dir="auto"><p style="font-size:12.8px">PhD Candidate: Shaojie Bai</p><p style="font-size:12.8px"><b>Title: </b><b>Equilibrium Approaches to Modern Deep Learning</b></p><p style="font-size:12.8px">Abstract:<br>Deep learning (DL) has become one of the most successful and widely-adopted methods in modern artificial intelligence. Accompanying these successes are also increasingly complex and costly architectural designs, at the foundation of which has been a core concept: <i><b>layers</b></i>. This thesis challenges this fundamental role of layers, and provides an in-depth introduction to a new, layer-<i>less</i> paradigm of deep learning that computes the output as the fixed point of a dynamical system: deep equilibrium (DEQ) models.<br></p><div style="font-size:12.8px" dir="auto">First, we introduce the general formulation of deep equilibrium models. We discuss how these models express “infinite-level” neural networks, decouple forward and backward passes, yet with the cost and design complexity of one traditional layer— even in some of the most competitive settings (e.g., language mode</div><div dir="auto"><br></div><br><div data-smartmail="gmail_signature" dir="auto">---<br>Frank C. Wimberly<br>140 Calle Ojo Feliz, <br>Santa Fe, NM 87505<br><br>505 670-9918<br>Santa Fe, NM</div></div></div>