<div dir="ltr">Looks cool, Frank. <br><br>Surfing around:<br><br>a Deep Equilibrium Model paper by Shaojie Bai:<br><a href="https://proceedings.neurips.cc/paper/2019/file/01386bd6d8e091c2ab4c7c7de644d37b-Paper.pdf">https://proceedings.neurips.cc/paper/2019/file/01386bd6d8e091c2ab4c7c7de644d37b-Paper.pdf</a><br><br>And one of his 12-minute talks:<br><a href="https://crossminds.ai/video/oral-at-neurips-2020-multiscale-deep-equilibrium-models-5fb82261890833803bc7e7f4/">https://crossminds.ai/video/oral-at-neurips-2020-multiscale-deep-equilibrium-models-5fb82261890833803bc7e7f4/</a><br clear="all"><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr">_______________________________________________________________________<br><a href="mailto:stephen.guerin@simtable.com" target="_blank">Stephen.Guerin@Simtable.com</a><div>CEO, Simtable  <a href="http://www.simtable.com/" target="_blank">http://www.simtable.com</a><br><div>1600 Lena St #D1, Santa Fe, NM 87505<div><div>office: (505)995-0206 <span style="font-size:12.8px">mobile: (505)577-5828</span></div><div><span style="font-size:12.8px">twitter: @simtable</span></div><div><span style="font-size:12.8px"><a href="http://zoom.com/j/5055775828" target="_blank">z</a><a href="http://oom.simtable.com" target="_blank">oom.simtable.com</a></span></div><div></div></div></div></div></div></div></div></div></div></div></div><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Mar 30, 2022 at 2:31 PM Frank Wimberly <<a href="mailto:wimberly3@gmail.com">wimberly3@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="auto">A current CMU dissertation defense:<div dir="auto"><br></div><div dir="auto"><p style="font-size:12.8px">PhD Candidate: Shaojie Bai</p><p style="font-size:12.8px"><b>Title: </b><b>Equilibrium Approaches to Modern Deep Learning</b></p><p style="font-size:12.8px">Abstract:<br>Deep learning (DL) has become one of the most successful and widely-adopted methods in modern artificial intelligence. Accompanying these successes are also increasingly complex and costly architectural designs, at the foundation of which has been a core concept: <i><b>layers</b></i>. This thesis challenges this fundamental role of layers, and provides an in-depth introduction to a new, layer-<i>less</i> paradigm of deep learning that computes the output as the fixed point of a dynamical system: deep equilibrium (DEQ) models.<br></p><div style="font-size:12.8px" dir="auto">First, we introduce the general formulation of deep equilibrium models. We discuss how these models express “infinite-level” neural networks, decouple forward and backward passes, yet with the cost and design complexity of one traditional layer— even in some of the most competitive settings (e.g., language mode</div><div dir="auto"><br></div><br><div dir="auto">---<br>Frank C. Wimberly<br>140 Calle Ojo Feliz, <br>Santa Fe, NM 87505<br><br>505 670-9918<br>Santa Fe, NM</div></div></div>
<br>
.-- .- -. - / .- -.-. - .. --- -. ..--.. / -.-. --- -. .--- ..- --. .- - .<br>
FRIAM Applied Complexity Group listserv<br>
Zoom Fridays 9:30a-12p Mtn UTC-6  <a href="http://bit.ly/virtualfriam" rel="noreferrer" target="_blank">bit.ly/virtualfriam</a><br>
un/subscribe <a href="http://redfish.com/mailman/listinfo/friam_redfish.com" rel="noreferrer" target="_blank">http://redfish.com/mailman/listinfo/friam_redfish.com</a><br>
FRIAM-COMIC <a href="http://friam-comic.blogspot.com/" rel="noreferrer" target="_blank">http://friam-comic.blogspot.com/</a><br>
archives:<br>
 5/2017 thru present <a href="https://redfish.com/pipermail/friam_redfish.com/" rel="noreferrer" target="_blank">https://redfish.com/pipermail/friam_redfish.com/</a><br>
 1/2003 thru 6/2021  <a href="http://friam.383.s1.nabble.com/" rel="noreferrer" target="_blank">http://friam.383.s1.nabble.com/</a><br>
</blockquote></div>