<div dir="ltr">In my experience, working with deep learning AI models can very easily lead to overtraining if you're low on data or computing resources. It's like trying to fit a fifth-order polynomial to five random data points - you'll get a perfect match for those points, but the model becomes useless for anything else. The thing is, with traditional methods, nobody would be foolish enough to use such a complex curve for so few points, but in deep learning, it's not always obvious when you're overtraining.<br><br>The landscape has changed because we now have access to vast amounts of data and powerful computing resources. This allows us to train models with many parameters without them falling into the trap of overfitting. Essentially, the barriers of limited data and computation have been removed, enabling the creation of high-performing models even with complicated architectures.<br><br>Einstein's "make it as simple as possible, but not simpler" remains relevant. Even with all the advancements, there's still a balance to strike - we need complexity to capture the nuances of real-world data, but not so much that we lose the model's ability to generalize to new situations.<br><br>Note the message is 100% mine but I use AI to assist my writing.</div><br><div class="gmail_quote gmail_quote_container"><div dir="ltr" class="gmail_attr">On Thu, 30 Jan 2025 at 19:24, Roger Critchlow <<a href="mailto:rec@elf.org">rec@elf.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">This was in the Complexity Digest feed this morning, it looks like fun.<div><br></div><div><a href="https://www.pnas.org/doi/10.1073/pnas.2401230121" target="_blank">https://www.pnas.org/doi/10.1073/pnas.2401230121</a></div><div><br></div><div>What makes a model good or bad or useful or risible?</div><div><br></div><div>-- rec --</div></div>
.- .-.. .-.. / ..-. --- --- - . .-. ... / .- .-. . / .-- .-. --- -. --. / ... --- -- . / .- .-. . / ..- ... . ..-. ..- .-..<br>
FRIAM Applied Complexity Group listserv<br>
Fridays 9a-12p Friday St. Johns Cafe   /   Thursdays 9a-12p Zoom <a href="https://bit.ly/virtualfriam" rel="noreferrer" target="_blank">https://bit.ly/virtualfriam</a><br>
to (un)subscribe <a href="http://redfish.com/mailman/listinfo/friam_redfish.com" rel="noreferrer" target="_blank">http://redfish.com/mailman/listinfo/friam_redfish.com</a><br>
FRIAM-COMIC <a href="http://friam-comic.blogspot.com/" rel="noreferrer" target="_blank">http://friam-comic.blogspot.com/</a><br>
archives:  5/2017 thru present <a href="https://redfish.com/pipermail/friam_redfish.com/" rel="noreferrer" target="_blank">https://redfish.com/pipermail/friam_redfish.com/</a><br>
  1/2003 thru 6/2021  <a href="http://friam.383.s1.nabble.com/" rel="noreferrer" target="_blank">http://friam.383.s1.nabble.com/</a><br>
</blockquote></div>