<div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Feb 28, 2023 at 2:06 PM Jochen Fromm <<a href="mailto:jofr@cas-group.net">jofr@cas-group.net</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="auto"><div dir="auto">The "Transformer" movies are like the "Resident evil" movies based on a similar idea: we take a simple, almost primitive story such as "cars that can transform into alien robots" or "a bloody fight against a zombie apocalypse" and throw lots of money at it.</div><div dir="auto"><br></div><div dir="auto">But maybe deep learning and large language models are the same: we take a simple idea (gradient descent learning for deep neural networks) and throw lots of money (and data) at it. In this sense transformer is a perfect name of the architecture, isn't it?</div><div dir="auto"><br></div><div dir="auto">-J.</div><div dir="auto">😁😍🖖👍🤔<br></div><div><br></div><div dir="auto" style="font-size:100%;color:rgb(0,0,0)" align="left"><div>-------- Original message --------</div><div>From: Gillian Densmore <<a href="mailto:gil.densmore@gmail.com" target="_blank">gil.densmore@gmail.com</a>> </div><div>Date: 2/28/23  1:47 AM  (GMT+01:00) </div><div>To: The Friday Morning Applied Complexity Coffee Group <<a href="mailto:friam@redfish.com" target="_blank">friam@redfish.com</a>> </div><div>Subject: Re: [FRIAM] Magic Harry Potter mirrors or more? </div><div><br></div></div><div dir="ltr">Transformer architecture works because it's cybertronian technology. And is so advanced as to be almost magic.<br></div><br><div class="gmail_quote"><div class="gmail_attr" dir="ltr">On Mon, Feb 27, 2023 at 3:51 PM Jochen Fromm <<a href="mailto:jofr@cas-group.net" target="_blank">jofr@cas-group.net</a>> wrote:<br></div><blockquote style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex" class="gmail_quote"><div dir="auto"><div dir="auto">Terrence Sejnowski argues that the new AI super chatbots are like a magic Harry Potter mirror that tells the user what he wants to hear: "When people discover the mirror, it seems to provide truth and understanding. But it does not. It shows the deep-seated desires of anyone who stares into it". ChatGPT, LaMDA, LLaMA and other large language models would "take in our words and reflect them back to us".</div><div dir="auto"><a href="https://www.nytimes.com/2023/02/26/technology/ai-chatbot-information-truth.html" target="_blank">https://www.nytimes.com/2023/02/26/technology/ai-chatbot-information-truth.html</a><br></div><div dir="auto"><br></div><div dir="auto">It is true that large language models have absorbed <span style="background-color:rgb(255,255,255);color:rgb(26,26,26);font-family:NeueHaasGroteskText,Helvetica,Arial,"Nimbus Sans L",sans-serif;font-size:16px">unimaginably huge amount of texts, but what if our prefrontal cortex in the brain works in the same way? </span></div><div dir="auto"><a href="https://direct.mit.edu/neco/article/35/3/309/114731/Large-Language-Models-and-the-Reverse-Turing-Test" target="_blank">https://direct.mit.edu/neco/article/35/3/309/114731/Large-Language-Models-and-the-Reverse-Turing-Test</a></div><div dir="auto"><br></div><div dir="auto">I think it is possible that the "transformer" architecture is so successful because it is - like the cortical columns in the neocortex - a modular solution for the problem what comes next in an unpredictable world</div><div dir="auto"><a href="https://en.wikipedia.org/wiki/Cortical_column" target="_blank">https://en.wikipedia.org/wiki/Cortical_column</a></div><div dir="auto"><br></div><div dir="auto">-J.</div><div dir="auto"><br></div></div>-. --- - / ...- .- .-.. .. -.. / -- --- .-. ... . / -.-. --- -.. .<br>
FRIAM Applied Complexity Group listserv<br>
Fridays 9a-12p Friday St. Johns Cafe   /   Thursdays 9a-12p Zoom <a rel="noreferrer" href="https://bit.ly/virtualfriam" target="_blank">https://bit.ly/virtualfriam</a><br>
to (un)subscribe <a rel="noreferrer" href="http://redfish.com/mailman/listinfo/friam_redfish.com" target="_blank">http://redfish.com/mailman/listinfo/friam_redfish.com</a><br>
FRIAM-COMIC <a rel="noreferrer" href="http://friam-comic.blogspot.com/" target="_blank">http://friam-comic.blogspot.com/</a><br>
archives:  5/2017 thru present <a rel="noreferrer" href="https://redfish.com/pipermail/friam_redfish.com/" target="_blank">https://redfish.com/pipermail/friam_redfish.com/</a><br>
  1/2003 thru 6/2021  <a rel="noreferrer" href="http://friam.383.s1.nabble.com/" target="_blank">http://friam.383.s1.nabble.com/</a><br>
</blockquote></div>
</div>-. --- - / ...- .- .-.. .. -.. / -- --- .-. ... . / -.-. --- -.. .<br>
FRIAM Applied Complexity Group listserv<br>
Fridays 9a-12p Friday St. Johns Cafe   /   Thursdays 9a-12p Zoom <a href="https://bit.ly/virtualfriam" rel="noreferrer" target="_blank">https://bit.ly/virtualfriam</a><br>
to (un)subscribe <a href="http://redfish.com/mailman/listinfo/friam_redfish.com" rel="noreferrer" target="_blank">http://redfish.com/mailman/listinfo/friam_redfish.com</a><br>
FRIAM-COMIC <a href="http://friam-comic.blogspot.com/" rel="noreferrer" target="_blank">http://friam-comic.blogspot.com/</a><br>
archives:  5/2017 thru present <a href="https://redfish.com/pipermail/friam_redfish.com/" rel="noreferrer" target="_blank">https://redfish.com/pipermail/friam_redfish.com/</a><br>
  1/2003 thru 6/2021  <a href="http://friam.383.s1.nabble.com/" rel="noreferrer" target="_blank">http://friam.383.s1.nabble.com/</a><br>
</blockquote></div></div>