<div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small;color:#000000">Very nice piece by Rich Sutton!</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small;color:#000000"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small;color:#000000">Re NanoGPT. Even though I'm retired, I wanted to learn more about how the LLMs work. So I started a project in which a number of students and i work through Karpathy's nanoGPT. We've just started, but I think it will be worth the effort. Karpathy uses non-trivial Python. Many students don't know Python at all. So learning Python along with its non-trivial features as well as becoming familiar with PyTorch, is something of a challenge for the project. Students (and I, in fact) were not prepared for the amount of scaffolding background knowledge one had to build for oneself. </div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small;color:#000000"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small;color:#000000">The amount fo work required to build the intellectual scaffolding almost always seems to be an unanticipated problem when learning something new. In many cases the scaffolding is not just intellectual. Think of what it takes to learn to play musical instrument!</div><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><font><u style="color:rgb(33,33,33);font-family:"Helvetica Neue",Helvetica,Arial,sans-serif;font-size:16.5px;line-height:20px"><br></u></font></div><div dir="ltr"><font><u style="color:rgb(33,33,33);font-family:"Helvetica Neue",Helvetica,Arial,sans-serif;font-size:16.5px;line-height:20px"> </u></font><span style="color:rgb(33,33,33);font-family:"Helvetica Neue",Helvetica,Arial,sans-serif;font-size:16.5px;line-height:24.75px"> </span>-- Russ<br></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Feb 10, 2023 at 10:09 AM Jochen Fromm <<a href="mailto:jofr@cas-group.net">jofr@cas-group.net</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="auto"><div dir="auto">Interesting article. I have found this link to "GPT in 60 Lines of NumPy" on Hacker News</div><div dir="auto"><a href="https://jaykmody.com/blog/gpt-from-scratch/" target="_blank">https://jaykmody.com/blog/gpt-from-scratch/</a></div><div dir="auto"><br></div><div dir="auto">It is similar to nanoGPT and minGPT from Andrej Karpathy, who has joined OpenAI again recently</div><div dir="auto"><a href="https://github.com/karpathy/nanoGPT" target="_blank">https://github.com/karpathy/nanoGPT</a></div><div dir="auto"><br></div><div dir="auto">The secret is apparently not to use a complicated algorithm but just a huge amount of data, as Rich Sutton writes here </div><div dir="auto"><a href="http://www.incompleteideas.net/IncIdeas/BitterLesson.html" target="_blank">http://www.incompleteideas.net/IncIdeas/BitterLesson.html</a></div><div dir="auto"><br></div><div dir="auto">-J.</div><div dir="auto"><br></div><div><br></div><div align="left" dir="auto" style="font-size:100%;color:rgb(0,0,0)"><div>-------- Original message --------</div><div>From: Russ Abbott <<a href="mailto:russ.abbott@gmail.com" target="_blank">russ.abbott@gmail.com</a>> </div><div>Date: 2/10/23  5:53 PM  (GMT+01:00) </div><div>To: The Friday Morning Applied Complexity Coffee Group <<a href="mailto:friam@redfish.com" target="_blank">friam@redfish.com</a>> </div><div>Subject: [FRIAM] A very good piece about ChatGPT. </div><div><br></div></div><div dir="ltr"><div style="font-family:arial,helvetica,sans-serif;font-size:small;color:rgb(0,0,0)" class="gmail_default"><a style="font-family:Arial,Helvetica,sans-serif" rel="noreferrer" href="https://www.newyorker.com/tech/annals-of-technology/chatgpt-is-a-blurry-jpeg-of-the-web" target="_blank">It's in the New Yorker</a><span style="font-family:Arial,Helvetica,sans-serif;color:rgb(34,34,34)"> and intended for a non-scientific audience.</span><br></div><div class="gmail_quote"><div dir="auto"><div dir="auto" class="gmail_quote"><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><br></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div>
</div></div>
</div></div>
</div></blockquote></div>