<div dir="ltr">You know what endlessly fascinates me? The way large language models are like those magic growth pills you see in cartoons. Just add some extra data, give it a stir, and voila! Emergent abilities appear out of thin air. It's like watching a kid turn into a superhero overnight.<br><br>I quote verbatim from <a href="https://arxiv.org/pdf/2206.07682.pdf">https://arxiv.org/pdf/2206.07682.pdf</a><br>"Scaling up language models has been shown to predictably improve performance and sample efficiency on a wide range of downstream tasks. This paper instead discusses an unpredictable phenomenon that we refer to as emergent abilities of large language models. We consider an ability to be emergent if it is not present in smaller models but is present in larger models. Thus, emergent abilities cannot be predicted simply by extrapolating the performance of smaller models. The existence of such emergence raises the question of whether additional scaling could potentially further expand the range of capabilities of language models."<br><br>Emergent properties of large language models are abilities that are not present in smaller models but are present in larger models. They are unpredictable and cannot be explained simply by extrapolating the performance of smaller models. Some examples of emergent abilities are:<br><br>Solving math problems<br>Answering factual questions<br>Generating summaries<br>Writing code<br>Playing games<br>Translating languages<br>Composing music<br>Drawing images<br>Detecting emotions<br>Reasoning logically<br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sun, 7 May 2023 at 18:29, Steve Smith <<a href="mailto:sasmyth@swcp.com">sasmyth@swcp.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
  

    
  
  <div>
    <p><a href="https://arxiv.org/pdf/2304.14767.pdf" target="_blank">https://arxiv.org/pdf/2304.14767.pdf</a></p>
    <p>I am pretty much over my head in this literature, but continue to
      be fascinated as I watch people who are not try to untangle some
      explanatory power in their models...</p>
    <p>The details of this analysis or framing this as <i>information
        flow</i> rather than <i>static data/structure</i> is
      reminiscent of some very nascent work we *tried* to do 15 years
      ago, attempting to analyze/understand huge Systems Dynamics models
      of Critical Infrastructure joined together/coupled to try to
      predict the potential for cascading failures through these coupled
      systems.   The representation *as* SD models were natural for this
      framing but we made only the tiniest progress IMO in extracting
      hints of *explanatory* narratives.    I was primarily doing
      visualization on those tasks but tried to focus on clustering of
      the Dual Graph/Network  to find structure in the *flow* during
      extreme events rather than in the engineered/designed structure of
      the network itself.<br>
    </p>
    <p>I know there are others on this list who have worked with
      complex, dynamic networks  (I'm thinking of Frank's colleagues and
      Causal Discovery in Graphical Models,   various project Glen has
      alluded to, and a wide variety of problems Stephen has related to
      me over the years, but I'm sure there are plenty of others)... 
      I'm curious if anyone else is wading in this deep (and more to the
      point, finding any traction)?<br>
    </p>
    <p>From the paper:<br>
    </p>
    <blockquote>
      <blockquote>
        <blockquote>
          <p><img src="cid:187f78077da128447a11"></p>
        </blockquote>
      </blockquote>
    </blockquote>
  </div>
-. --- - / ...- .- .-.. .. -.. / -- --- .-. ... . / -.-. --- -.. .<br>
FRIAM Applied Complexity Group listserv<br>
Fridays 9a-12p Friday St. Johns Cafe   /   Thursdays 9a-12p Zoom <a href="https://bit.ly/virtualfriam" rel="noreferrer" target="_blank">https://bit.ly/virtualfriam</a><br>
to (un)subscribe <a href="http://redfish.com/mailman/listinfo/friam_redfish.com" rel="noreferrer" target="_blank">http://redfish.com/mailman/listinfo/friam_redfish.com</a><br>
FRIAM-COMIC <a href="http://friam-comic.blogspot.com/" rel="noreferrer" target="_blank">http://friam-comic.blogspot.com/</a><br>
archives:  5/2017 thru present <a href="https://redfish.com/pipermail/friam_redfish.com/" rel="noreferrer" target="_blank">https://redfish.com/pipermail/friam_redfish.com/</a><br>
  1/2003 thru 6/2021  <a href="http://friam.383.s1.nabble.com/" rel="noreferrer" target="_blank">http://friam.383.s1.nabble.com/</a><br>
</blockquote></div>