<div dir="ltr"><div class="gmail_default" style="font-family:verdana,sans-serif;font-size:small;color:#333333">Just to verify that I am reading you, the additive classifier *should*<br>do a horrible job exactly because N+1 << 2^N. Selection is nullified by<br>linearity, while modularity benefits from linearity. As a consequence,<br>and through an evo-devo lens, biology optimizes about this paradox.<br>Do I have this right about selection? In a recent conversation with Nick,<br>I got the impression that this paradox of heritability is the source of<br>one of his *bugs*.<br><br>"""<br>A much better decomposition, of course, is not to use structureless<br>sets like cumulants, but rather to find representations of algorithmic<br>architectures that can be put into a frame of statistical identification.<br>"""<br><br>Are cumulants structureless? I keep thinking of them as being analogous<br>to moments and effectively differential information, but OTOH, maybe all<br>the *logs* stills this. Idk, I am a newbie here. The other idea your<br>comment calls to mind is the work being done to *learn algebraic<br>varieties*. Like varieties (the geometric objects they are) are the<br>consequence of an underlying algebra of operations (polynomial rings),<br>representations of programs (as denotation-level objects) can be learned<br>despite the inevitably wide variety of implementations.<br><br>Thank you for the references and the consideration.<br></div></div>