<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<!DOCTYPE article PUBLIC "-//NLM//DTD Journal Publishing DTD v2.3 20070202//EN" "journalpublishing.dtd">
<article xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink" article-type="research-article">
<front>
<journal-meta>
<journal-id journal-id-type="publisher-id">Front. Comput. Neurosci.</journal-id>
<journal-title>Frontiers in Computational Neuroscience</journal-title>
<abbrev-journal-title abbrev-type="pubmed">Front. Comput. Neurosci.</abbrev-journal-title>
<issn pub-type="epub">1662-5188</issn>
<publisher>
<publisher-name>Frontiers Media S.A.</publisher-name>
</publisher>
</journal-meta>
<article-meta>
<article-id pub-id-type="doi">10.3389/fncom.2018.00001</article-id>
<article-categories>
<subj-group subj-group-type="heading">
<subject>Neuroscience</subject>
<subj-group>
<subject>Original Research</subject>
</subj-group>
</subj-group>
</article-categories>
<title-group>
<article-title>Effects of Firing Variability on Network Structures with Spike-Timing-Dependent Plasticity</article-title>
</title-group>
<contrib-group>
<contrib contrib-type="author">
<name><surname>Min</surname> <given-names>Bin</given-names></name>
<xref ref-type="aff" rid="aff1"><sup>1</sup></xref>
<xref ref-type="aff" rid="aff2"><sup>2</sup></xref>
<uri xlink:href="http://loop.frontiersin.org/people/108744/overview"/>
</contrib>
<contrib contrib-type="author" corresp="yes">
<name><surname>Zhou</surname> <given-names>Douglas</given-names></name>
<xref ref-type="aff" rid="aff3"><sup>3</sup></xref>
<xref ref-type="author-notes" rid="fn001"><sup>&#x0002A;</sup></xref>
</contrib>
<contrib contrib-type="author" corresp="yes">
<name><surname>Cai</surname> <given-names>David</given-names></name>
<xref ref-type="aff" rid="aff1"><sup>1</sup></xref>
<xref ref-type="aff" rid="aff2"><sup>2</sup></xref>
<xref ref-type="aff" rid="aff3"><sup>3</sup></xref>
<xref ref-type="author-notes" rid="fn001"><sup>&#x0002A;</sup></xref>
<uri xlink:href="http://loop.frontiersin.org/people/72237/overview"/>
</contrib>
</contrib-group>
<aff id="aff1"><sup>1</sup><institution>Center for Neural Science, Courant Institute of Mathematical Sciences, New York University</institution>, <addr-line>New York, NY</addr-line>, <country>United States</country></aff>
<aff id="aff2"><sup>2</sup><institution>NYUAD Institute, New York University Abu Dhabi</institution>, <addr-line>Abu Dhabi</addr-line>, <country>United Arab Emirates</country></aff>
<aff id="aff3"><sup>3</sup><institution>School of Mathematical Sciences, MOE-LSC, Institute of Natural Sciences, Shanghai Jiao Tong University</institution>, <addr-line>Shanghai</addr-line>, <country>China</country></aff>
<author-notes>
<fn fn-type="edited-by"><p>Edited by: Paul Miller, Brandeis University, United States</p></fn>
<fn fn-type="edited-by"><p>Reviewed by: Maxim Volgushev, University of Connecticut, United States; Joost Le Feber, University of Twente, Netherlands</p></fn>
<fn fn-type="corresp" id="fn001"><p>&#x0002A;Correspondence: Douglas Zhou <email>zdz&#x00040;sjtu.edu.cn</email> Dedicated to David Cai</p></fn>
</author-notes>
<pub-date pub-type="epub">
<day>23</day>
<month>01</month>
<year>2018</year>
</pub-date>
<pub-date pub-type="collection">
<year>2018</year>
</pub-date>
<volume>12</volume>
<elocation-id>1</elocation-id>
<history>
<date date-type="received">
<day>17</day>
<month>08</month>
<year>2017</year>
</date>
<date date-type="accepted">
<day>03</day>
<month>01</month>
<year>2018</year>
</date>
</history>
<permissions>
<copyright-statement>Copyright &#x000A9; 2018 Min, Zhou and Cai.</copyright-statement>
<copyright-year>2018</copyright-year>
<copyright-holder>Min, Zhou and Cai</copyright-holder>
<license xlink:href="http://creativecommons.org/licenses/by/4.0/"><p>This is an open-access article distributed under the terms of the Creative Commons Attribution License (CC BY). The use, distribution or reproduction in other forums is permitted, provided the original author(s) or licensor are credited and that the original publication in this journal is cited, in accordance with accepted academic practice. No use, distribution or reproduction is permitted which does not comply with these terms.</p></license>
</permissions>
<abstract><p>Synaptic plasticity is believed to be the biological substrate underlying learning and memory. One of the most widespread forms of synaptic plasticity, spike-timing-dependent plasticity (STDP), uses the spike timing information of presynaptic and postsynaptic neurons to induce synaptic potentiation or depression. An open question is how STDP organizes the connectivity patterns in neuronal circuits. Previous studies have placed much emphasis on the role of firing rate in shaping connectivity patterns. Here, we go beyond the firing rate description to develop a self-consistent linear response theory that incorporates the information of both firing rate and firing variability. By decomposing the pairwise spike correlation into one component associated with local direct connections and the other associated with indirect connections, we identify two distinct regimes regarding the network structures learned through STDP. In one regime, the contribution of the direct-connection correlations dominates over that of the indirect-connection correlations in the learning dynamics; this gives rise to a network structure consistent with the firing rate description. In the other regime, the contribution of the indirect-connection correlations dominates in the learning dynamics, leading to a network structure different from the firing rate description. We demonstrate that the heterogeneity of firing variability across neuronal populations induces a temporally asymmetric structure of indirect-connection correlations. This temporally asymmetric structure underlies the emergence of the second regime. Our study provides a new perspective that emphasizes the role of high-order statistics of spiking activity in the spike-correlation-sensitive learning dynamics.</p></abstract>
<kwd-group>
<kwd>STDP</kwd>
<kwd>linear response theory</kwd>
<kwd>correlation structure</kwd>
<kwd>firing variability</kwd>
<kwd>synaptic plasticity</kwd>
</kwd-group>
<counts>
<fig-count count="6"/>
<table-count count="2"/>
<equation-count count="43"/>
<ref-count count="34"/>
<page-count count="15"/>
<word-count count="9724"/>
</counts>
</article-meta>
</front>
<body>
<sec sec-type="intro" id="s1">
<title>Introduction</title>
<p>Spike-timing-dependent plasticity (STDP) (Markram et al., <xref ref-type="bibr" rid="B23">1997</xref>; Bi and Poo, <xref ref-type="bibr" rid="B3">1998</xref>; Caporale and Dan, <xref ref-type="bibr" rid="B5">2008</xref>) is one of the major forms of Hebbian learning. In canonical STDP, a synapse is potentiated (depressed) when the presynaptic spikes precede (follow) the postsynaptic ones. With this temporally asymmetric learning window, STDP can regulate both the mean rate and variability of postsynaptic firing (Song et al., <xref ref-type="bibr" rid="B32">2000</xref>), enforce the competition between convergent synaptic inputs (Song et al., <xref ref-type="bibr" rid="B32">2000</xref>), and support temporal sequence learning (Rao and Sejnowski, <xref ref-type="bibr" rid="B29">2001</xref>).</p>
<p>While STDP of a single neuron with many synapses has been well characterized, issues related to the STDP learning dynamics in recurrent networks are yet to be fully addressed, in spite of recent progress (Morrison et al., <xref ref-type="bibr" rid="B24">2007</xref>; Clopath et al., <xref ref-type="bibr" rid="B6">2010</xref>; Gilson, <xref ref-type="bibr" rid="B9">2010</xref>; Kozloski and Cecchi, <xref ref-type="bibr" rid="B21">2010</xref>; Babadi and Abbott, <xref ref-type="bibr" rid="B1">2013</xref>, <xref ref-type="bibr" rid="B2">2016</xref>; Litwin-Kumar and Doiron, <xref ref-type="bibr" rid="B22">2014</xref>; Ocker et al., <xref ref-type="bibr" rid="B26">2015</xref>; Zenke et al., <xref ref-type="bibr" rid="B34">2015</xref>; Bi and Zhou, <xref ref-type="bibr" rid="B4">2016</xref>; Ravid Tannenbaum and Burak, <xref ref-type="bibr" rid="B30">2016</xref>). The role of the low-order statistical structure (i.e., firing rate) of spiking activity has been intensively investigated in the learning dynamics in recurrent networks (Morrison et al., <xref ref-type="bibr" rid="B24">2007</xref>; Kozloski and Cecchi, <xref ref-type="bibr" rid="B21">2010</xref>; Babadi and Abbott, <xref ref-type="bibr" rid="B1">2013</xref>). Though it is known that, as a correlation-sensitive learning rule, STDP inherently incorporates the high-order statistics of spiking activity (Morrison et al., <xref ref-type="bibr" rid="B25">2008</xref>), the role of the high-order statistics of spiking activity in STDP learning dynamics for recurrent networks remains largely unknown. In this work, we explore the issue of how the high-order firing statistics (for example, firing variability) affect the network connectivity structures learned through STDP in recurrent networks. We demonstrate that the information of firing variability is encoded in a linear response kernel that quantifies how a neuron responds to a weak incoming signal. By developing a self-consistent linear response theory pioneered in Pernice et al. (<xref ref-type="bibr" rid="B28">2012</xref>), Trousdale et al. (<xref ref-type="bibr" rid="B33">2012</xref>), and Helias et al. (<xref ref-type="bibr" rid="B19">2013</xref>), we show that this response kernel, together with the firing rate, determines the pairwise correlation of spiking activity. By decomposing the pairwise correlation into one component associated with local direct connections and the other associated with indirect connections, we can identify two distinct dynamical regimes. In the first regime, the local direct connections dominate over the indirect connections in determining the learned network structure. This regime corresponds to those studied in Babadi and Abbott (<xref ref-type="bibr" rid="B1">2013</xref>), Kozloski and Cecchi (<xref ref-type="bibr" rid="B21">2010</xref>), and Morrison et al. (<xref ref-type="bibr" rid="B24">2007</xref>), where the connections from neurons of higher firing rate to those of lower firing rate are strengthened whereas the connections with the opposite situation are weakened. The other is a regime in which the indirect connections dominate over the direct connections in learning dynamics. In this second regime, the connections from neurons of higher firing rate and higher firing variability to those of lower firing rate and lower firing variability are weakened whereas the connections with the opposite situation (i.e., connections from neurons of lower firing rate and lower firing variability to those of higher firing rate and higher firing variability) are strengthened. We find that there is a temporally asymmetric structure of common-input-induced spike correlations between different neuronal populations. This structure is induced by the heterogeneity of firing variability across neuronal populations, which underlies this counterintuitive dynamical regime. Our study provides a theoretical framework for addressing the question of how the high-order statistics of spiking activity affect network structures learned through STDP. Using this framework, we demonstrate how the introduction of heterogeneity of firing variability across different neuronal populations can give rise to counterintuitive network connectivity structures in a plastic neuronal network.</p>
</sec>
<sec sec-type="methods" id="s2">
<title>Methods</title>
<sec>
<title>Model</title>
<p>The model we used here is the current-based leaky integrate-and-fire (LIF) model with finite synaptic time constant. It is the same as that in Babadi and Abbott (<xref ref-type="bibr" rid="B1">2013</xref>).</p>
<disp-formula id="E1"><label>(1)</label><mml:math id="M1"><mml:mtable class="eqnarray" columnalign="right center left"><mml:mtr><mml:mtd><mml:msub><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mrow><mml:mtext>m</mml:mtext></mml:mrow></mml:msub><mml:mfrac><mml:mrow><mml:mi>d</mml:mi><mml:msub><mml:mrow><mml:mi>V</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mrow><mml:mi>d</mml:mi><mml:mi>t</mml:mi></mml:mrow></mml:mfrac><mml:mo>=</mml:mo><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:msub><mml:mrow><mml:mi>V</mml:mi></mml:mrow><mml:mrow><mml:mtext>r</mml:mtext></mml:mrow></mml:msub><mml:mo>-</mml:mo><mml:msub><mml:mrow><mml:mi>V</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>&#x0002B;</mml:mo><mml:msub><mml:mrow><mml:mi>I</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:mo>,</mml:mo></mml:mtd></mml:mtr></mml:mtable></mml:math></disp-formula>
<disp-formula id="E2"><label>(2)</label><mml:math id="M2"><mml:mtable class="eqnarray" columnalign="right center left"><mml:mtr><mml:mtd><mml:mfrac><mml:mrow><mml:mi>d</mml:mi><mml:msub><mml:mrow><mml:mi>I</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mrow><mml:mi>d</mml:mi><mml:mi>t</mml:mi></mml:mrow></mml:mfrac><mml:mo>=</mml:mo><mml:mo>-</mml:mo><mml:mfrac><mml:mrow><mml:msub><mml:mrow><mml:mi>I</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mrow><mml:msub><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mrow><mml:mtext>s</mml:mtext></mml:mrow></mml:msub></mml:mrow></mml:mfrac><mml:mo>&#x0002B;</mml:mo><mml:mstyle displaystyle="true"><mml:munderover accentunder="false" accent="false"><mml:mrow><mml:mo>&#x02211;</mml:mo></mml:mrow><mml:mrow><mml:mi>j</mml:mi><mml:mo>=</mml:mo><mml:mn>1</mml:mn></mml:mrow><mml:mrow><mml:msub><mml:mrow><mml:mi>N</mml:mi></mml:mrow><mml:mrow><mml:mtext>E</mml:mtext></mml:mrow></mml:msub><mml:mo>,</mml:mo><mml:msub><mml:mrow><mml:mi>N</mml:mi></mml:mrow><mml:mrow><mml:mtext>I</mml:mtext></mml:mrow></mml:msub></mml:mrow></mml:munderover></mml:mstyle><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mi>s</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>&#x0002B;</mml:mo><mml:mfrac><mml:mrow><mml:msub><mml:mrow><mml:mi>&#x003BC;</mml:mi></mml:mrow><mml:mrow><mml:mtext>ext</mml:mtext><mml:mo>,</mml:mo><mml:mi>i</mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mrow><mml:msub><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mrow><mml:mtext>s</mml:mtext></mml:mrow></mml:msub></mml:mrow></mml:mfrac><mml:mo>&#x0002B;</mml:mo><mml:mfrac><mml:mrow><mml:msub><mml:mrow><mml:mi>&#x003C3;</mml:mi></mml:mrow><mml:mrow><mml:mtext>ext</mml:mtext><mml:mo>,</mml:mo><mml:mi>i</mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mrow><mml:msub><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mrow><mml:mtext>s</mml:mtext></mml:mrow></mml:msub></mml:mrow></mml:mfrac><mml:msqrt><mml:mrow><mml:msub><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mrow><mml:mtext>m</mml:mtext></mml:mrow></mml:msub></mml:mrow></mml:msqrt><mml:msub><mml:mrow><mml:mi>&#x003BE;</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>,</mml:mo></mml:mtd></mml:mtr></mml:mtable></mml:math></disp-formula>
<p>where &#x003C4;<sub>m</sub> &#x0003D; 20 ms is the membrane time constant, <italic>V</italic><sub>r</sub> &#x0003D; &#x02212;60 mV is the resting potential, &#x003C4;<sub>s</sub> &#x0003D; 5 ms is the synaptic time constant, <italic>w</italic><sub><italic>ij</italic></sub> is the synaptic strength from neuron <italic>j</italic> to neuron <italic>i</italic> and <italic>s</italic><sub><italic>j</italic></sub>(<italic>t</italic>) is the spike train of neuron <italic>j</italic>. The parameters &#x003BC;<sub>ext,<italic>i</italic></sub> and <inline-formula><mml:math id="M3"><mml:msubsup><mml:mrow><mml:mi>&#x003C3;</mml:mi></mml:mrow><mml:mrow><mml:mtext>ext</mml:mtext><mml:mo>,</mml:mo><mml:mi>i</mml:mi></mml:mrow><mml:mrow><mml:mn>2</mml:mn></mml:mrow></mml:msubsup></mml:math></inline-formula> are the mean and variance of the external input, respectively, and &#x003BE;<sub><italic>i</italic></sub> is the white noise satisfying &#x02329;&#x003BE;<sub><italic>i</italic></sub>&#x0232A; &#x0003D; 0 and <inline-formula><mml:math id="M400"><mml:mrow><mml:mo>&#x02329;</mml:mo><mml:mrow><mml:msub><mml:mrow><mml:mi>&#x003BE;</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:msub><mml:mrow><mml:mi>&#x003BE;</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:msup><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mrow><mml:mi>&#x02032;</mml:mi></mml:mrow></mml:msup></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:mrow><mml:mo>&#x0232A;</mml:mo></mml:mrow><mml:mo>=</mml:mo><mml:msub><mml:mrow><mml:mi>&#x003B4;</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mi>&#x003B4;</mml:mi><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi><mml:mo>-</mml:mo><mml:msup><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mrow><mml:mi>&#x02032;</mml:mi></mml:mrow></mml:msup></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula>. Every time when the membrane potential <italic>V</italic><sub><italic>i</italic></sub> crosses the threshold <italic>V</italic><sub>th</sub> &#x0003D; &#x02212;40 mV, neuron <italic>i</italic> would emit a spike and <italic>V</italic><sub><italic>i</italic></sub> would be reset to <italic>V</italic><sub>r</sub>.</p>
<p>The network consists of <italic>N</italic><sub>E</sub> excitatory neurons and <italic>N</italic><sub>I</sub> inhibitory neurons. We use <italic>N</italic><sub>E</sub> &#x0003D; 250, <italic>N</italic><sub>I</sub> &#x0003D; 250. The connections between these neurons are of the all-to-all type. We keep the inhibitory-to-excitatory (EI), excitatory-to-inhibitory (IE) and inhibitory-to-inhibitory (II) synaptic strengths constant during the entire simulation while the excitatory-to-excitatory (EE) connections are subject to the STDP learning rule to be introduced in section &#x0201C;The effect of firing rate and firing variability on learning dynamics&#x02014;numerical evidence&#x0201D;. At the beginning of simulations, the strengths for the EE and IE are drawn at random from a uniform distribution from 0 mV to <inline-formula><mml:math id="M5"><mml:msubsup><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mtext>EE</mml:mtext></mml:mrow><mml:mrow><mml:mtext>max</mml:mtext></mml:mrow></mml:msubsup><mml:mo>=</mml:mo><mml:mn>1</mml:mn></mml:math></inline-formula> mV and <inline-formula><mml:math id="M6"><mml:msubsup><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mtext>IE</mml:mtext></mml:mrow><mml:mrow><mml:mtext>max</mml:mtext></mml:mrow></mml:msubsup><mml:mo>=</mml:mo><mml:mn>2</mml:mn></mml:math></inline-formula> mV, respectively, and the strengths for the EI and II connections are drawn at random from a uniform distribution from <inline-formula><mml:math id="M7"><mml:msubsup><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mtext>EI</mml:mtext></mml:mrow><mml:mrow><mml:mtext>max</mml:mtext></mml:mrow></mml:msubsup><mml:mo>=</mml:mo><mml:mo>-</mml:mo><mml:mn>4</mml:mn></mml:math></inline-formula> mV and <inline-formula><mml:math id="M8"><mml:msubsup><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mtext>II</mml:mtext></mml:mrow><mml:mrow><mml:mtext>max</mml:mtext></mml:mrow></mml:msubsup><mml:mo>=</mml:mo><mml:mo>-</mml:mo><mml:mn>4</mml:mn></mml:math></inline-formula> to 0 mV, respectively.</p>
<p>Based on the mean and variance of external inputs, we divide the excitatory neurons into three populations in which the &#x003B1;th (&#x003B1; &#x0003D; 1, 2, 3) population receives the external input of the mean <inline-formula><mml:math id="M9"><mml:msubsup><mml:mrow><mml:mi>&#x003BC;</mml:mi></mml:mrow><mml:mrow><mml:mtext>ext</mml:mtext><mml:mo>,</mml:mo><mml:mi>&#x003B1;</mml:mi></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup></mml:math></inline-formula> and standard deviation <inline-formula><mml:math id="M10"><mml:msubsup><mml:mrow><mml:mi>&#x003C3;</mml:mi></mml:mrow><mml:mrow><mml:mtext>ext</mml:mtext><mml:mo>,</mml:mo><mml:mi>&#x003B1;</mml:mi></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup></mml:math></inline-formula>. The number of neurons in the &#x003B1;th (&#x003B1; &#x0003D; 1, 2, 3) population is denoted as <italic>N</italic><sub>&#x003B1;</sub>.</p>
</sec>
<sec>
<title>Statistical properties of a single LIF neuron</title>
<p>We first describe the statistical properties of a single LIF neuron. The dynamics of a single LIF neuron with finite synaptic time constant is governed by Equation (1) and the following equation:</p>
<disp-formula id="E3"><label>(3)</label><mml:math id="M11"><mml:mtable class="eqnarray" columnalign="right center left"><mml:mtr><mml:mtd><mml:msub><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mrow><mml:mtext>s</mml:mtext></mml:mrow></mml:msub><mml:mfrac><mml:mrow><mml:mi>d</mml:mi><mml:mi>I</mml:mi></mml:mrow><mml:mrow><mml:mi>d</mml:mi><mml:mi>t</mml:mi></mml:mrow></mml:mfrac><mml:mo>=</mml:mo><mml:mo>-</mml:mo><mml:mi>I</mml:mi><mml:mo>&#x0002B;</mml:mo><mml:mi>&#x003BC;</mml:mi><mml:mo>&#x0002B;</mml:mo><mml:mi>&#x003C3;</mml:mi><mml:msqrt><mml:mrow><mml:msub><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mrow><mml:mtext>m</mml:mtext></mml:mrow></mml:msub></mml:mrow></mml:msqrt><mml:mi>&#x003BE;</mml:mi><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>,</mml:mo></mml:mtd></mml:mtr></mml:mtable></mml:math></disp-formula>
<p>where &#x003BC; and &#x003C3; are the mean and standard deviation of the external input respectively, and &#x003BE;(<italic>t</italic>) is the Gaussian white noise satisfying &#x02329;&#x003BE;&#x0232A; &#x0003D; 0 and &#x02329;&#x003BE;(<italic>t</italic>)&#x003BE;(<italic>t</italic>&#x02032;)&#x0232A; &#x0003D; &#x003B4;(<italic>t</italic> &#x02212; <italic>t</italic>&#x02032;).</p>
<p>When &#x003C4;<sub>s</sub> is much smaller than &#x003C4;<sub>m</sub>, the mean firing rate <inline-formula><mml:math id="M12"><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:math></inline-formula> has the following approximation:</p>
<disp-formula id="E4"><label>(4)</label><mml:math id="M4"><mml:mrow><mml:mover accent='true'><mml:mi>r</mml:mi><mml:mo>&#x000AF;</mml:mo></mml:mover><mml:mo>=</mml:mo><mml:mi>F</mml:mi><mml:mo stretchy='false'>(</mml:mo><mml:mi>&#x003BC;</mml:mi><mml:mo>,</mml:mo><mml:mi>&#x003C3;</mml:mi><mml:mo stretchy='false'>)</mml:mo><mml:mo>=</mml:mo><mml:msup><mml:mrow><mml:mrow><mml:mo>[</mml:mo><mml:mrow><mml:msub><mml:mi>&#x003C4;</mml:mi><mml:mtext>m</mml:mtext></mml:msub><mml:msqrt><mml:mi>&#x003C0;</mml:mi></mml:msqrt><mml:msubsup><mml:mrow><mml:msup><mml:mstyle mathsize='140%' displaystyle='true'><mml:mo>&#x0222B;</mml:mo></mml:mstyle><mml:mtext>&#x0200B;</mml:mtext></mml:msup></mml:mrow><mml:mrow><mml:mo>&#x02212;</mml:mo><mml:mfrac><mml:mi>&#x003BC;</mml:mi><mml:mi>&#x003C3;</mml:mi></mml:mfrac><mml:mo>+</mml:mo><mml:mi>&#x003B2;</mml:mi></mml:mrow><mml:mrow><mml:mfrac><mml:mrow><mml:msub><mml:mi>V</mml:mi><mml:mrow><mml:mtext>th</mml:mtext></mml:mrow></mml:msub><mml:mo>&#x02212;</mml:mo><mml:msub><mml:mi>V</mml:mi><mml:mi>r</mml:mi></mml:msub><mml:mo>&#x02212;</mml:mo><mml:mi>&#x003BC;</mml:mi></mml:mrow><mml:mi>&#x003C3;</mml:mi></mml:mfrac><mml:mo>+</mml:mo><mml:mi>&#x003B2;</mml:mi></mml:mrow></mml:msubsup><mml:msup><mml:mi>e</mml:mi><mml:mrow><mml:msup><mml:mi>x</mml:mi><mml:mn>2</mml:mn></mml:msup></mml:mrow></mml:msup><mml:mo stretchy='false'>(</mml:mo><mml:mn>1</mml:mn><mml:mo>+</mml:mo><mml:mtext>erf</mml:mtext><mml:mo stretchy='false'>(</mml:mo><mml:mi>x</mml:mi><mml:mo stretchy='false'>)</mml:mo><mml:mo stretchy='false'>)</mml:mo><mml:mi>d</mml:mi><mml:mi>x</mml:mi></mml:mrow><mml:mo>]</mml:mo></mml:mrow></mml:mrow><mml:mrow><mml:mo>&#x02212;</mml:mo><mml:mn>1</mml:mn></mml:mrow></mml:msup><mml:mo>,</mml:mo></mml:mrow></mml:math></disp-formula>
<p>where <inline-formula><mml:math id="M14"><mml:mi>&#x003B2;</mml:mi><mml:mo>=</mml:mo><mml:mo>-</mml:mo><mml:mi>&#x003C2;</mml:mi><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mn>1</mml:mn><mml:mo>/</mml:mo><mml:mn>2</mml:mn></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:msqrt><mml:mrow><mml:msub><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mrow><mml:mtext>s</mml:mtext></mml:mrow></mml:msub><mml:mo>/</mml:mo><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mn>2</mml:mn><mml:msub><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mrow><mml:mtext>m</mml:mtext></mml:mrow></mml:msub></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:mrow></mml:msqrt></mml:math></inline-formula>, erf(&#x000B7;) is the error function and &#x003B6;(&#x000B7;) is the Riemann-Zeta function (Fourcaud and Brunel, <xref ref-type="bibr" rid="B8">2002</xref>).</p>
<p>We use a response kernel to characterize how the LIF neuron ensemble responds to a perturbation. Specifically, we consider Equation (1) and the following equation:</p>
<disp-formula id="E5"><label>(5)</label><mml:math id="M15"><mml:mtable class="eqnarray" columnalign="right center left"><mml:mtr><mml:mtd><mml:msub><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mrow><mml:mtext>s</mml:mtext></mml:mrow></mml:msub><mml:mfrac><mml:mrow><mml:mi>d</mml:mi><mml:mi>I</mml:mi></mml:mrow><mml:mrow><mml:mi>d</mml:mi><mml:mi>t</mml:mi></mml:mrow></mml:mfrac><mml:mo>=</mml:mo><mml:mo>-</mml:mo><mml:mi>I</mml:mi><mml:mo>&#x0002B;</mml:mo><mml:mi>&#x003BC;</mml:mi><mml:mo>&#x0002B;</mml:mo><mml:mi>&#x003C3;</mml:mi><mml:msqrt><mml:mrow><mml:msub><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mrow><mml:mtext>m</mml:mtext></mml:mrow></mml:msub></mml:mrow></mml:msqrt><mml:mi>&#x003BE;</mml:mi><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>&#x0002B;</mml:mo><mml:mi>u</mml:mi><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>,</mml:mo></mml:mtd></mml:mtr></mml:mtable></mml:math></disp-formula>
<p>where <italic>u</italic>(<italic>t</italic>) is a perturbation. When <italic>u</italic>(<italic>t</italic>) is weak, the difference between the instantaneous firing rate <italic>r</italic>(<italic>t</italic>) of neuronal ensemble that is governed by Equations (1, 5) and the mean firing rate <inline-formula><mml:math id="M1600"><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:math></inline-formula> of neuronal ensemble that is governed by Equations (1, 3) is small. Therefore, we can approximate the instantaneous firing rate <italic>r</italic>(<italic>t</italic>) by the mean firing rate <inline-formula><mml:math id="M17"><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:math></inline-formula> plus a linear response term with respect to <italic>u</italic>(<italic>t</italic>), i.e.,</p>
<disp-formula id="E6"><label>(6)</label><mml:math id="M18"><mml:mtable class="eqnarray" columnalign="right center left"><mml:mtr><mml:mtd><mml:mi>r</mml:mi><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>=</mml:mo><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover><mml:mo>&#x0002B;</mml:mo><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>h</mml:mi><mml:mo>*</mml:mo><mml:mi>u</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>,</mml:mo></mml:mtd></mml:mtr></mml:mtable></mml:math></disp-formula>
<p>where <italic>h</italic>(&#x003C4;) is the linear response kernel of Equations (1, 3) and the symbol <sup>&#x0002A;</sup> stands for temporal convolution.</p>
<p>The analytical results for the linear response kernel are available for the case of zero synaptic time constant (Fourcaud and Brunel, <xref ref-type="bibr" rid="B8">2002</xref>). Recently, for the case of nonzero synaptic time constant, the analytical result was derived (Schuecker et al., <xref ref-type="bibr" rid="B31">2015</xref>). Here, we use the reverse correlation method to compute it (Dayan and Abbott, <xref ref-type="bibr" rid="B7">2001</xref>; Ostojic et al., <xref ref-type="bibr" rid="B27">2009</xref>). Specifically, we inject a weak Gaussian white noise signal &#x003BE;<sub><italic>s</italic></sub>(<italic>t</italic>) with correlation <inline-formula><mml:math id="M19"><mml:mrow><mml:mo>&#x02329;</mml:mo><mml:mrow><mml:msub><mml:mrow><mml:mi>&#x003BE;</mml:mi></mml:mrow><mml:mrow><mml:mi>s</mml:mi></mml:mrow></mml:msub><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi><mml:mo>&#x0002B;</mml:mo><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:msub><mml:mrow><mml:mi>&#x003BE;</mml:mi></mml:mrow><mml:mrow><mml:mi>s</mml:mi></mml:mrow></mml:msub><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:mrow><mml:mo>&#x0232A;</mml:mo></mml:mrow><mml:mo>=</mml:mo><mml:msubsup><mml:mrow><mml:mi>&#x003C3;</mml:mi></mml:mrow><mml:mrow><mml:mtext>s</mml:mtext></mml:mrow><mml:mrow><mml:mn>2</mml:mn></mml:mrow></mml:msubsup><mml:mi>&#x003B4;</mml:mi><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula> to the LIF neuron, i.e., adding &#x003BE;<sub><italic>s</italic></sub>(<italic>t</italic>) on the right hand side of Equation (3). Note that this testing white noise signal &#x003BE;<sub><italic>s</italic></sub>(<italic>t</italic>) is different from the external noise input &#x003BE;(<italic>t</italic>) in Equation (3). By using the spike-triggered average technique, we calculate the response kernel in the following way:</p>
<disp-formula id="E7"><label>(7)</label><mml:math id="M20"><mml:mtable class="eqnarray" columnalign="right center left"><mml:mtr><mml:mtd><mml:mi>h</mml:mi><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>=</mml:mo><mml:mfrac><mml:mrow><mml:mfrac><mml:mrow><mml:mn>1</mml:mn></mml:mrow><mml:mrow><mml:msub><mml:mrow><mml:mi>N</mml:mi></mml:mrow><mml:mrow><mml:mi>T</mml:mi></mml:mrow></mml:msub></mml:mrow></mml:mfrac><mml:mstyle displaystyle="true"><mml:msubsup><mml:mrow><mml:mo>&#x02211;</mml:mo></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mo>=</mml:mo><mml:mn>1</mml:mn></mml:mrow><mml:mrow><mml:msub><mml:mrow><mml:mi>N</mml:mi></mml:mrow><mml:mrow><mml:mi>T</mml:mi></mml:mrow></mml:msub></mml:mrow></mml:msubsup></mml:mstyle><mml:msub><mml:mrow><mml:mi>&#x003BE;</mml:mi></mml:mrow><mml:mrow><mml:mi>s</mml:mi></mml:mrow></mml:msub><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:msub><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:mo>-</mml:mo><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:msubsup><mml:mrow><mml:mi>&#x003C3;</mml:mi></mml:mrow><mml:mrow><mml:mtext>s</mml:mtext></mml:mrow><mml:mrow><mml:mn>2</mml:mn></mml:mrow></mml:msubsup></mml:mrow></mml:mfrac><mml:mo>,</mml:mo></mml:mtd></mml:mtr></mml:mtable></mml:math></disp-formula>
<p>where <inline-formula><mml:math id="M210"><mml:msubsup><mml:mrow><mml:mrow><mml:mo>{</mml:mo><mml:mrow><mml:msub><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mo>}</mml:mo></mml:mrow></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mo>=</mml:mo><mml:mn>1</mml:mn></mml:mrow><mml:mrow><mml:msub><mml:mrow><mml:mi>N</mml:mi></mml:mrow><mml:mrow><mml:mi>T</mml:mi></mml:mrow></mml:msub></mml:mrow></mml:msubsup></mml:math></inline-formula> is the spike timing of the LIF neuron in the duration <italic>T</italic> and the firing rate <inline-formula><mml:math id="M22"><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:math></inline-formula> is given by Equation (4) (Dayan and Abbott, <xref ref-type="bibr" rid="B7">2001</xref>). In our simulation, &#x003C3;<sub>s</sub> &#x0003D; 2 mV and <italic>T</italic> &#x0003D; 10<sup>6</sup> ms. We use one realization of &#x003BE;<sub><italic>s</italic></sub>(<italic>t</italic>) and perform the average over 1,000 realizations of external noise input &#x003BE;(<italic>t</italic>).</p>
</sec>
<sec>
<title>Linear response theory</title>
<p>Here, we describe how we obtain <inline-formula><mml:math id="M23"><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub></mml:math></inline-formula> and <italic>h</italic><sub><italic>i</italic></sub>(&#x003C4;) for <italic>i</italic> &#x0003D; 1, &#x022EF;, <italic>N</italic> in a self-consistent manner for the network described in Equations (1, 2). By splitting the spike train <italic>s</italic><sub><italic>j</italic></sub>(<italic>t</italic>) in Equation (2) into the mean firing rate and its fluctuations, we can rewrite Equation (2) in the following form:</p>
<disp-formula id="E8"><label>(8)</label><mml:math id="M24"><mml:mtable class="eqnarray" columnalign="left"><mml:mtr><mml:mtd><mml:mfrac><mml:mrow><mml:mi>d</mml:mi><mml:msub><mml:mrow><mml:mi>I</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mrow><mml:mi>d</mml:mi><mml:mi>t</mml:mi></mml:mrow></mml:mfrac><mml:mo>=</mml:mo><mml:mo>-</mml:mo><mml:mfrac><mml:mrow><mml:msub><mml:mrow><mml:mi>I</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mrow><mml:msub><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mrow><mml:mtext>s</mml:mtext></mml:mrow></mml:msub></mml:mrow></mml:mfrac><mml:mo>&#x0002B;</mml:mo><mml:mstyle displaystyle="true"><mml:munderover accentunder="false" accent="false"><mml:mrow><mml:mo>&#x02211;</mml:mo></mml:mrow><mml:mrow><mml:mi>j</mml:mi><mml:mo>=</mml:mo><mml:mn>1</mml:mn></mml:mrow><mml:mrow><mml:mi>N</mml:mi></mml:mrow></mml:munderover></mml:mstyle><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mo>&#x0002B;</mml:mo><mml:mfrac><mml:mrow><mml:msub><mml:mrow><mml:mi>&#x003BC;</mml:mi></mml:mrow><mml:mrow><mml:mtext>ext</mml:mtext><mml:mo>,</mml:mo><mml:mi>i</mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mrow><mml:msub><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mrow><mml:mtext>s</mml:mtext></mml:mrow></mml:msub></mml:mrow></mml:mfrac><mml:mo>&#x0002B;</mml:mo><mml:mfrac><mml:mrow><mml:msub><mml:mrow><mml:mi>&#x003C3;</mml:mi></mml:mrow><mml:mrow><mml:mtext>ext</mml:mtext><mml:mo>,</mml:mo><mml:mi>i</mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mrow><mml:msub><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mrow><mml:mtext>s</mml:mtext></mml:mrow></mml:msub></mml:mrow></mml:mfrac><mml:msqrt><mml:mrow><mml:msub><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mrow><mml:mtext>m</mml:mtext></mml:mrow></mml:msub></mml:mrow></mml:msqrt><mml:msub><mml:mrow><mml:mi>&#x003BE;</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:mtd></mml:mtr><mml:mtr><mml:mtd><mml:mo>&#x0002B;</mml:mo><mml:mtext>&#x000A0;</mml:mtext><mml:mstyle displaystyle="true"><mml:munderover accentunder="false" accent="false"><mml:mrow><mml:mo>&#x02211;</mml:mo></mml:mrow><mml:mrow><mml:mi>j</mml:mi><mml:mo>=</mml:mo><mml:mn>1</mml:mn></mml:mrow><mml:mrow><mml:mi>N</mml:mi></mml:mrow></mml:munderover></mml:mstyle><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:msub><mml:mrow><mml:mi>s</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mo>-</mml:mo><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>,</mml:mo></mml:mtd></mml:mtr></mml:mtable></mml:math></disp-formula>
<p>where the term <inline-formula><mml:math id="M26"><mml:munderover accentunder="false" accent="false"><mml:mrow><mml:mo>&#x02211;</mml:mo></mml:mrow><mml:mrow><mml:mi>j</mml:mi><mml:mo>=</mml:mo><mml:mn>1</mml:mn></mml:mrow><mml:mrow><mml:mi>N</mml:mi></mml:mrow></mml:munderover><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:msub><mml:mrow><mml:mi>s</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mo>-</mml:mo><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula> can be regarded as a perturbation. By enforcing the first-order Volterra approximation of Equations (1, 8), we arrive at Equation (31), where <inline-formula><mml:math id="M27"><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub></mml:math></inline-formula> and <italic>h</italic><sub><italic>i</italic></sub>(&#x003C4;) are the mean firing rate and response kernel, respectively, of Equation (1) and the following equation:</p>
<disp-formula id="E10"><label>(9)</label><mml:math id="M28"><mml:mtable class="eqnarray" columnalign="right center left"><mml:mtr><mml:mtd><mml:mfrac><mml:mrow><mml:mi>d</mml:mi><mml:msub><mml:mrow><mml:mi>I</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mrow><mml:mi>d</mml:mi><mml:mi>t</mml:mi></mml:mrow></mml:mfrac><mml:mo>=</mml:mo><mml:mo>-</mml:mo><mml:mfrac><mml:mrow><mml:msub><mml:mrow><mml:mi>I</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mrow><mml:msub><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mrow><mml:mtext>s</mml:mtext></mml:mrow></mml:msub></mml:mrow></mml:mfrac><mml:mo>&#x0002B;</mml:mo><mml:mstyle displaystyle="true"><mml:munderover accentunder="false" accent="false"><mml:mrow><mml:mo>&#x02211;</mml:mo></mml:mrow><mml:mrow><mml:mi>j</mml:mi><mml:mo>=</mml:mo><mml:mn>1</mml:mn></mml:mrow><mml:mrow><mml:mi>N</mml:mi></mml:mrow></mml:munderover></mml:mstyle><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mo>&#x0002B;</mml:mo><mml:mfrac><mml:mrow><mml:msub><mml:mrow><mml:mi>&#x003BC;</mml:mi></mml:mrow><mml:mrow><mml:mtext>ext</mml:mtext><mml:mo>,</mml:mo><mml:mi>i</mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mrow><mml:msub><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mrow><mml:mtext>s</mml:mtext></mml:mrow></mml:msub></mml:mrow></mml:mfrac><mml:mo>&#x0002B;</mml:mo><mml:mfrac><mml:mrow><mml:msub><mml:mrow><mml:mi>&#x003C3;</mml:mi></mml:mrow><mml:mrow><mml:mtext>ext</mml:mtext><mml:mo>,</mml:mo><mml:mi>i</mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mrow><mml:msub><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mrow><mml:mtext>s</mml:mtext></mml:mrow></mml:msub></mml:mrow></mml:mfrac><mml:msqrt><mml:mrow><mml:msub><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mrow><mml:mtext>m</mml:mtext></mml:mrow></mml:msub></mml:mrow></mml:msqrt><mml:msub><mml:mrow><mml:mi>&#x003BE;</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>.</mml:mo></mml:mtd></mml:mtr></mml:mtable></mml:math></disp-formula>
<p>Here, we can observe that, even with the same mean and variance value of external inputs, different neurons may still have different mean firing rates due to the randomness of synaptic strengths. To simplify the self-consistent derivation of mean firing rate, we make a further assumption that the mean firing rates of single neurons within the same population are approximated by the population-averaged mean firing rate. Denote the population-averaged mean firing rates of the different populations as <inline-formula><mml:math id="M29"><mml:msubsup><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>&#x003B1;</mml:mi></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup></mml:math></inline-formula>, &#x003B1; &#x0003D; 1, 2, 3, I, where I stands for the inhibitory population. Then, <inline-formula><mml:math id="M30"><mml:msubsup><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>&#x003B1;</mml:mi></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup></mml:math></inline-formula> is the mean firing rate of the following equations:</p>
<disp-formula id="E11"><label>(10)</label><mml:math id="M31"><mml:mtable class="eqnarray" columnalign="right center left"><mml:mtr><mml:mtd><mml:msub><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mrow><mml:mtext>m</mml:mtext></mml:mrow></mml:msub><mml:mfrac><mml:mrow><mml:mi>d</mml:mi><mml:msub><mml:mrow><mml:mi>V</mml:mi></mml:mrow><mml:mrow><mml:mi>&#x003B1;</mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mrow><mml:mi>d</mml:mi><mml:mi>t</mml:mi></mml:mrow></mml:mfrac><mml:mo>=</mml:mo><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:msub><mml:mrow><mml:mi>V</mml:mi></mml:mrow><mml:mrow><mml:mi>r</mml:mi></mml:mrow></mml:msub><mml:mo>-</mml:mo><mml:msub><mml:mrow><mml:mi>V</mml:mi></mml:mrow><mml:mrow><mml:mi>&#x003B1;</mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>&#x0002B;</mml:mo><mml:msub><mml:mrow><mml:mi>I</mml:mi></mml:mrow><mml:mrow><mml:mi>&#x003B1;</mml:mi></mml:mrow></mml:msub><mml:mo>,</mml:mo><mml:mtext>&#x000A0;for&#x000A0;</mml:mtext><mml:mstyle mathvariant="italic"><mml:mspace width="0em" class="thinspace"/></mml:mstyle><mml:mi>&#x003B1;</mml:mi><mml:mo>=</mml:mo><mml:mn>1</mml:mn><mml:mo>,</mml:mo><mml:mn>2</mml:mn><mml:mo>,</mml:mo><mml:mn>3</mml:mn><mml:mo>,</mml:mo><mml:mtext>I</mml:mtext><mml:mo>,</mml:mo></mml:mtd></mml:mtr></mml:mtable></mml:math></disp-formula>
<disp-formula id="E12"><label>(11)</label><mml:math id="M320"><mml:mtable class="eqnarray" columnalign="right center left"><mml:mtr><mml:mtd><mml:mfrac><mml:mrow><mml:mi>d</mml:mi><mml:msub><mml:mrow><mml:mi>I</mml:mi></mml:mrow><mml:mrow><mml:mi>&#x003B1;</mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mrow><mml:mi>d</mml:mi><mml:mi>t</mml:mi></mml:mrow></mml:mfrac><mml:mo>=</mml:mo><mml:mo>-</mml:mo><mml:mfrac><mml:mrow><mml:msub><mml:mrow><mml:mi>I</mml:mi></mml:mrow><mml:mrow><mml:mi>&#x003B1;</mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mrow><mml:msub><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mrow><mml:mtext>s</mml:mtext></mml:mrow></mml:msub></mml:mrow></mml:mfrac><mml:mo>&#x0002B;</mml:mo><mml:mrow><mml:mo stretchy="true">(</mml:mo><mml:mrow><mml:mstyle displaystyle="true"><mml:munderover accentunder="false" accent="false"><mml:mrow><mml:mo>&#x02211;</mml:mo></mml:mrow><mml:mrow><mml:mi>&#x003B2;</mml:mi><mml:mo>=</mml:mo><mml:mn>1</mml:mn></mml:mrow><mml:mrow><mml:mn>3</mml:mn></mml:mrow></mml:munderover></mml:mstyle><mml:msub><mml:mrow><mml:mi>N</mml:mi></mml:mrow><mml:mrow><mml:mi>&#x003B2;</mml:mi></mml:mrow></mml:msub><mml:msubsup><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>&#x003B1;</mml:mi><mml:mi>&#x003B2;</mml:mi></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup><mml:msubsup><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>&#x003B2;</mml:mi></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup><mml:mo>&#x0002B;</mml:mo><mml:msub><mml:mrow><mml:mi>N</mml:mi></mml:mrow><mml:mrow><mml:mtext>I</mml:mtext></mml:mrow></mml:msub><mml:msubsup><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>&#x003B1;</mml:mi><mml:mtext>I</mml:mtext></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup><mml:msubsup><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mtext>I</mml:mtext></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup></mml:mrow><mml:mo stretchy="true">)</mml:mo></mml:mrow><mml:mo>&#x0002B;</mml:mo><mml:mfrac><mml:mrow><mml:msubsup><mml:mrow><mml:mi>&#x003BC;</mml:mi></mml:mrow><mml:mrow><mml:mtext>ext</mml:mtext><mml:mo>,</mml:mo><mml:mi>&#x003B1;</mml:mi></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup></mml:mrow><mml:mrow><mml:msub><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mrow><mml:mtext>s</mml:mtext></mml:mrow></mml:msub></mml:mrow></mml:mfrac></mml:mtd></mml:mtr><mml:mtr><mml:mtd><mml:mo>&#x0002B;</mml:mo><mml:mtext>&#x000A0;</mml:mtext><mml:mfrac><mml:mrow><mml:msubsup><mml:mrow><mml:mi>&#x003C3;</mml:mi></mml:mrow><mml:mrow><mml:mtext>ext</mml:mtext><mml:mo>,</mml:mo><mml:mi>&#x003B1;</mml:mi></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup></mml:mrow><mml:mrow><mml:msub><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mrow><mml:mtext>s</mml:mtext></mml:mrow></mml:msub></mml:mrow></mml:mfrac><mml:msqrt><mml:mrow><mml:msub><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mrow><mml:mtext>m</mml:mtext></mml:mrow></mml:msub></mml:mrow></mml:msqrt><mml:msub><mml:mrow><mml:mi>&#x003BE;</mml:mi></mml:mrow><mml:mrow><mml:mi>&#x003B1;</mml:mi></mml:mrow></mml:msub><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>,</mml:mo></mml:mtd></mml:mtr></mml:mtable></mml:math></disp-formula>
<p>where <inline-formula><mml:math id="M34"><mml:msubsup><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>&#x003B1;</mml:mi><mml:mi>&#x003B2;</mml:mi></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup></mml:math></inline-formula> stands for the average synaptic strength from Population &#x003B2; to Population &#x003B1;. Therefore, <inline-formula><mml:math id="M35"><mml:msubsup><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>&#x003B1;</mml:mi></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup></mml:math></inline-formula> can be determined in the following self-consistent way:</p>
<disp-formula id="E14"><label>(12)</label><mml:math id="M360"><mml:mtable class="eqnarray" columnalign="right center left"><mml:mtr><mml:mtd><mml:msubsup><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>&#x003B1;</mml:mi></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup><mml:mo>=</mml:mo><mml:msup><mml:mrow><mml:mi>F</mml:mi></mml:mrow><mml:mrow><mml:mo>-</mml:mo><mml:mn>1</mml:mn></mml:mrow></mml:msup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:msubsup><mml:mrow><mml:mi>&#x003BC;</mml:mi></mml:mrow><mml:mrow><mml:mi>&#x003B1;</mml:mi></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup><mml:mo>,</mml:mo><mml:msubsup><mml:mrow><mml:mi>&#x003C3;</mml:mi></mml:mrow><mml:mrow><mml:mtext>ext</mml:mtext><mml:mo>,</mml:mo><mml:mi>&#x003B1;</mml:mi></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>,</mml:mo><mml:mtext>&#x000A0;for&#x000A0;</mml:mtext><mml:mstyle mathvariant="italic"><mml:mspace width="0em" class="thinspace"/></mml:mstyle><mml:mi>&#x003B1;</mml:mi><mml:mo>=</mml:mo><mml:mn>1</mml:mn><mml:mo>,</mml:mo><mml:mn>2</mml:mn><mml:mo>,</mml:mo><mml:mn>3</mml:mn><mml:mo>,</mml:mo><mml:mtext>I</mml:mtext><mml:mo>,</mml:mo></mml:mtd></mml:mtr></mml:mtable></mml:math></disp-formula>
<disp-formula id="E15"><label>(13)</label><mml:math id="M37"><mml:mtable class="eqnarray" columnalign="right center left"><mml:mtr><mml:mtd><mml:msubsup><mml:mrow><mml:mi>&#x003BC;</mml:mi></mml:mrow><mml:mrow><mml:mi>&#x003B1;</mml:mi></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup><mml:mo>=</mml:mo><mml:msub><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mrow><mml:mtext>s</mml:mtext></mml:mrow></mml:msub><mml:mrow><mml:mo stretchy="false">(</mml:mo></mml:mrow><mml:mstyle displaystyle="true"><mml:munderover accentunder="false" accent="false"><mml:mrow><mml:mo>&#x02211;</mml:mo></mml:mrow><mml:mrow><mml:mi>&#x003B2;</mml:mi><mml:mo>=</mml:mo><mml:mn>1</mml:mn></mml:mrow><mml:mrow><mml:mn>3</mml:mn></mml:mrow></mml:munderover></mml:mstyle><mml:msub><mml:mrow><mml:mi>N</mml:mi></mml:mrow><mml:mrow><mml:mi>&#x003B2;</mml:mi></mml:mrow></mml:msub><mml:msubsup><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>&#x003B1;</mml:mi><mml:mi>&#x003B2;</mml:mi></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup><mml:msubsup><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>&#x003B2;</mml:mi></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup><mml:mo>&#x0002B;</mml:mo><mml:msub><mml:mrow><mml:mi>N</mml:mi></mml:mrow><mml:mrow><mml:mtext>I</mml:mtext></mml:mrow></mml:msub><mml:msubsup><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>&#x003B1;</mml:mi><mml:mtext>I</mml:mtext></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup><mml:msubsup><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mtext>I</mml:mtext></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup><mml:mo stretchy="false">)</mml:mo><mml:mo>&#x0002B;</mml:mo><mml:msubsup><mml:mrow><mml:mi>&#x003BC;</mml:mi></mml:mrow><mml:mrow><mml:mtext>ext</mml:mtext><mml:mo>,</mml:mo><mml:mi>&#x003B1;</mml:mi></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup><mml:mo>.</mml:mo></mml:mtd></mml:mtr></mml:mtable></mml:math></disp-formula>
</sec>
<sec>
<title>The power spectrum for the Hawkes process</title>
<p>The first derivation of the power spectrum of Hawkes process (i.e., Equation 31) was carried out by Hawkes (<xref ref-type="bibr" rid="B17">1971a</xref>), in which the Wiener-Hopf theory was used. Here, we follow the method in Grytskyy et al. (<xref ref-type="bibr" rid="B16">2013</xref>). First, for the spike correlation function <bold>C</bold>(&#x003C4;), the following equations hold:</p>
<disp-formula id="E16"><label>(14a)</label><mml:math id="M16"><mml:mrow><mml:mstyle mathvariant='bold' mathsize='normal'><mml:mi>C</mml:mi></mml:mstyle><mml:mo stretchy='false'>(</mml:mo><mml:mi>&#x003C4;</mml:mi><mml:mo stretchy='false'>)</mml:mo><mml:mo>&#x02261;</mml:mo><mml:mo>&#x02329;</mml:mo><mml:mstyle mathvariant='bold' mathsize='normal'><mml:mi>s</mml:mi></mml:mstyle><mml:mo stretchy='false'>(</mml:mo><mml:mi>t</mml:mi><mml:mo>+</mml:mo><mml:mi>&#x003C4;</mml:mi><mml:mo stretchy='false'>)</mml:mo><mml:msup><mml:mstyle mathvariant='bold' mathsize='normal'><mml:mi>s</mml:mi></mml:mstyle><mml:mi>T</mml:mi></mml:msup><mml:mo stretchy='false'>(</mml:mo><mml:mi>t</mml:mi><mml:mo stretchy='false'>)</mml:mo><mml:mo>&#x0232A;</mml:mo><mml:mo>&#x02212;</mml:mo><mml:mo>&#x02329;</mml:mo><mml:mstyle mathvariant='bold' mathsize='normal'><mml:mi>s</mml:mi></mml:mstyle><mml:mo stretchy='false'>(</mml:mo><mml:mi>t</mml:mi><mml:mo stretchy='false'>)</mml:mo><mml:mo>&#x0232A;</mml:mo><mml:mo>&#x02329;</mml:mo><mml:msup><mml:mstyle mathvariant='bold' mathsize='normal'><mml:mi>s</mml:mi></mml:mstyle><mml:mi>T</mml:mi></mml:msup><mml:mo stretchy='false'>(</mml:mo><mml:mi>t</mml:mi><mml:mo stretchy='false'>)</mml:mo></mml:mrow></mml:math></disp-formula>
<disp-formula id="E17"><label>(14b)</label><mml:math id="M39"><mml:mtable class="eqnarray" columnalign="right center left"><mml:mtr><mml:mtd><mml:mo>=</mml:mo><mml:mrow><mml:mo>&#x02329;</mml:mo><mml:mrow><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>r</mml:mtext></mml:mstyle><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi><mml:mo>&#x0002B;</mml:mo><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>-</mml:mo><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>r</mml:mtext></mml:mstyle></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:msup><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>s</mml:mtext></mml:mstyle></mml:mrow><mml:mrow><mml:mi>T</mml:mi></mml:mrow></mml:msup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:mrow><mml:mo>&#x0232A;</mml:mo></mml:mrow><mml:mo>&#x0002B;</mml:mo><mml:mstyle mathvariant="bold"><mml:mtext>D</mml:mtext></mml:mstyle><mml:mi>&#x003B4;</mml:mi><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:mtd></mml:mtr></mml:mtable></mml:math></disp-formula>
<disp-formula id="E18"><label>(14c)</label><mml:math id="M40"><mml:mtable class="eqnarray" columnalign="right center left"><mml:mtr><mml:mtd><mml:mo>=</mml:mo><mml:mrow><mml:mo>&#x02329;</mml:mo><mml:mrow><mml:mrow><mml:mo>[</mml:mo><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>h</mml:mtext></mml:mstyle><mml:mo>*</mml:mo><mml:mstyle mathvariant="bold"><mml:mtext>w</mml:mtext></mml:mstyle><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>s</mml:mtext></mml:mstyle><mml:mo>-</mml:mo><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>r</mml:mtext></mml:mstyle></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:mrow><mml:mo>]</mml:mo></mml:mrow><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi><mml:mo>&#x0002B;</mml:mo><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:msup><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>s</mml:mtext></mml:mstyle></mml:mrow><mml:mrow><mml:mi>T</mml:mi></mml:mrow></mml:msup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:mrow><mml:mo>&#x0232A;</mml:mo></mml:mrow><mml:mo>&#x0002B;</mml:mo><mml:mstyle mathvariant="bold"><mml:mtext>D</mml:mtext></mml:mstyle><mml:mi>&#x003B4;</mml:mi><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:mtd></mml:mtr></mml:mtable></mml:math></disp-formula>
<disp-formula id="E19"><label>(14d)</label><mml:math id="M41"><mml:mtable class="eqnarray" columnalign="right center left"><mml:mtr><mml:mtd><mml:mo>=</mml:mo><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>h</mml:mtext></mml:mstyle><mml:mo>*</mml:mo><mml:mstyle mathvariant="bold"><mml:mtext>w</mml:mtext></mml:mstyle><mml:mstyle mathvariant="bold"><mml:mtext>C</mml:mtext></mml:mstyle></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>&#x0002B;</mml:mo><mml:mstyle mathvariant="bold"><mml:mtext>D</mml:mtext></mml:mstyle><mml:mi>&#x003B4;</mml:mi><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>,</mml:mo></mml:mtd></mml:mtr></mml:mtable></mml:math></disp-formula>
<p>for &#x003C4; &#x02265; 0, where <bold>s</bold>(<italic>t</italic>) and <bold>r</bold>(<italic>t</italic>) are the spike train and the instantaneous firing rate of Hawkes process, respectively, and <inline-formula><mml:math id="M42"><mml:mstyle mathvariant="bold"><mml:mtext>D</mml:mtext></mml:mstyle><mml:mo>=</mml:mo><mml:mtext>diag</mml:mtext><mml:mrow><mml:mo>{</mml:mo><mml:mrow><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mn>1</mml:mn></mml:mrow></mml:msub><mml:mo>,</mml:mo><mml:mo>&#x022EF;</mml:mo><mml:mspace width="0.3em" class="thinspace"/><mml:mo>,</mml:mo><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>N</mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mo>}</mml:mo></mml:mrow></mml:math></inline-formula>. In Equation (14b), we use the fact that &#x02329;<bold>s</bold>(<italic>t</italic> &#x0002B; &#x003C4;)<bold>s</bold><sup><italic>T</italic></sup>(<italic>t</italic>)&#x0232A; &#x0003D; &#x02329;<bold>r</bold>(<italic>t</italic> &#x0002B; &#x003C4;)<bold>s</bold><sup><italic>T</italic></sup>(<italic>t</italic>)&#x0232A; &#x0002B; <bold>D</bold>&#x003B4;(&#x003C4;). In Equation (14c), we insert the Hawkes process (Equation 31). In Equation (14d), we take advantage of the definition of spike correlation. Next, define <bold>y</bold>(<italic>t</italic>) &#x0003D; <bold>r</bold><sub><bold>y</bold></sub>(<italic>t</italic>) &#x0002B; <bold>x</bold>(<italic>t</italic>), where</p>
<disp-formula id="E20"><label>(15)</label><mml:math id="M43"><mml:mtable class="eqnarray" columnalign="right center left"><mml:mtr><mml:mtd><mml:mtext>&#x000A0;</mml:mtext><mml:msub><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>r</mml:mtext></mml:mstyle></mml:mrow><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>y</mml:mtext></mml:mstyle></mml:mrow></mml:msub><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>=</mml:mo><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>r</mml:mtext></mml:mstyle></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover><mml:mo>&#x0002B;</mml:mo><mml:mrow><mml:mo>[</mml:mo><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>h</mml:mtext></mml:mstyle><mml:mo>*</mml:mo><mml:mstyle mathvariant="bold"><mml:mtext>w</mml:mtext></mml:mstyle><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:msub><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>r</mml:mtext></mml:mstyle></mml:mrow><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>y</mml:mtext></mml:mstyle></mml:mrow></mml:msub><mml:mo>-</mml:mo><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>r</mml:mtext></mml:mstyle></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover><mml:mo>&#x0002B;</mml:mo><mml:mstyle mathvariant="bold"><mml:mtext>x</mml:mtext></mml:mstyle></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:mrow><mml:mo>]</mml:mo></mml:mrow><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>,</mml:mo></mml:mtd></mml:mtr></mml:mtable></mml:math></disp-formula>
<p>and <bold>x</bold>(<italic>t</italic>) is the Gaussian white noise with correlation &#x02329;<bold>x</bold>(<italic>t</italic> &#x0002B; &#x003C4;)<bold>x</bold>(<italic>t</italic>)&#x0232A; &#x0003D; <bold>D</bold><sub><bold>x</bold></sub>&#x003B4;(&#x003C4;). For <bold>y</bold>(<italic>t</italic>),</p>
<disp-formula id="E21"><label>(16a)</label><mml:math id="M44"><mml:mtable class="eqnarray" columnalign="right center left"><mml:mtr><mml:mtd><mml:msub><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>C</mml:mtext></mml:mstyle></mml:mrow><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>y</mml:mtext></mml:mstyle></mml:mrow></mml:msub><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:mtd><mml:mtd><mml:mo>&#x02261;</mml:mo></mml:mtd><mml:mtd><mml:mrow><mml:mo>&#x02329;</mml:mo><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>y</mml:mtext></mml:mstyle><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi><mml:mo>&#x0002B;</mml:mo><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:msup><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>y</mml:mtext></mml:mstyle></mml:mrow><mml:mrow><mml:mi>T</mml:mi></mml:mrow></mml:msup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>-</mml:mo><mml:msup><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>r</mml:mtext></mml:mstyle></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>T</mml:mi></mml:mrow></mml:msup></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:mrow><mml:mo>&#x0232A;</mml:mo></mml:mrow></mml:mtd></mml:mtr></mml:mtable></mml:math></disp-formula>
<disp-formula id="E22"><label>(16b)</label><mml:math id="M45"><mml:mtable class="eqnarray" columnalign="right center left"><mml:mtr><mml:mtd><mml:mo>=</mml:mo><mml:mrow><mml:mo>&#x02329;</mml:mo><mml:mrow><mml:mrow><mml:mo>[</mml:mo><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>h</mml:mtext></mml:mstyle><mml:mo>*</mml:mo><mml:mstyle mathvariant="bold"><mml:mtext>w</mml:mtext></mml:mstyle><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>y</mml:mtext></mml:mstyle><mml:mo>-</mml:mo><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>r</mml:mtext></mml:mstyle></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>&#x0002B;</mml:mo><mml:mstyle mathvariant="bold"><mml:mtext>x</mml:mtext></mml:mstyle></mml:mrow><mml:mo>]</mml:mo></mml:mrow><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi><mml:mo>&#x0002B;</mml:mo><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:msup><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>y</mml:mtext></mml:mstyle></mml:mrow><mml:mrow><mml:mi>T</mml:mi></mml:mrow></mml:msup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>-</mml:mo><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>r</mml:mtext></mml:mstyle></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:mrow><mml:mo>&#x0232A;</mml:mo></mml:mrow></mml:mtd></mml:mtr></mml:mtable></mml:math></disp-formula>
<disp-formula id="E23"><mml:math id="M46"><mml:mtable class="eqnarray" columnalign="right center left"><mml:mtr><mml:mtd><mml:mo>=</mml:mo><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>h</mml:mtext></mml:mstyle><mml:mo>*</mml:mo><mml:mstyle mathvariant="bold"><mml:mtext>w</mml:mtext></mml:mstyle><mml:msub><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>C</mml:mtext></mml:mstyle></mml:mrow><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>y</mml:mtext></mml:mstyle></mml:mrow></mml:msub></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>&#x0002B;</mml:mo><mml:mrow><mml:mo>&#x02329;</mml:mo><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>x</mml:mtext></mml:mstyle><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi><mml:mo>&#x0002B;</mml:mo><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:msubsup><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>r</mml:mtext></mml:mstyle></mml:mrow><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>y</mml:mtext></mml:mstyle></mml:mrow><mml:mrow><mml:mi>T</mml:mi></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>-</mml:mo><mml:msup><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>r</mml:mtext></mml:mstyle></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>T</mml:mi></mml:mrow></mml:msup></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:mrow><mml:mo>&#x0232A;</mml:mo></mml:mrow></mml:mtd></mml:mtr></mml:mtable></mml:math></disp-formula>
<disp-formula id="E24"><label>(16c)</label><mml:math id="M47"><mml:mtable class="eqnarray" columnalign="right center left"><mml:mtr><mml:mtd><mml:mo>&#x0002B;</mml:mo><mml:mtext>&#x000A0;</mml:mtext><mml:mrow><mml:mo>&#x02329;</mml:mo><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>x</mml:mtext></mml:mstyle><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi><mml:mo>&#x0002B;</mml:mo><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:msup><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>x</mml:mtext></mml:mstyle></mml:mrow><mml:mrow><mml:mi>T</mml:mi></mml:mrow></mml:msup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:mrow><mml:mo>&#x0232A;</mml:mo></mml:mrow><mml:mo>,</mml:mo></mml:mtd></mml:mtr></mml:mtable></mml:math></disp-formula>
<disp-formula id="E25"><label>(16d)</label><mml:math id="M48"><mml:mtable class="eqnarray" columnalign="right center left"><mml:mtr><mml:mtd><mml:mo>=</mml:mo><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>h</mml:mtext></mml:mstyle><mml:mo>*</mml:mo><mml:mstyle mathvariant="bold"><mml:mtext>w</mml:mtext></mml:mstyle><mml:msub><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>C</mml:mtext></mml:mstyle></mml:mrow><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>y</mml:mtext></mml:mstyle></mml:mrow></mml:msub></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>&#x0002B;</mml:mo><mml:msub><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>D</mml:mtext></mml:mstyle></mml:mrow><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>x</mml:mtext></mml:mstyle></mml:mrow></mml:msub><mml:mi>&#x003B4;</mml:mi><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>,</mml:mo></mml:mtd></mml:mtr></mml:mtable></mml:math></disp-formula>
<p>for &#x003C4; &#x02265; 0. In Equation (16b), we have made use of the definition of <bold>y</bold>(<italic>t</italic>). In Equation (16c), we take advantage of the definition of <bold>C</bold><sub><bold>y</bold></sub>(<italic>t</italic>). In Equation (18), we use the fact that <inline-formula><mml:math id="M49"><mml:mrow><mml:mo>&#x02329;</mml:mo><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>x</mml:mtext></mml:mstyle><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi><mml:mo>&#x0002B;</mml:mo><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:msubsup><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>r</mml:mtext></mml:mstyle></mml:mrow><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>y</mml:mtext></mml:mstyle></mml:mrow><mml:mrow><mml:mi>T</mml:mi></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:mrow><mml:mo>&#x0232A;</mml:mo></mml:mrow><mml:mo>=</mml:mo><mml:mrow><mml:mo>&#x02329;</mml:mo><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>x</mml:mtext></mml:mstyle><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi><mml:mo>&#x0002B;</mml:mo><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:mrow><mml:mo>&#x0232A;</mml:mo></mml:mrow><mml:mrow><mml:mo>&#x02329;</mml:mo><mml:mrow><mml:msubsup><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>r</mml:mtext></mml:mstyle></mml:mrow><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>y</mml:mtext></mml:mstyle></mml:mrow><mml:mrow><mml:mi>T</mml:mi></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:mrow><mml:mo>&#x0232A;</mml:mo></mml:mrow><mml:mo>=</mml:mo><mml:mn>0</mml:mn></mml:math></inline-formula>. By setting <bold>D</bold><sub><bold>x</bold></sub> &#x0003D; <bold>D</bold>, we obtain <bold>C</bold>(&#x003C4;) &#x0003D; <bold>C</bold><sub><bold>y</bold></sub>(&#x003C4;). Therefore, to understand the correlation structure of the Hawkes process, it suffices to study the correlation structure of <bold>y</bold>(<italic>t</italic>). Define <inline-formula><mml:math id="M50"><mml:msub><mml:mrow><mml:mover accent="true"><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>r</mml:mtext></mml:mstyle></mml:mrow><mml:mo>^</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>y</mml:mtext></mml:mstyle></mml:mrow></mml:msub><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C9;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula> as the Fourier transform of <bold>r</bold><sub><bold>y</bold></sub>(<italic>t</italic>). From Equation (16b), we have</p>
<disp-formula id="E26"><label>(17)</label><mml:math id="M51"><mml:mtable class="eqnarray" columnalign="right center left"><mml:mtr><mml:mtd><mml:msub><mml:mrow><mml:mover accent="true"><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>r</mml:mtext></mml:mstyle></mml:mrow><mml:mo>^</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>y</mml:mtext></mml:mstyle></mml:mrow></mml:msub><mml:mo>=</mml:mo><mml:mover accent="true"><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>h</mml:mtext></mml:mstyle></mml:mrow><mml:mo>^</mml:mo></mml:mover><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C9;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>w</mml:mtext></mml:mstyle><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:msub><mml:mrow><mml:mover accent="true"><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>r</mml:mtext></mml:mstyle></mml:mrow><mml:mo>^</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>y</mml:mtext></mml:mstyle></mml:mrow></mml:msub><mml:mo>&#x0002B;</mml:mo><mml:mover accent="true"><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>x</mml:mtext></mml:mstyle></mml:mrow><mml:mo>^</mml:mo></mml:mover></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>.</mml:mo></mml:mtd></mml:mtr></mml:mtable></mml:math></disp-formula>
<p>Thus, <inline-formula><mml:math id="M52"><mml:mover accent="true"><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>y</mml:mtext></mml:mstyle></mml:mrow><mml:mo>^</mml:mo></mml:mover><mml:mo>=</mml:mo><mml:msub><mml:mrow><mml:mover accent="true"><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>r</mml:mtext></mml:mstyle></mml:mrow><mml:mo>^</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>y</mml:mtext></mml:mstyle></mml:mrow></mml:msub><mml:mo>&#x0002B;</mml:mo><mml:mover accent="true"><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>x</mml:mtext></mml:mstyle></mml:mrow><mml:mo>^</mml:mo></mml:mover><mml:mo>=</mml:mo><mml:msup><mml:mrow><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mn>1</mml:mn><mml:mo>-</mml:mo><mml:mover accent="true"><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>h</mml:mtext></mml:mstyle></mml:mrow><mml:mo>^</mml:mo></mml:mover><mml:mstyle mathvariant="bold"><mml:mtext>w</mml:mtext></mml:mstyle></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:mrow><mml:mrow><mml:mo>-</mml:mo><mml:mn>1</mml:mn></mml:mrow></mml:msup><mml:mover accent="true"><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>x</mml:mtext></mml:mstyle></mml:mrow><mml:mo>^</mml:mo></mml:mover></mml:math></inline-formula>. By using the Wiener-Khinchin theorem, we have</p>
<disp-formula id="E27"><label>(18)</label><mml:math id="M53"><mml:mtable class="eqnarray" columnalign="left"><mml:mtr><mml:mtd><mml:mover accent="true"><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>C</mml:mtext></mml:mstyle></mml:mrow><mml:mo>^</mml:mo></mml:mover><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C9;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>=</mml:mo><mml:mrow><mml:mo>&#x02329;</mml:mo><mml:mrow><mml:mover accent="true"><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>y</mml:mtext></mml:mstyle></mml:mrow><mml:mo>^</mml:mo></mml:mover><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C9;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:msup><mml:mrow><mml:mover accent="true"><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>y</mml:mtext></mml:mstyle></mml:mrow><mml:mo>^</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>T</mml:mi></mml:mrow></mml:msup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mo>-</mml:mo><mml:mi>&#x003C9;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:mrow><mml:mo>&#x0232A;</mml:mo></mml:mrow></mml:mtd></mml:mtr><mml:mtr><mml:mtd><mml:mo>=</mml:mo><mml:msup><mml:mrow><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mn>1</mml:mn><mml:mo>-</mml:mo><mml:mover accent="true"><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>h</mml:mtext></mml:mstyle></mml:mrow><mml:mo>^</mml:mo></mml:mover><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C9;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>w</mml:mtext></mml:mstyle></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:mrow><mml:mrow><mml:mo>-</mml:mo><mml:mn>1</mml:mn></mml:mrow></mml:msup><mml:mstyle mathvariant="bold"><mml:mtext>D</mml:mtext></mml:mstyle><mml:msup><mml:mrow><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mn>1</mml:mn><mml:mo>-</mml:mo><mml:msup><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>w</mml:mtext></mml:mstyle></mml:mrow><mml:mrow><mml:mi>T</mml:mi></mml:mrow></mml:msup><mml:mover accent="true"><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>h</mml:mtext></mml:mstyle></mml:mrow><mml:mo>^</mml:mo></mml:mover><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mo>-</mml:mo><mml:mi>&#x003C9;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:mrow><mml:mrow><mml:mo>-</mml:mo><mml:mn>1</mml:mn></mml:mrow></mml:msup><mml:mo>.</mml:mo></mml:mtd></mml:mtr></mml:mtable></mml:math></disp-formula>
<p>This completes the derivation of the power spectrum formula as discussed in Equation (32).</p>
</sec>
<sec>
<title>Population-averaged spike correlation</title>
<p>Assume that there are <italic>N</italic><sub>&#x003B1;</sub> (&#x003B1; &#x0003D; 1, 2, 3, <italic>I</italic>) neurons in the &#x003B1;th population. The spike correlation between population &#x003B1; and population &#x003B2; is defined as follows:</p>
<disp-formula id="E29"><label>(19)</label><mml:math id="M55"><mml:mtable class="eqnarray" columnalign="right center left"><mml:mtr><mml:mtd><mml:mtext>&#x000A0;</mml:mtext><mml:msubsup><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>&#x003B1;</mml:mi><mml:mi>&#x003B2;</mml:mi></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>=</mml:mo><mml:mfrac><mml:mrow><mml:mn>1</mml:mn></mml:mrow><mml:mrow><mml:msub><mml:mrow><mml:mi>N</mml:mi></mml:mrow><mml:mrow><mml:mi>&#x003B1;</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mi>N</mml:mi></mml:mrow><mml:mrow><mml:mi>&#x003B2;</mml:mi></mml:mrow></mml:msub></mml:mrow></mml:mfrac><mml:mstyle displaystyle="true"><mml:munder class="msub"><mml:mrow><mml:mo>&#x02211;</mml:mo></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mo>&#x02208;</mml:mo><mml:mi>&#x003B1;</mml:mi><mml:mo>,</mml:mo><mml:mi>j</mml:mi><mml:mo>&#x02208;</mml:mo><mml:mi>&#x003B2;</mml:mi></mml:mrow></mml:munder></mml:mstyle><mml:msub><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>.</mml:mo></mml:mtd></mml:mtr></mml:mtable></mml:math></disp-formula>
<p>The corresponding spike cross correlation is defined as follows:</p>
<disp-formula id="E30"><label>(20)</label><mml:math id="M56"><mml:mtable class="eqnarray" columnalign="right center left"><mml:mtr><mml:mtd><mml:mtext>&#x000A0;</mml:mtext><mml:msubsup><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>&#x003B1;</mml:mi><mml:mi>&#x003B2;</mml:mi></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext><mml:mo>,</mml:mo><mml:mtext>cr</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>=</mml:mo><mml:mfrac><mml:mrow><mml:mn>1</mml:mn></mml:mrow><mml:mrow><mml:msub><mml:mrow><mml:mi>N</mml:mi></mml:mrow><mml:mrow><mml:mi>&#x003B1;</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mi>N</mml:mi></mml:mrow><mml:mrow><mml:mi>&#x003B2;</mml:mi></mml:mrow></mml:msub></mml:mrow></mml:mfrac><mml:mstyle displaystyle="true"><mml:munder class="msub"><mml:mrow><mml:mo>&#x02211;</mml:mo></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mo>&#x02208;</mml:mo><mml:mi>&#x003B1;</mml:mi><mml:mo>,</mml:mo><mml:mi>j</mml:mi><mml:mo>&#x02208;</mml:mo><mml:mi>&#x003B2;</mml:mi><mml:mo>,</mml:mo><mml:mi>i</mml:mi><mml:mo>&#x02260;</mml:mo><mml:mi>j</mml:mi></mml:mrow></mml:munder></mml:mstyle><mml:msub><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>.</mml:mo></mml:mtd></mml:mtr></mml:mtable></mml:math></disp-formula>
<p>Note that <inline-formula><mml:math id="M57"><mml:msubsup><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>&#x003B1;</mml:mi><mml:mi>&#x003B2;</mml:mi></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext><mml:mo>,</mml:mo><mml:mtext>cr</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula> is used in the caption of Figure <xref ref-type="fig" rid="F4">4</xref>. Inserting Equation (16a) into Equation (19), we can obtain</p>
<disp-formula id="E210"><label>(21)</label><mml:math id="M21"><mml:mtable columnalign='left'><mml:mtr><mml:mtd><mml:msubsup><mml:mi>C</mml:mi><mml:mrow><mml:mi>&#x003B1;</mml:mi><mml:mi>&#x003B2;</mml:mi></mml:mrow><mml:mtext>p</mml:mtext></mml:msubsup><mml:mo stretchy='false'>(</mml:mo><mml:mi>&#x003C4;</mml:mi><mml:mo stretchy='false'>)</mml:mo><mml:mo>=</mml:mo><mml:mfrac><mml:mn>1</mml:mn><mml:mrow><mml:msub><mml:mi>N</mml:mi><mml:mi>&#x003B1;</mml:mi></mml:msub><mml:msub><mml:mi>N</mml:mi><mml:mi>&#x003B2;</mml:mi></mml:msub></mml:mrow></mml:mfrac><mml:mrow><mml:mo>{</mml:mo><mml:mrow><mml:mstyle displaystyle="true"><mml:munder><mml:mo>&#x02211;</mml:mo><mml:mi>&#x003B3;</mml:mi></mml:munder></mml:mstyle><mml:mstyle displaystyle="true"><mml:munder><mml:mo>&#x02211;</mml:mo><mml:mrow><mml:mi>i</mml:mi><mml:mo>&#x02208;</mml:mo><mml:mi>&#x003B1;</mml:mi><mml:mo>,</mml:mo><mml:mi>j</mml:mi><mml:mo>&#x02208;</mml:mo><mml:mi>&#x003B2;</mml:mi><mml:mo>,</mml:mo><mml:mi>k</mml:mi><mml:mo>&#x02208;</mml:mo><mml:mi>&#x003B3;</mml:mi></mml:mrow></mml:munder></mml:mstyle><mml:mo stretchy='false'>[</mml:mo><mml:msub><mml:mi>h</mml:mi><mml:mi>i</mml:mi></mml:msub><mml:mo>&#x02217;</mml:mo><mml:msub><mml:mi>w</mml:mi><mml:mrow><mml:mi>i</mml:mi><mml:mi>k</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mi>C</mml:mi><mml:mrow><mml:mi>k</mml:mi><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mo stretchy='false'>]</mml:mo><mml:mo stretchy='false'>(</mml:mo><mml:mi>&#x003C4;</mml:mi><mml:mo stretchy='false'>)</mml:mo></mml:mrow></mml:mrow></mml:mtd></mml:mtr><mml:mtr><mml:mtd><mml:mtext>&#x000A0;&#x000A0;&#x000A0;&#x000A0;&#x000A0;&#x000A0;&#x000A0;&#x000A0;&#x000A0;&#x000A0;&#x000A0;&#x000A0;&#x000A0;&#x000A0;&#x000A0;&#x000A0;</mml:mtext><mml:mrow><mml:mrow><mml:mo>+</mml:mo><mml:mtext>&#x000A0;</mml:mtext><mml:mstyle displaystyle='true'><mml:munder><mml:mo>&#x02211;</mml:mo><mml:mrow><mml:mi>i</mml:mi><mml:mo>&#x02208;</mml:mo><mml:mi>&#x003B1;</mml:mi><mml:mo>,</mml:mo><mml:mi>j</mml:mi><mml:mo>&#x02208;</mml:mo><mml:mi>&#x003B2;</mml:mi></mml:mrow></mml:munder><mml:mrow><mml:msub><mml:mi>D</mml:mi><mml:mi>i</mml:mi></mml:msub></mml:mrow></mml:mstyle><mml:msub><mml:mi>&#x003B4;</mml:mi><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mi>&#x003B4;</mml:mi><mml:mo stretchy='false'>(</mml:mo><mml:mi>&#x003C4;</mml:mi><mml:mo stretchy='false'>)</mml:mo></mml:mrow><mml:mo>}</mml:mo></mml:mrow></mml:mtd></mml:mtr><mml:mtr><mml:mtd><mml:mtext>&#x000A0;&#x000A0;&#x000A0;&#x000A0;&#x000A0;&#x000A0;&#x000A0;&#x000A0;&#x000A0;&#x000A0;&#x000A0;&#x000A0;&#x000A0;&#x000A0;&#x000A0;&#x000A0;</mml:mtext><mml:mo>=</mml:mo><mml:mstyle displaystyle='true'><mml:munder><mml:mo>&#x02211;</mml:mo><mml:mi>&#x003B3;</mml:mi></mml:munder><mml:mrow><mml:msubsup><mml:mi>h</mml:mi><mml:mi>&#x003B1;</mml:mi><mml:mtext>p</mml:mtext></mml:msubsup></mml:mrow></mml:mstyle><mml:msubsup><mml:mi>w</mml:mi><mml:mrow><mml:mi>&#x003B1;</mml:mi><mml:mi>&#x003B3;</mml:mi></mml:mrow><mml:mtext>p</mml:mtext></mml:msubsup><mml:msub><mml:mi>N</mml:mi><mml:mi>&#x003B3;</mml:mi></mml:msub><mml:msub><mml:mi>C</mml:mi><mml:mrow><mml:mi>&#x003B3;</mml:mi><mml:mi>&#x003B2;</mml:mi></mml:mrow></mml:msub><mml:mo stretchy='false'>(</mml:mo><mml:mi>&#x003C4;</mml:mi><mml:mo stretchy='false'>)</mml:mo><mml:mo>+</mml:mo><mml:mfrac><mml:mrow><mml:msubsup><mml:mover accent='true'><mml:mi>r</mml:mi><mml:mo>&#x000AF;</mml:mo></mml:mover><mml:mi>&#x003B1;</mml:mi><mml:mtext>p</mml:mtext></mml:msubsup></mml:mrow><mml:mrow><mml:msub><mml:mi>N</mml:mi><mml:mi>&#x003B1;</mml:mi></mml:msub></mml:mrow></mml:mfrac><mml:msub><mml:mi>&#x003B4;</mml:mi><mml:mrow><mml:mi>&#x003B1;</mml:mi><mml:mi>&#x003B2;</mml:mi></mml:mrow></mml:msub><mml:mi>&#x003B4;</mml:mi><mml:mo stretchy='false'>(</mml:mo><mml:mi>&#x003C4;</mml:mi><mml:mo stretchy='false'>)</mml:mo><mml:mo>,</mml:mo></mml:mtd></mml:mtr></mml:mtable></mml:math></disp-formula>
<p>where <inline-formula><mml:math id="M61"><mml:msubsup><mml:mrow><mml:mi>h</mml:mi></mml:mrow><mml:mrow><mml:mi>&#x003B1;</mml:mi></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula> stands for the linear response kernel of Population &#x003B1;. Similar to the result (Equation 18), the population-averaged power spectrum <inline-formula><mml:math id="M62"><mml:msup><mml:mrow><mml:mover accent="true"><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>C</mml:mtext></mml:mstyle></mml:mrow><mml:mo>^</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mo>&#x000B7;</mml:mo></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>=</mml:mo><mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mover accent="true"><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mo>^</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>&#x003B1;</mml:mi><mml:mi>&#x003B2;</mml:mi></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mo>&#x000B7;</mml:mo></mml:mrow><mml:mo stretchy="false">)</mml:mo><mml:mo stretchy="true">)</mml:mo></mml:mrow></mml:math></inline-formula> has the following expression:</p>
<disp-formula id="E34"><label>(22)</label><mml:math id="M63"><mml:mtable class="eqnarray" columnalign="right center left"><mml:mtr><mml:mtd><mml:msup><mml:mrow><mml:mover accent="true"><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>C</mml:mtext></mml:mstyle></mml:mrow><mml:mo>^</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C9;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>=</mml:mo><mml:msup><mml:mrow><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mn>1</mml:mn><mml:mo>-</mml:mo><mml:msup><mml:mrow><mml:mover accent="true"><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>h</mml:mtext></mml:mstyle></mml:mrow><mml:mo>^</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C9;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:msup><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>w</mml:mtext></mml:mstyle></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msup></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:mrow><mml:mrow><mml:mo>-</mml:mo><mml:mn>1</mml:mn></mml:mrow></mml:msup><mml:msup><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>D</mml:mtext></mml:mstyle></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msup><mml:msup><mml:mrow><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mn>1</mml:mn><mml:mo>-</mml:mo><mml:msup><mml:mrow><mml:msup><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>w</mml:mtext></mml:mstyle></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msup></mml:mrow><mml:mrow><mml:mi>T</mml:mi></mml:mrow></mml:msup><mml:msup><mml:mrow><mml:mover accent="true"><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>h</mml:mtext></mml:mstyle></mml:mrow><mml:mo>^</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mo>-</mml:mo><mml:mi>&#x003C9;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:mrow><mml:mrow><mml:mo>-</mml:mo><mml:mn>1</mml:mn></mml:mrow></mml:msup><mml:mo>,</mml:mo></mml:mtd></mml:mtr></mml:mtable></mml:math></disp-formula>
<p>where <inline-formula><mml:math id="M64"><mml:msup><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>h</mml:mtext></mml:mstyle></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mo>&#x000B7;</mml:mo></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>=</mml:mo><mml:mtext>diag</mml:mtext><mml:mrow><mml:mo>{</mml:mo><mml:mrow><mml:msubsup><mml:mrow><mml:mi>h</mml:mi></mml:mrow><mml:mrow><mml:mn>1</mml:mn></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mo>&#x000B7;</mml:mo></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>,</mml:mo><mml:msubsup><mml:mrow><mml:mi>h</mml:mi></mml:mrow><mml:mrow><mml:mn>2</mml:mn></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mo>&#x000B7;</mml:mo></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>,</mml:mo><mml:msubsup><mml:mrow><mml:mi>h</mml:mi></mml:mrow><mml:mrow><mml:mn>3</mml:mn></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mo>&#x000B7;</mml:mo></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>,</mml:mo><mml:msubsup><mml:mrow><mml:mi>h</mml:mi></mml:mrow><mml:mrow><mml:mi>I</mml:mi></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mo>&#x000B7;</mml:mo></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:mrow><mml:mo>}</mml:mo></mml:mrow></mml:math></inline-formula>, <inline-formula><mml:math id="M65"><mml:msup><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>w</mml:mtext></mml:mstyle></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msup><mml:mo>=</mml:mo><mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>&#x003B1;</mml:mi><mml:mi>&#x003B2;</mml:mi></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup><mml:mo stretchy="false">)</mml:mo></mml:math></inline-formula> and <inline-formula><mml:math id="M66"><mml:msup><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>D</mml:mtext></mml:mstyle></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msup><mml:mo>=</mml:mo><mml:mtext>diag</mml:mtext><mml:mrow><mml:mo>{</mml:mo><mml:mrow><mml:msubsup><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mn>1</mml:mn></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup><mml:mo>/</mml:mo><mml:msub><mml:mrow><mml:mi>N</mml:mi></mml:mrow><mml:mrow><mml:mn>1</mml:mn></mml:mrow></mml:msub><mml:mo>,</mml:mo><mml:msubsup><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mn>2</mml:mn></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup><mml:mo>/</mml:mo><mml:msub><mml:mrow><mml:mi>N</mml:mi></mml:mrow><mml:mrow><mml:mn>2</mml:mn></mml:mrow></mml:msub><mml:mo>,</mml:mo><mml:msubsup><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mn>3</mml:mn></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup><mml:mo>/</mml:mo><mml:msub><mml:mrow><mml:mi>N</mml:mi></mml:mrow><mml:mrow><mml:mn>3</mml:mn></mml:mrow></mml:msub><mml:mo>,</mml:mo><mml:msubsup><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>I</mml:mi></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup><mml:mo>/</mml:mo><mml:msub><mml:mrow><mml:mi>N</mml:mi></mml:mrow><mml:mrow><mml:mi>I</mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mo>}</mml:mo></mml:mrow></mml:math></inline-formula>.</p>
</sec>
<sec>
<title>Decomposition of cross correlation structures</title>
<p>Formally, the power spectrum (Equation 18) can be expanded in the following way:</p>
<disp-formula id="E35"><label>(23)</label><mml:math id="M67"><mml:mtable class="eqnarray" columnalign="right center left"><mml:mtr><mml:mtd><mml:mover accent="true"><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>C</mml:mtext></mml:mstyle></mml:mrow><mml:mo>^</mml:mo></mml:mover><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C9;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>=</mml:mo><mml:mstyle mathvariant="bold"><mml:mtext>D</mml:mtext></mml:mstyle><mml:mo>&#x0002B;</mml:mo><mml:mover accent="true"><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>h</mml:mtext></mml:mstyle></mml:mrow><mml:mo>^</mml:mo></mml:mover><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C9;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>w</mml:mtext></mml:mstyle><mml:mstyle mathvariant="bold"><mml:mtext>D</mml:mtext></mml:mstyle><mml:mo>&#x0002B;</mml:mo><mml:mstyle mathvariant="bold"><mml:mtext>D</mml:mtext></mml:mstyle><mml:msup><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>w</mml:mtext></mml:mstyle></mml:mrow><mml:mrow><mml:mi>T</mml:mi></mml:mrow></mml:msup><mml:msup><mml:mrow><mml:mover accent="true"><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>h</mml:mtext></mml:mstyle></mml:mrow><mml:mo>^</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>T</mml:mi></mml:mrow></mml:msup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mo>-</mml:mo><mml:mi>&#x003C9;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>&#x0002B;</mml:mo><mml:mover accent="true"><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>h</mml:mtext></mml:mstyle></mml:mrow><mml:mo>^</mml:mo></mml:mover><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C9;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>w</mml:mtext></mml:mstyle><mml:mstyle mathvariant="bold"><mml:mtext>D</mml:mtext></mml:mstyle><mml:msup><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>w</mml:mtext></mml:mstyle></mml:mrow><mml:mrow><mml:mi>T</mml:mi></mml:mrow></mml:msup><mml:msup><mml:mrow><mml:mover accent="true"><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>h</mml:mtext></mml:mstyle></mml:mrow><mml:mo>^</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>T</mml:mi></mml:mrow></mml:msup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mo>-</mml:mo><mml:mi>&#x003C9;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>&#x0002B;</mml:mo><mml:mo>&#x022EF;</mml:mo><mml:mspace width="0.3em" class="thinspace"/><mml:mo>.</mml:mo></mml:mtd></mml:mtr></mml:mtable></mml:math></disp-formula>
<p>Therefore, the cross correlation <bold>C</bold>(&#x003C4;), which is the inverse Fourier transform of <inline-formula><mml:math id="M68"><mml:mover accent="true"><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>C</mml:mtext></mml:mstyle></mml:mrow><mml:mo>^</mml:mo></mml:mover><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C9;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula> by the Wiener-Khinchin theorem, can be approximated by Equation (33). The same decomposition can also be carried out for the population-averaged cross correlation as discussed previously.</p>
</sec>
</sec>
<sec sec-type="results" id="s3">
<title>Results</title>
<p>We first present the numerical evidence of the complexity of mutual interactions between plastic network structures and spiking activity, as it relates to the effect of high-order statistical structures implied in the STDP learning dynamics. In particular, we emphasize the importance of firing variability of spiking activity for the network structures learned through STDP. This fact is particularly emphasized by the sharp contrast of learned network structures between two scenarios (Case I in Figure <xref ref-type="fig" rid="F1">1</xref> and Case II Figure <xref ref-type="fig" rid="F2">2</xref>); they share the same trend for firing rate change across different neuronal populations, but have the opposite trend for their firing variability change. We then develop a self-consistent linear response theory to account for the effects of both firing rate and firing variability on learning dynamics and explain the role observed in our numerical study of high-order statistics in learning dynamics.</p>
<fig id="F1" position="float">
<label>Figure 1</label>
<caption><p>The effect of firing rate and variability on STDP learning dynamics&#x02014;Case I. All excitatory neurons receive external inputs with an identical variance (i.e., <inline-formula><mml:math id="M69"><mml:msubsup><mml:mrow><mml:mi>&#x003C3;</mml:mi></mml:mrow><mml:mrow><mml:mtext>ext</mml:mtext><mml:mo>,</mml:mo><mml:mi>&#x003B1;</mml:mi></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup><mml:mo>=</mml:mo><mml:mn>15</mml:mn><mml:mo>.</mml:mo><mml:mn>8</mml:mn></mml:math></inline-formula> mV for &#x003B1; &#x0003D; 1, 2, 3). Based on the values of mean of external inputs, the excitatory neurons are divided into three populations, in which Population 1 (including neurons labeled by 1&#x02013;50, purple), Population 2 (including neurons labeled by 51&#x02013;200, blue) and Population 3 (including neurons labeled by 201&#x02013;250, black) receive the largest (<inline-formula><mml:math id="M70"><mml:msubsup><mml:mrow><mml:mi>&#x003BC;</mml:mi></mml:mrow><mml:mrow><mml:mtext>ext</mml:mtext><mml:mo>,</mml:mo><mml:mn>1</mml:mn></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup><mml:mo>=</mml:mo><mml:mn>40</mml:mn></mml:math></inline-formula> mV), intermediate (<inline-formula><mml:math id="M71"><mml:msubsup><mml:mrow><mml:mi>&#x003BC;</mml:mi></mml:mrow><mml:mrow><mml:mtext>ext</mml:mtext><mml:mo>,</mml:mo><mml:mn>2</mml:mn></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup><mml:mo>=</mml:mo><mml:mn>30</mml:mn></mml:math></inline-formula> mV) and smallest (<inline-formula><mml:math id="M72"><mml:msubsup><mml:mrow><mml:mi>&#x003BC;</mml:mi></mml:mrow><mml:mrow><mml:mtext>ext</mml:mtext><mml:mo>,</mml:mo><mml:mn>3</mml:mn></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup><mml:mo>=</mml:mo><mml:mn>20</mml:mn></mml:math></inline-formula> mV) mean, respectively. The initial values of excitatory-to-excitatory connection strengths are drawn from a uniform distribution ranging from 0 to 1 mV. <bold>(A,C)</bold> Raster plots before learning and after learning, respectively. <bold>(B,D)</bold> Firing rates and coefficients of variation (CVs) of the different populations before learning and after 10<sup>6</sup> s of learning, respectively. Error bars indicate the standard deviation of corresponding values within each population. <bold>(E)</bold> Firing rate dynamics of the different populations during learning. <bold>(F)</bold> Weight matrix after 10<sup>6</sup> s of learning. The largest (i.e., brightest) and the smallest (i.e., darkest) value of the gray bar is 1 and 0 mV, respectively.</p></caption>
<graphic xlink:href="fncom-12-00001-g0001.tif"/>
</fig>
<fig id="F2" position="float">
<label>Figure 2</label>
<caption><p>The effect of firing rate and variability on STDP learning dynamics&#x02014;Case II. Different populations receive external inputs with different means as well as different variances. Population 1 (including neurons labeled by 1&#x02013;50, purple) receives the smallest mean (<inline-formula><mml:math id="M73"><mml:msubsup><mml:mrow><mml:mi>&#x003BC;</mml:mi></mml:mrow><mml:mrow><mml:mtext>ext</mml:mtext><mml:mo>,</mml:mo><mml:mn>1</mml:mn></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup><mml:mo>=</mml:mo><mml:mn>27</mml:mn><mml:mo>.</mml:mo><mml:mn>5</mml:mn></mml:math></inline-formula> mV) but the largest variance (<inline-formula><mml:math id="M74"><mml:msubsup><mml:mrow><mml:mi>&#x003C3;</mml:mi></mml:mrow><mml:mrow><mml:mtext>ext</mml:mtext><mml:mo>,</mml:mo><mml:mn>1</mml:mn></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup><mml:mo>=</mml:mo><mml:mn>31</mml:mn><mml:mo>.</mml:mo><mml:mn>6</mml:mn></mml:math></inline-formula> mV), Population 2 (including neurons labeled by 51&#x02013;200, blue) receives an intermediate mean (<inline-formula><mml:math id="M75"><mml:msubsup><mml:mrow><mml:mi>&#x003BC;</mml:mi></mml:mrow><mml:mrow><mml:mtext>ext</mml:mtext><mml:mo>,</mml:mo><mml:mn>2</mml:mn></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup><mml:mo>=</mml:mo><mml:mn>30</mml:mn></mml:math></inline-formula> mV) and variance (<inline-formula><mml:math id="M76"><mml:msubsup><mml:mrow><mml:mi>&#x003C3;</mml:mi></mml:mrow><mml:mrow><mml:mtext>ext</mml:mtext><mml:mo>,</mml:mo><mml:mn>2</mml:mn></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup><mml:mo>=</mml:mo><mml:mn>22</mml:mn><mml:mo>.</mml:mo><mml:mn>4</mml:mn></mml:math></inline-formula> mV), and Population 3 (including neurons labeled by 201&#x02013;250, black) receives the largest mean (<inline-formula><mml:math id="M77"><mml:msubsup><mml:mrow><mml:mi>&#x003BC;</mml:mi></mml:mrow><mml:mrow><mml:mtext>ext</mml:mtext><mml:mo>,</mml:mo><mml:mn>3</mml:mn></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup><mml:mo>=</mml:mo><mml:mn>32</mml:mn><mml:mo>.</mml:mo><mml:mn>5</mml:mn></mml:math></inline-formula> mV) but the smallest variance (<inline-formula><mml:math id="M78"><mml:msubsup><mml:mrow><mml:mi>&#x003C3;</mml:mi></mml:mrow><mml:mrow><mml:mtext>ext</mml:mtext><mml:mo>,</mml:mo><mml:mn>3</mml:mn></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup><mml:mo>=</mml:mo><mml:mn>11</mml:mn><mml:mo>.</mml:mo><mml:mn>2</mml:mn></mml:math></inline-formula> mV). The initial values of excitatory-to-excitatory connection strengths are drawn from a uniform distribution ranging from 0 to 1 mV. <bold>(A,C)</bold> Raster plots before learning and after learning, respectively. <bold>(B,D)</bold> Firing rates and coefficients of variation (CVs) of the different populations before learning and after 10<sup>6</sup> s of learning, respectively. Error bars indicate the standard deviation of corresponding values within each population. <bold>(E)</bold> Firing rate dynamics of the different populations during learning. <bold>(F)</bold> Weight matrix after 10<sup>6</sup> s of learning. The largest (i.e., brightest) and the smallest (i.e., darkest) value of the gray bar is 1 and 0 mV, respectively.</p></caption>
<graphic xlink:href="fncom-12-00001-g0002.tif"/>
</fig>
<sec>
<title>The effect of firing rate and firing variability on learning dynamics&#x02014;numerical evidence</title>
<p>For our numerical experiments, we use the current-based leaky integrate-and-fire (LIF) neuron model with finite synaptic time constant (Babadi and Abbott, <xref ref-type="bibr" rid="B1">2013</xref>). The network consists of 250 excitatory neurons and 250 inhibitory neurons (See section Methods for details). Based on the values of mean and variance of external inputs, we divide the excitatory neurons into three populations&#x02014;Population 1 (denoted as P<sub>1</sub>, including neurons indexed from 1 to 50), Population 2 (denoted as P<sub>2</sub>, including neurons indexed from 51 to 200) and Population 3 (denoted as P<sub>3</sub>, including neurons indexed from 201 to 250). The initial values of excitatory-to-excitatory (EE) connection strengths are drawn at random from a uniform distribution ranging from 0 to <inline-formula><mml:math id="M79"><mml:msubsup><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mtext>EE</mml:mtext></mml:mrow><mml:mrow><mml:mtext>max</mml:mtext></mml:mrow></mml:msubsup><mml:mo>=</mml:mo><mml:mn>1</mml:mn></mml:math></inline-formula> mV. During the simulation, the EE connections are subject to the canonical all-to-all pairwise additive STDP learning rule (Song et al., <xref ref-type="bibr" rid="B32">2000</xref>; Babadi and Abbott, <xref ref-type="bibr" rid="B1">2013</xref>). Specifically, let &#x003C4; &#x0003D; <italic>t</italic><sub><italic>i</italic></sub> &#x02212; <italic>t</italic><sub><italic>j</italic></sub>, where <italic>t</italic><sub><italic>i</italic></sub> and <italic>t</italic><sub><italic>j</italic></sub> are a pair of spike times of excitatory neuron <italic>i</italic> and excitatory neuron <italic>j</italic>, respectively. This pair of spike times will affect a change of the synaptic strength <italic>w</italic><sub><italic>ij</italic></sub> from neuron <italic>j</italic> to neuron <italic>i</italic> as follows: <italic>w</italic><sub><italic>ij</italic></sub> &#x02192; <italic>w</italic><sub><italic>ij</italic></sub> &#x0002B; <italic>L</italic>(&#x003C4;), where the STDP learning window <italic>L</italic>(&#x003C4;) is given by</p>
<disp-formula id="E36"><label>(24)</label><mml:math id="M36"><mml:mrow><mml:mi>L</mml:mi><mml:mo stretchy='false'>(</mml:mo><mml:mi>&#x003C4;</mml:mi><mml:mo stretchy='false'>)</mml:mo><mml:mo>=</mml:mo><mml:mrow><mml:mo>{</mml:mo><mml:mrow><mml:mtable><mml:mtr><mml:mtd><mml:mrow><mml:msub><mml:mi>A</mml:mi><mml:mo>+</mml:mo></mml:msub><mml:msup><mml:mi>e</mml:mi><mml:mrow><mml:mo>&#x02212;</mml:mo><mml:mi>&#x003C4;</mml:mi><mml:mo>/</mml:mo><mml:msub><mml:mi>&#x003C4;</mml:mi><mml:mo>+</mml:mo></mml:msub></mml:mrow></mml:msup><mml:mo>&#x000A0;</mml:mo></mml:mrow></mml:mtd><mml:mtd><mml:mrow><mml:mtext>for&#x0200B;</mml:mtext><mml:mi>&#x003C4;</mml:mi><mml:mo>&#x0003E;</mml:mo><mml:mn>0</mml:mn><mml:mo>,</mml:mo></mml:mrow></mml:mtd></mml:mtr><mml:mtr><mml:mtd><mml:mrow><mml:mo>&#x02212;</mml:mo><mml:msub><mml:mi>A</mml:mi><mml:mo>&#x02212;</mml:mo></mml:msub><mml:msup><mml:mi>e</mml:mi><mml:mrow><mml:mo>&#x02212;</mml:mo><mml:mo>&#x0007C;</mml:mo><mml:mi>&#x003C4;</mml:mi><mml:mo>&#x0007C;</mml:mo><mml:mo>/</mml:mo><mml:msub><mml:mi>&#x003C4;</mml:mi><mml:mo>&#x02212;</mml:mo></mml:msub></mml:mrow></mml:msup><mml:mo>&#x000A0;</mml:mo></mml:mrow></mml:mtd><mml:mtd><mml:mrow><mml:mtext>for&#x0200B;</mml:mtext><mml:mi>&#x003C4;</mml:mi><mml:mo>&#x02264;</mml:mo><mml:mn>0.</mml:mn></mml:mrow></mml:mtd></mml:mtr></mml:mtable></mml:mrow></mml:mrow></mml:mrow></mml:math></disp-formula>
<p>Similarly, for the synaptic strength <italic>w</italic><sub><italic>ji</italic></sub> from neuron <italic>i</italic> to neuron <italic>j</italic>, the update is <italic>w</italic><sub><italic>ji</italic></sub> &#x02192; <italic>w</italic><sub><italic>ji</italic></sub> &#x0002B; <italic>L</italic>(&#x02212;&#x003C4;). As in Song et al. (<xref ref-type="bibr" rid="B32">2000</xref>) and Babadi and Abbott (<xref ref-type="bibr" rid="B1">2013</xref>), we enforce the hard bound to the value of <italic>w</italic><sub><italic>ij</italic></sub> and <italic>w</italic><sub><italic>ji</italic></sub>, i.e., set <italic>w</italic><sub><italic>ij</italic></sub> (<italic>w</italic><sub><italic>ji</italic></sub>) to <inline-formula><mml:math id="M81"><mml:msubsup><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mtext>EE</mml:mtext></mml:mrow><mml:mrow><mml:mtext>max</mml:mtext></mml:mrow></mml:msubsup></mml:math></inline-formula> if <inline-formula><mml:math id="M82"><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi><mml:mi>i</mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>&#x0003E;</mml:mo><mml:msubsup><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mtext>EE</mml:mtext></mml:mrow><mml:mrow><mml:mtext>max</mml:mtext></mml:mrow></mml:msubsup></mml:math></inline-formula> and 0 if <italic>w</italic><sub><italic>ij</italic></sub>(<italic>w</italic><sub><italic>ji</italic></sub>) &#x0003C; 0. In this work, we will restrict ourselves to the balanced case in which <italic>A</italic><sub>&#x0002B;</sub> &#x0003D; <italic>A</italic><sub>&#x02212;</sub> &#x0003D; 0.005 <inline-formula><mml:math id="M83"><mml:msubsup><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mtext>EE</mml:mtext></mml:mrow><mml:mrow><mml:mtext>max</mml:mtext></mml:mrow></mml:msubsup></mml:math></inline-formula> and &#x003C4;<sub>&#x0002B;</sub> &#x0003D; &#x003C4;<sub>&#x02212;</sub> &#x0003D; 20 ms. We characterize spiking activity in the network by its firing rate and coefficient of variation (CV), where CV is the ratio of the standard deviation of interspike interval (ISI) to the mean of ISI. As is well known, for a given neuron under fixed input conditions, CV is often used as a measure of firing variability &#x02014; the larger CV, the more irregular the spiking activity.</p>
<p>If these populations receive external inputs of different means but an identical variance, we observe that, as the mean external input increases, the firing rate increases whereas the CV decreases. Figure <xref ref-type="fig" rid="F1">1B</xref> illustrates the corresponding firing statistics of these populations. For this case, as shown in Figure <xref ref-type="fig" rid="F1">1F</xref>, the connections from the populations of higher firing rate to those of lower firing rate are strengthened after learning whereas the connections with the opposite situation (i.e., connections from those of lower firing rate to those of higher firing rate) are weakened. This result is consistent with results of the previous studies (Morrison et al., <xref ref-type="bibr" rid="B24">2007</xref>; Kozloski and Cecchi, <xref ref-type="bibr" rid="B21">2010</xref>; Babadi and Abbott, <xref ref-type="bibr" rid="B1">2013</xref>). Here, STDP is found to act as a firing rate equalizer, i.e., decreasing the rate of the neuronal populations of higher firing rate and increasing the rate of the neuronal populations of lower firing rate. Figure <xref ref-type="fig" rid="F1">1E</xref> displays an example of this behavior. Furthermore, by comparing the firing statistics before learning (Figure <xref ref-type="fig" rid="F1">1B</xref>) with that after learning (Figure <xref ref-type="fig" rid="F1">1D</xref>), we observe that STDP also acts as a firing variability equalizer, i.e., decreasing the CV of higher-CV neuronal populations and increasing the CV of lower-CV neuronal populations. For ease of discussion below, this case will be termed as Case I.</p>
<p>Next, we consider the case in which both the mean and variance of external inputs vary across these populations. We adjust both the mean and variance of external inputs (see the caption of Figure <xref ref-type="fig" rid="F2">2</xref> for the specific values) such that Population 1 has the highest firing rate and the highest CV, Population 2 has an intermediate firing rate and CV, and Population 3 has the lowest firing rate and the lowest CV. The corresponding firing statistics of these populations before learning is displayed in Figure <xref ref-type="fig" rid="F2">2B</xref>. From Figure <xref ref-type="fig" rid="F2">2F</xref>, it can be seen clearly that after learning the connections from Population 1, which has the highest firing rate, to Population 3, which has the lowest firing rate, are weakened. We note that this phenomenon still exists even when the projections from the excitatory populations to the inhibitory populations become plastic (<xref ref-type="supplementary-material" rid="SM1">Supplementary Material</xref>). Furthermore, by comparing Figure <xref ref-type="fig" rid="F2">2B</xref> with Figure <xref ref-type="fig" rid="F2">2D</xref>, we observe that STDP tends to increase the rate of the population of the highest firing rate and decrease the rate of the population of the lowest firing rate. That is, STDP is no longer acting as a firing rate equalizer. However, it still acts as a weak equalizer for firing variability. This phenomenon cannot be explained solely by the firing rate theory (Morrison et al., <xref ref-type="bibr" rid="B24">2007</xref>; Kozloski and Cecchi, <xref ref-type="bibr" rid="B21">2010</xref>; Babadi and Abbott, <xref ref-type="bibr" rid="B1">2013</xref>), in which the connections from the population of higher firing rate to the population of lower firing rate should be strengthened and STDP should act as a firing rate equalizer. In the following, we develop a linear response theory to characterize the importance of high-order firing statistics in learning dynamics as illustrated in Figure <xref ref-type="fig" rid="F2">2</xref>. For ease of discussion below, the case in Figure <xref ref-type="fig" rid="F2">2</xref> will be termed as Case II.</p>
</sec>
<sec>
<title>STDP learning dynamics</title>
<p>To characterize the learning dynamics, we consider two mutually-connected neurons in a recurrent network, say neuron <italic>i</italic> and neuron <italic>j</italic>. The STDP learning rule introduced in the last section can be simply written in the following weight dynamics:</p>
<disp-formula id="E37"><label>(25)</label><mml:math id="M84"><mml:mtable class="eqnarray" columnalign="right center left"><mml:mtr><mml:mtd><mml:mfrac><mml:mrow><mml:mi>d</mml:mi><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mrow><mml:mi>d</mml:mi><mml:mi>t</mml:mi></mml:mrow></mml:mfrac><mml:mo>=</mml:mo><mml:msub><mml:mrow><mml:mi>A</mml:mi></mml:mrow><mml:mrow><mml:mo>&#x0002B;</mml:mo></mml:mrow></mml:msub><mml:msubsup><mml:mrow><mml:mi>x</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow><mml:mrow><mml:mo>&#x0002B;</mml:mo></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:msub><mml:mrow><mml:mi>s</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>-</mml:mo><mml:msub><mml:mrow><mml:mi>A</mml:mi></mml:mrow><mml:mrow><mml:mo>-</mml:mo></mml:mrow></mml:msub><mml:msubsup><mml:mrow><mml:mi>x</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow><mml:mrow><mml:mo>-</mml:mo></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:msub><mml:mrow><mml:mi>s</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>,</mml:mo></mml:mtd></mml:mtr></mml:mtable></mml:math></disp-formula>
<disp-formula id="E38"><label>(26)</label><mml:math id="M85"><mml:mtable class="eqnarray" columnalign="right center left"><mml:mtr><mml:mtd><mml:mfrac><mml:mrow><mml:mi>d</mml:mi><mml:msubsup><mml:mrow><mml:mi>x</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow><mml:mrow><mml:mo>&#x0002B;</mml:mo></mml:mrow></mml:msubsup></mml:mrow><mml:mrow><mml:mi>d</mml:mi><mml:mi>t</mml:mi></mml:mrow></mml:mfrac><mml:mo>=</mml:mo><mml:mo>-</mml:mo><mml:mfrac><mml:mrow><mml:msubsup><mml:mrow><mml:mi>x</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow><mml:mrow><mml:mo>&#x0002B;</mml:mo></mml:mrow></mml:msubsup></mml:mrow><mml:mrow><mml:msub><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mrow><mml:mo>&#x0002B;</mml:mo></mml:mrow></mml:msub></mml:mrow></mml:mfrac><mml:mo>&#x0002B;</mml:mo><mml:msub><mml:mrow><mml:mi>s</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>,</mml:mo></mml:mtd></mml:mtr></mml:mtable></mml:math></disp-formula>
<disp-formula id="E39"><label>(27)</label><mml:math id="M86"><mml:mtable class="eqnarray" columnalign="right center left"><mml:mtr><mml:mtd><mml:mfrac><mml:mrow><mml:mi>d</mml:mi><mml:msubsup><mml:mrow><mml:mi>x</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow><mml:mrow><mml:mo>-</mml:mo></mml:mrow></mml:msubsup></mml:mrow><mml:mrow><mml:mi>d</mml:mi><mml:mi>t</mml:mi></mml:mrow></mml:mfrac><mml:mo>=</mml:mo><mml:mo>-</mml:mo><mml:mfrac><mml:mrow><mml:msubsup><mml:mrow><mml:mi>x</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow><mml:mrow><mml:mo>-</mml:mo></mml:mrow></mml:msubsup></mml:mrow><mml:mrow><mml:msub><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mrow><mml:mo>-</mml:mo></mml:mrow></mml:msub></mml:mrow></mml:mfrac><mml:mo>&#x0002B;</mml:mo><mml:msub><mml:mrow><mml:mi>s</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>,</mml:mo></mml:mtd></mml:mtr></mml:mtable></mml:math></disp-formula>
<p>where <italic>s</italic><sub><italic>i</italic></sub>(<italic>t</italic>) and <italic>s</italic><sub><italic>j</italic></sub>(<italic>t</italic>) respectively stand for the spike trains of neuron <italic>i</italic> and neuron <italic>j</italic>. Expressing <inline-formula><mml:math id="M87"><mml:msubsup><mml:mrow><mml:mi>x</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow><mml:mrow><mml:mo>&#x0002B;</mml:mo></mml:mrow></mml:msubsup></mml:math></inline-formula>and <inline-formula><mml:math id="M88"><mml:msubsup><mml:mrow><mml:mi>x</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow><mml:mrow><mml:mo>-</mml:mo></mml:mrow></mml:msubsup></mml:math></inline-formula> as the integral of <italic>s</italic><sub><italic>j</italic></sub>(<italic>t</italic>) and <italic>s</italic><sub><italic>i</italic></sub>(<italic>t</italic>), respectively, we can obtain</p>
<disp-formula id="E40"><label>(28)</label><mml:math id="M89"><mml:mtable class="eqnarray" columnalign="right center left"><mml:mtr><mml:mtd><mml:mfrac><mml:mrow><mml:mi>d</mml:mi><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mrow><mml:mi>d</mml:mi><mml:mi>t</mml:mi></mml:mrow></mml:mfrac><mml:mo>=</mml:mo><mml:mstyle displaystyle="true"><mml:msubsup><mml:mrow><mml:mo>&#x0222B;</mml:mo></mml:mrow><mml:mrow><mml:mo>-</mml:mo><mml:mi>&#x0221E;</mml:mi></mml:mrow><mml:mrow><mml:mi>&#x0221E;</mml:mi></mml:mrow></mml:msubsup></mml:mstyle><mml:mi>L</mml:mi><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:msub><mml:mrow><mml:mi>s</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi><mml:mo>-</mml:mo><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:msub><mml:mrow><mml:mi>s</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mi>d</mml:mi><mml:mi>&#x003C4;</mml:mi><mml:mo>.</mml:mo></mml:mtd></mml:mtr></mml:mtable></mml:math></disp-formula>
<p>By assuming that the change of <italic>w</italic><sub><italic>ij</italic></sub>(<italic>t</italic>) is sufficiently slow (Ocker et al., <xref ref-type="bibr" rid="B26">2015</xref>), <italic>s</italic><sub><italic>j</italic></sub>(<italic>t</italic> &#x02212; &#x003C4;)<italic>s</italic><sub><italic>i</italic></sub>(<italic>t</italic>) can be approximated by <italic>C</italic><sub><italic>ij</italic></sub>(&#x003C4;) &#x0002B; &#x02329;<italic>s</italic><sub><italic>i</italic></sub>(<italic>t</italic>)&#x0232A;&#x02329;<italic>s</italic><sub><italic>j</italic></sub>(<italic>t</italic>)&#x0232A; where <italic>C</italic><sub><italic>ij</italic></sub>(&#x003C4;), defined as &#x02329;<italic>s</italic><sub><italic>i</italic></sub>(<italic>t</italic> &#x0002B; &#x003C4;)<italic>s</italic><sub><italic>j</italic></sub>(<italic>t</italic>)&#x0232A; &#x02212; &#x02329;<italic>s</italic><sub><italic>i</italic></sub>(<italic>t</italic>)&#x0232A;&#x02329;<italic>s</italic><sub><italic>j</italic></sub>(<italic>t</italic>)&#x0232A;, is the temporal spike cross correlation between neuron <italic>i</italic> and neuron <italic>j</italic> in the recurrent network with a fixed synaptic strength matrix. Combining the dynamics of <italic>w</italic><sub><italic>ji</italic></sub> in Equation (25), we arrive at the following equations:</p>
<disp-formula id="E41"><label>(29)</label><mml:math id="M90"><mml:mtable class="eqnarray" columnalign="right center left"><mml:mtr><mml:mtd><mml:mfrac><mml:mrow><mml:mi>d</mml:mi><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mrow><mml:mi>d</mml:mi><mml:mi>t</mml:mi></mml:mrow></mml:mfrac><mml:mo>=</mml:mo><mml:mstyle displaystyle="true"><mml:msubsup><mml:mrow><mml:mo>&#x0222B;</mml:mo></mml:mrow><mml:mrow><mml:mo>-</mml:mo><mml:mi>&#x0221E;</mml:mi></mml:mrow><mml:mrow><mml:mi>&#x0221E;</mml:mi></mml:mrow></mml:msubsup></mml:mstyle><mml:mi>L</mml:mi><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:msub><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mi>d</mml:mi><mml:mi>&#x003C4;</mml:mi><mml:mo>,</mml:mo></mml:mtd></mml:mtr></mml:mtable></mml:math></disp-formula>
<disp-formula id="E42"><label>(30)</label><mml:math id="M91"><mml:mtable class="eqnarray" columnalign="right center left"><mml:mtr><mml:mtd><mml:mfrac><mml:mrow><mml:mi>d</mml:mi><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi><mml:mi>i</mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mrow><mml:mi>d</mml:mi><mml:mi>t</mml:mi></mml:mrow></mml:mfrac><mml:mo>=</mml:mo><mml:mstyle displaystyle="true"><mml:msubsup><mml:mrow><mml:mo>&#x0222B;</mml:mo></mml:mrow><mml:mrow><mml:mo>-</mml:mo><mml:mi>&#x0221E;</mml:mi></mml:mrow><mml:mrow><mml:mi>&#x0221E;</mml:mi></mml:mrow></mml:msubsup></mml:mstyle><mml:mi>L</mml:mi><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:msub><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mi>d</mml:mi><mml:mi>&#x003C4;</mml:mi><mml:mo>.</mml:mo></mml:mtd></mml:mtr></mml:mtable></mml:math></disp-formula>
<p>Note that unlike the scenario studied in Babadi and Abbott (<xref ref-type="bibr" rid="B1">2013</xref>) and Ocker et al. (<xref ref-type="bibr" rid="B26">2015</xref>), there is no offset term in Equations (29, 30). This is due to the balanced condition <italic>A</italic><sub>&#x0002B;</sub> &#x0003D; <italic>A</italic><sub>&#x02212;</sub> and &#x003C4;<sub>&#x0002B;</sub> &#x0003D; &#x003C4;<sub>&#x02212;</sub> in our STDP learning rule. Therefore, to understand the learning dynamics (Equations 29, 30), it is facilitative to study the correlation structure in recurrent networks with static couplings.</p>
<p>In the following sections, we will follow the linear response theory proposed in Pernice et al. (<xref ref-type="bibr" rid="B28">2012</xref>), Trousdale et al. (<xref ref-type="bibr" rid="B33">2012</xref>), and Helias et al. (<xref ref-type="bibr" rid="B19">2013</xref>) and develop a self-consistent framework for the learning dynamics (Equations 29, 30). To this end, we first characterize how the firing variability information is encoded in the linear response kernel for the single LIF neuron case in section Incorporation of Firing Variability in Linear Response Kernel. Then, in section Hawkes Process as an Approximation of an LIF Network Dynamics, we approximate the LIF network dynamics with a stochastic point process called Hawkes process in which the instantaneous firing rate depends on the spiking history of interacting neurons (Hawkes, <xref ref-type="bibr" rid="B18">1971b</xref>). With this Hawkes process approximation, in section Spike Correlation Structure of Hawkes Process, we discuss the issue of how firing statistics of spiking activity and network connectivity structure shape the spike correlation structure of the LIF network dynamics. In the end, we combine the correlation structure analysis with the STDP learning dynamics (Equations 29, 30) to arrive at the final learning dynamics (Equations 35, 36), which explain the observed numerical results, in section Learning Dynamics with Spike Correlation Decomposition.</p>
</sec>
<sec>
<title>Incorporation of firing variability in linear response kernel</title>
<p>For a single LIF neuron described by Equations (1, 3), the dependence of mean firing rate and CV on input parameters (mean input value &#x003BC; and standard deviation value &#x003C3;) is illustrated in Figures <xref ref-type="fig" rid="F3">3A,B</xref>, respectively. By using the reverse correlation method (Dayan and Abbott, <xref ref-type="bibr" rid="B7">2001</xref>; Ostojic et al., <xref ref-type="bibr" rid="B27">2009</xref>) (see section Methods for details), We also computed the response kernel <italic>h</italic>(&#x003C4;) that characterizes how the LIF neuron ensemble responds to a perturbation. We found that response kernel <italic>h</italic>(&#x003C4;) exhibits an exponential decay profile, <italic>A</italic> exp{&#x02212;&#x003C4;/&#x003C4;<sub>eff</sub>}&#x00398;(&#x003C4;), where &#x00398;(&#x003C4;) is the Heaviside function, provided that fluctuations of the external input are sufficiently high, i.e., comparable to the difference between firing threshold and reset voltage <italic>V</italic><sub>th</sub> &#x02212; <italic>V</italic><sub>r</sub> (for example, &#x003C3; is about 10 &#x0007E; 30 mV). We can use two quantities &#x02014; the integral of response kernel &#x0222B;<italic>h</italic>(&#x003C4;)<italic>d&#x003C4;</italic>, which is &#x003C4;<sub>eff</sub><italic>A</italic> after the substitution of the exponential form of <italic>h</italic>(&#x003C4;) &#x0003D; <italic>A</italic> exp{&#x02212;&#x003C4;/&#x003C4;<sub>eff</sub>}&#x00398;(&#x003C4;), and the decay time constant &#x003C4;<sub>eff</sub> &#x02014; to characterize <italic>h</italic>(&#x003C4;). Figures <xref ref-type="fig" rid="F3">3C,D</xref> illustrate the dependence of &#x0222B;<italic>h</italic>(&#x003C4;)<italic>d&#x003C4;</italic> and &#x003C4;<sub>eff</sub> on &#x003BC; and &#x003C3;, respectively. In Figure <xref ref-type="fig" rid="F3">3</xref>, we can observe that, for any fixed mean firing rate, when the standard deviation &#x003C3; increases, both CV of ISI and &#x003C4;<sub>eff</sub> increase whereas &#x0222B;<italic>h</italic>(&#x003C4;)<italic>d&#x003C4;</italic> decreases. Therefore, if there are two neurons with the same mean firing rate but different firing CVs, both the decay time constant and the integral of response kernel of these two neurons will differ from each other. In this sense, the information of firing variability is incorporated in the linear response kernel.</p>
<fig id="F3" position="float">
<label>Figure 3</label>
<caption><p>The dependence of statistical properties of the LIF neuron on the mean &#x003BC; and the standard deviation &#x003C3; of external inputs. <bold>(A,B)</bold> Firing rate and CV of inter-spike interval (ISI), respectively. <bold>(C,D)</bold> Integral of response kernel &#x0222B;<italic>h</italic>(&#x003C4;)<italic>d&#x003C4;</italic> and linear response time constant &#x003C4;<sub>eff</sub>, respectively.</p></caption>
<graphic xlink:href="fncom-12-00001-g0003.tif"/>
</fig>
</sec>
<sec>
<title>Hawkes process as an approximation of an LIF network dynamics</title>
<p>In general, the response of a neuron to recurrent spike inputs is nonlinear. Here, we investigate the asynchronous state, as shown in Figures <xref ref-type="fig" rid="F1">1A</xref>, <xref ref-type="fig" rid="F2">2A</xref>, in which spikes from different neurons arrive at the synapses of the target neuron at different times. By considering that the magnitude of a postsynaptic potential elicited by the firing event of a single presynaptic neuron is in general small, i.e., the synaptic strength is weak, it is reasonable to treat the asynchronous recurrent inputs in a linear manner (Pernice et al., <xref ref-type="bibr" rid="B28">2012</xref>; Trousdale et al., <xref ref-type="bibr" rid="B33">2012</xref>; Helias et al., <xref ref-type="bibr" rid="B19">2013</xref>). Specifically, by regarding <inline-formula><mml:math id="M92"><mml:munderover accentunder="false" accent="false"><mml:mrow><mml:mo>&#x02211;</mml:mo></mml:mrow><mml:mrow><mml:mi>j</mml:mi><mml:mo>=</mml:mo><mml:mn>1</mml:mn></mml:mrow><mml:mrow><mml:mi>N</mml:mi></mml:mrow></mml:munderover><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:msub><mml:mrow><mml:mi>s</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mo>-</mml:mo><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula> in the LIF neuronal network as a perturbation, we arrive at the following effective description:</p>
<disp-formula id="E43"><label>(31)</label><mml:math id="M93"><mml:mtable class="eqnarray" columnalign="right center left"><mml:mtr><mml:mtd><mml:msub><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>=</mml:mo><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:mo>&#x0002B;</mml:mo><mml:mrow><mml:mo stretchy="false">[</mml:mo><mml:mrow><mml:msub><mml:mrow><mml:mi>h</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:mo>*</mml:mo><mml:mstyle displaystyle="true"><mml:munderover accentunder="false" accent="false"><mml:mrow><mml:mo>&#x02211;</mml:mo></mml:mrow><mml:mrow><mml:mi>j</mml:mi><mml:mo>=</mml:mo><mml:mn>1</mml:mn></mml:mrow><mml:mrow><mml:mi>N</mml:mi></mml:mrow></mml:munderover></mml:mstyle><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:msub><mml:mrow><mml:mi>s</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mo>-</mml:mo><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:mrow><mml:mo stretchy="false">]</mml:mo></mml:mrow><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>,</mml:mo></mml:mtd></mml:mtr></mml:mtable></mml:math></disp-formula>
<p>where <inline-formula><mml:math id="M94"><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub></mml:math></inline-formula> and <italic>h</italic><sub><italic>i</italic></sub>(&#x003C4;) are the mean firing rate and response kernel of the <italic>i</italic>th neuron that is driven by both the external input and the mean-driven recurrent input (see section Methods for details), respectively, and <italic>N</italic> is the number of neurons in the network. Note that (i) the mean firing rate <inline-formula><mml:math id="M95"><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub></mml:math></inline-formula> is determined by the self-consistent Equations (12, 13); and (ii) the response kernel <italic>h</italic><sub><italic>i</italic></sub>(&#x003C4;) is computed based on the single LIF neuron Equations (1, 3) with the total mean input value <inline-formula><mml:math id="M96"><mml:msubsup><mml:mrow><mml:mi>&#x003BC;</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup></mml:math></inline-formula> in Equation (13) and the standard deviation value <inline-formula><mml:math id="M97"><mml:msubsup><mml:mrow><mml:mi>&#x003C3;</mml:mi></mml:mrow><mml:mrow><mml:mtext>ext</mml:mtext><mml:mo>,</mml:mo><mml:mi>i</mml:mi></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup></mml:math></inline-formula> in Equation (12). Equation (31) can be understood in the following way. On the one hand, given spike trains <italic>s</italic><sub><italic>j</italic></sub>(<italic>t</italic>) for <italic>j</italic> &#x0003D; 1, &#x022EF;, <italic>N</italic>, Equation (31) provides a way to evolve the instantaneous firing rate of the <italic>i</italic>th neuron <italic>r</italic><sub><italic>i</italic></sub>(<italic>t</italic>). On the other hand, from Equation (31), the spike train <italic>s</italic><sub><italic>i</italic></sub>(<italic>t</italic>) can be regarded as being generated by a jump process with the instantaneous firing rate <italic>r</italic><sub><italic>i</italic></sub>(<italic>t</italic>). Therefore, we have obtained a self-consistent stochastic jump process that produces both the instantaneous firing rate <italic>r</italic><sub><italic>i</italic></sub>(<italic>t</italic>) and the stochastic spike train <italic>s</italic><sub><italic>i</italic></sub>(<italic>t</italic>). This stochastic process Equation (31) is a Hawkes process (Hawkes, <xref ref-type="bibr" rid="B18">1971b</xref>), which has been extensively used in the neuroscience literature (Pernice et al., <xref ref-type="bibr" rid="B28">2012</xref>; Trousdale et al., <xref ref-type="bibr" rid="B33">2012</xref>; Helias et al., <xref ref-type="bibr" rid="B19">2013</xref>). From the discussion above, such a Hawkes process can be viewed as the first-order (i.e., linear) Volterra approximation of the LIF network dynamics.</p>
</sec>
<sec>
<title>Spike correlation structure of Hawkes process</title>
<p>For the Hawkes process (Equation 31), its spike correlation has an explicit analytical form (Hawkes, <xref ref-type="bibr" rid="B17">1971a</xref>). Specifically, the power spectrum <inline-formula><mml:math id="M98"><mml:mover accent="true"><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>C</mml:mtext></mml:mstyle></mml:mrow><mml:mo>^</mml:mo></mml:mover><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C9;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula>, by the Wiener-Khinchin theorem, is the Fourier transform of spike correlation <bold>C</bold>(&#x003C4;) &#x0003D; (<italic>C</italic><sub><italic>ij</italic></sub>(&#x003C4;)) and has the following form (Hawkes, <xref ref-type="bibr" rid="B17">1971a</xref>) (see section Methods for a derivation):</p>
<disp-formula id="E32"><label>(32)</label><mml:math id="M32"><mml:mrow><mml:mover accent='true'><mml:mstyle mathvariant='bold' mathsize='normal'><mml:mi>C</mml:mi></mml:mstyle><mml:mo stretchy='true'>&#x0005E;</mml:mo></mml:mover><mml:mo stretchy='false'>(</mml:mo><mml:mi>&#x003C9;</mml:mi><mml:mo stretchy='false'>)</mml:mo><mml:mo>=</mml:mo><mml:msup><mml:mrow><mml:mo stretchy='false'>(</mml:mo><mml:mn>1</mml:mn><mml:mo>&#x02212;</mml:mo><mml:mover accent='true'><mml:mstyle mathvariant='bold' mathsize='normal'><mml:mi>h</mml:mi></mml:mstyle><mml:mo stretchy='true'>&#x0005E;</mml:mo></mml:mover><mml:mo stretchy='false'>(</mml:mo><mml:mi>&#x003C9;</mml:mi><mml:mo stretchy='false'>)</mml:mo><mml:mstyle mathvariant='bold' mathsize='normal'><mml:mi>w</mml:mi></mml:mstyle><mml:mo stretchy='false'>)</mml:mo></mml:mrow><mml:mrow><mml:mo>&#x02212;</mml:mo><mml:mn>1</mml:mn></mml:mrow></mml:msup><mml:mstyle mathvariant='bold' mathsize='normal'><mml:mi>D</mml:mi></mml:mstyle><mml:msup><mml:mrow><mml:mo stretchy='false'>(</mml:mo><mml:mn>1</mml:mn><mml:mo>&#x02212;</mml:mo><mml:msup><mml:mstyle mathvariant='bold' mathsize='normal'><mml:mi>w</mml:mi></mml:mstyle><mml:mi>T</mml:mi></mml:msup><mml:msup><mml:mrow><mml:mover accent='true'><mml:mstyle mathvariant='bold' mathsize='normal'><mml:mi>h</mml:mi></mml:mstyle><mml:mo stretchy='true'>&#x0005E;</mml:mo></mml:mover></mml:mrow><mml:mi>T</mml:mi></mml:msup><mml:mo stretchy='false'>(</mml:mo><mml:mo>&#x02212;</mml:mo><mml:mi>&#x003C9;</mml:mi><mml:mo stretchy='false'>)</mml:mo><mml:mo stretchy='false'>)</mml:mo></mml:mrow><mml:mrow><mml:mo>&#x02212;</mml:mo><mml:mn>1</mml:mn></mml:mrow></mml:msup><mml:mo>,</mml:mo></mml:mrow></mml:math></disp-formula>
<p>where <inline-formula><mml:math id="M100"><mml:mover accent="true"><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>h</mml:mtext></mml:mstyle></mml:mrow><mml:mo>^</mml:mo></mml:mover><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C9;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula> is the Fourier transform of the response kernel <bold>h</bold>(&#x003C4;) &#x0003D; diag{<italic>h</italic><sub>1</sub>(&#x003C4;), &#x022EF;, <italic>h</italic><sub><italic>N</italic></sub>(&#x003C4;)}, <bold>w</bold> is the synaptic strength matrix, and <inline-formula><mml:math id="M101"><mml:mstyle mathvariant="bold"><mml:mtext>D</mml:mtext></mml:mstyle><mml:mo>=</mml:mo><mml:mtext>diag</mml:mtext><mml:mrow><mml:mo>{</mml:mo><mml:mrow><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mn>1</mml:mn></mml:mrow></mml:msub><mml:mo>,</mml:mo><mml:mo>&#x022EF;</mml:mo><mml:mspace width="0.3em" class="thinspace"/><mml:mo>,</mml:mo><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>N</mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mo>}</mml:mo></mml:mrow></mml:math></inline-formula>.</p>
<p>To examine the validity of our linear response theory, we compute the population-averaged cross correlation (see section Methods for details). We find that our theoretical prediction of the population-averaged cross correlation is in very good agreement with the cross correlation measured from our LIF neuronal network simulation. This agreement is clearly seen in Figure <xref ref-type="fig" rid="F4">4</xref>, demonstrating that our linear response theory can well capture the spike correlation structure of the LIF network dynamics.</p>
<fig id="F4" position="float">
<label>Figure 4</label>
<caption><p>Population-averaged cross correlation&#x02014;comparison between theoretical prediction and numerical results. <bold>(A&#x02013;F)</bold> Normalized population-averaged cross correlation between the different populations. Note that <inline-formula><mml:math id="M102"><mml:msubsup><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>&#x003B1;</mml:mi><mml:mi>&#x003B2;</mml:mi></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext><mml:mo>,</mml:mo><mml:mtext>cr</mml:mtext></mml:mrow></mml:msubsup></mml:math></inline-formula> for &#x003B1;, &#x003B2; &#x0003D; 1, 2, 3 is defined in Equation (20) and <inline-formula><mml:math id="M103"><mml:msubsup><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mrow><mml:mi>&#x003B1;</mml:mi></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup></mml:math></inline-formula> for &#x003B1; &#x0003D; 1, 2, 3 is computed with Equations (12, 13) in a self-consistent way. The black dots are the cross correlation measured from a simulation of the LIF neuronal network with a static weight matrix. The red dashed line is the theoretical prediction of our linear response theory.</p></caption>
<graphic xlink:href="fncom-12-00001-g0004.tif"/>
</fig>
<p>We note that Equation (32) also provides a starting point to study how network connectivity affects the spike correlation structure since we can decompose the connections into direct connections, common inputs, and other higher-order connections. In particular, the spike correlation has the following decomposition (see section Methods for a derivation):</p>
<disp-formula id="E45"><label>(33)</label><mml:math id="M104"><mml:mtable class="eqnarray" columnalign="right center left"><mml:mtr><mml:mtd><mml:mstyle mathvariant="bold"><mml:mtext>C</mml:mtext></mml:mstyle><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>=</mml:mo><mml:mstyle mathvariant="bold"><mml:mtext>D</mml:mtext></mml:mstyle><mml:mi>&#x003B4;</mml:mi><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>&#x0002B;</mml:mo><mml:mstyle mathvariant="bold"><mml:mtext>h</mml:mtext></mml:mstyle><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>w</mml:mtext></mml:mstyle><mml:mstyle mathvariant="bold"><mml:mtext>D</mml:mtext></mml:mstyle><mml:mo>&#x0002B;</mml:mo><mml:mstyle mathvariant="bold"><mml:mtext>D</mml:mtext></mml:mstyle><mml:msup><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>w</mml:mtext></mml:mstyle></mml:mrow><mml:mrow><mml:mi>T</mml:mi></mml:mrow></mml:msup><mml:msubsup><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>h</mml:mtext></mml:mstyle></mml:mrow><mml:mrow><mml:mo>-</mml:mo></mml:mrow><mml:mrow><mml:mi>T</mml:mi></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>&#x0002B;</mml:mo><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>h</mml:mtext></mml:mstyle><mml:mstyle mathvariant="bold"><mml:mtext>w</mml:mtext></mml:mstyle><mml:mstyle mathvariant="bold"><mml:mtext>D</mml:mtext></mml:mstyle><mml:msup><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>w</mml:mtext></mml:mstyle></mml:mrow><mml:mrow><mml:mi>T</mml:mi></mml:mrow></mml:msup><mml:mo>*</mml:mo><mml:msubsup><mml:mrow><mml:mstyle mathvariant="bold"><mml:mtext>h</mml:mtext></mml:mstyle></mml:mrow><mml:mrow><mml:mo>-</mml:mo></mml:mrow><mml:mrow><mml:mi>T</mml:mi></mml:mrow></mml:msubsup></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>&#x0002B;</mml:mo><mml:mo>&#x022EF;</mml:mo><mml:mspace width="0.3em" class="thinspace"/><mml:mo>,</mml:mo></mml:mtd></mml:mtr></mml:mtable></mml:math></disp-formula>
<p>where <bold>h</bold><sub>&#x02212;</sub>(&#x003C4;) &#x02261; <bold>h</bold>(&#x02212;&#x003C4;). Note that the similar decomposition has been derived in Pernice et al. (<xref ref-type="bibr" rid="B28">2012</xref>), Trousdale et al. (<xref ref-type="bibr" rid="B33">2012</xref>), Hu et al. (<xref ref-type="bibr" rid="B20">2013</xref>), and Ocker et al. (<xref ref-type="bibr" rid="B26">2015</xref>).</p>
<p>The first term on the right hand side (RHS) of Equation (33) can be obtained by setting the connection strength <bold>w</bold> in the Hawkes process (Equation 31) to zero. There is no cross correlation in this term.</p>
<p>For the second term on the RHS of Equation (33), the corresponding component with respect to the correlation between neuron <italic>i</italic> and neuron <italic>j</italic> is <inline-formula><mml:math id="M105"><mml:msub><mml:mrow><mml:mi>h</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub></mml:math></inline-formula>. This involves firing rate <inline-formula><mml:math id="M106"><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub></mml:math></inline-formula> of presynaptic neuron <italic>j</italic>, the connection strength <italic>w</italic><sub><italic>ij</italic></sub> from neuron <italic>j</italic> to neuron <italic>i</italic> and the linear response kernel <italic>h</italic><sub><italic>i</italic></sub>(&#x003C4;) of postsynaptic neuron <italic>i</italic>. Therefore, this component corresponds to the correlation induced by the direct connection from neuron <italic>j</italic> to neuron <italic>i</italic>. Similarly, the component <inline-formula><mml:math id="M107"><mml:msub><mml:mrow><mml:mi>h</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mo>-</mml:mo><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub></mml:math></inline-formula> (the third term on the RHS of Equation 33), corresponds to the correlation induced by the direct connection from neuron <italic>i</italic> to neuron <italic>j</italic>. Combining these two terms, we obtain the spike correlation induced by direct connections between neuron <italic>i</italic> and neuron <italic>j</italic>. For ease of discussion below, we denote these terms as <inline-formula><mml:math id="M108"><mml:msubsup><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow><mml:mrow><mml:mtext>di</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula>.</p>
<p>We next discuss the terms associated with the indirect connections. For the fourth term on the RHS of Equation (33), the corresponding component with respect to the correlation between neuron <italic>i</italic> and neuron <italic>j</italic> is <inline-formula><mml:math id="M109"><mml:munder class="msub"><mml:mrow><mml:mo>&#x02211;</mml:mo></mml:mrow><mml:mrow><mml:mi>k</mml:mi></mml:mrow></mml:munder><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>k</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>k</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi><mml:mi>k</mml:mi></mml:mrow></mml:msub><mml:mrow><mml:mo>[</mml:mo><mml:mrow><mml:msub><mml:mrow><mml:mi>h</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:mo>*</mml:mo><mml:msub><mml:mrow><mml:msub><mml:mrow><mml:mi>h</mml:mi></mml:mrow><mml:mrow><mml:mo>-</mml:mo></mml:mrow></mml:msub></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mo>]</mml:mo></mml:mrow><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula>. This involves the firing rate <inline-formula><mml:math id="M110"><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>k</mml:mi></mml:mrow></mml:msub></mml:math></inline-formula> of neuron <italic>k</italic>, the connection strengths <italic>w</italic><sub>&#x003B1;<italic>k</italic></sub> and the response kernels <italic>h</italic><sub>&#x003B1;</sub>(&#x000B7;) for &#x003B1; &#x0003D; <italic>i, j</italic>. Therefore, this term corresponds to the correlation induced by the common inputs from neuron <italic>k</italic> to both neuron <italic>i</italic> and neuron <italic>j</italic>. As we have demonstrated above, <italic>h</italic><sub>&#x003B1;</sub>(&#x000B7;), &#x003B1; &#x0003D; <italic>i, j</italic>, exhibits an exponential decay profile, which will be expressed as <italic>B</italic><sub>&#x003B1;</sub> exp(&#x02212;<italic>t</italic>/&#x003C4;<sub>&#x003B1;</sub>)&#x00398;(<italic>t</italic>). Then, this component becomes</p>
<disp-formula id="E46"><label>(34)</label><mml:math id="M111"><mml:mtable class="eqnarray" columnalign="right center left"><mml:mtr><mml:mtd><mml:mstyle displaystyle="true"><mml:munder class="msub"><mml:mrow><mml:mo>&#x02211;</mml:mo></mml:mrow><mml:mrow><mml:mi>k</mml:mi></mml:mrow></mml:munder></mml:mstyle><mml:msub><mml:mrow><mml:mi>B</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mi>B</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mfrac><mml:mrow><mml:msub><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mrow><mml:msub><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:mo>&#x0002B;</mml:mo><mml:msub><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub></mml:mrow></mml:mfrac><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>k</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>k</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi><mml:mi>k</mml:mi></mml:mrow></mml:msub><mml:mrow><mml:mrow><mml:mo stretchy="true">{</mml:mo></mml:mrow><mml:mtable style="text-align:axis;" equalrows="false" columnlines="none" equalcolumns="false" class="array"><mml:mtr><mml:mtd><mml:mo class="qopname">exp</mml:mo><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mo>-</mml:mo><mml:mi>t</mml:mi><mml:mo>/</mml:mo><mml:msub><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mtext>&#x000A0;</mml:mtext></mml:mtd><mml:mtd><mml:mtext class="textrm" mathvariant="normal">for&#x000A0;</mml:mtext><mml:mi>t</mml:mi><mml:mo>&#x02265;</mml:mo><mml:mn>0</mml:mn><mml:mo>,</mml:mo></mml:mtd></mml:mtr><mml:mtr><mml:mtd><mml:mo class="qopname">exp</mml:mo><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi><mml:mo>/</mml:mo><mml:msub><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mtext>&#x000A0;</mml:mtext></mml:mtd><mml:mtd><mml:mtext class="textrm" mathvariant="normal">for&#x000A0;</mml:mtext><mml:mi>t</mml:mi><mml:mo>&#x0003C;</mml:mo><mml:mn>0</mml:mn><mml:mo>.</mml:mo></mml:mtd></mml:mtr></mml:mtable></mml:mrow></mml:mtd></mml:mtr></mml:mtable></mml:math></disp-formula>
<p>For ease of discussion below, we denote this term as <inline-formula><mml:math id="M112"><mml:msubsup><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow><mml:mrow><mml:mtext>co</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula>, the remaining higher-order terms in Equation (33) as <inline-formula><mml:math id="M113"><mml:msubsup><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow><mml:mrow><mml:mtext>hi</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula>, and the summation of <inline-formula><mml:math id="M114"><mml:msubsup><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow><mml:mrow><mml:mtext>co</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula> and <inline-formula><mml:math id="M115"><mml:msubsup><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow><mml:mrow><mml:mtext>hi</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula> as the indirect term <inline-formula><mml:math id="M116"><mml:msubsup><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow><mml:mrow><mml:mtext>in</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula>. We can observe from Equation (34) that, if there is a difference between response time constants &#x003C4;<sub><italic>i</italic></sub> and &#x003C4;<sub><italic>j</italic></sub>, <inline-formula><mml:math id="M117"><mml:msubsup><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow><mml:mrow><mml:mtext>co</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula> will show an asymmetric property with respect to the axis <italic>t</italic> &#x0003D; 0. More precisely, if we assume &#x003C4;<sub><italic>i</italic></sub> &#x0003E; &#x003C4;<sub><italic>j</italic></sub>, <inline-formula><mml:math id="M118"><mml:msubsup><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow><mml:mrow><mml:mtext>co</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>&#x0003E;</mml:mo><mml:msubsup><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow><mml:mrow><mml:mtext>co</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mo>-</mml:mo><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula> for any <italic>t</italic> &#x0003E; 0. This asymmetry can be understood intuitively as follows. When there is a common input from neuron <italic>k</italic> into both neurons <italic>i</italic> and <italic>j</italic>, the neuron with the smaller response time constant (neuron <italic>j</italic>) will respond more rapidly than the neuron with the larger response time constant (neuron <italic>i</italic>) on average. Therefore, there is a higher likelihood that neuron <italic>j</italic> will fire before neuron <italic>i</italic>. In terms of the spike correlation, this implies that <inline-formula><mml:math id="M119"><mml:msubsup><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow><mml:mrow><mml:mtext>co</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>&#x0003E;</mml:mo><mml:msubsup><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi><mml:mi>i</mml:mi></mml:mrow><mml:mrow><mml:mtext>co</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>=</mml:mo><mml:msubsup><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow><mml:mrow><mml:mtext>co</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mo>-</mml:mo><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula> for any <italic>t</italic> &#x0003E; 0. We note that, as shown in Equation (34), the common inputs from both excitatory and inhibitory neurons into neuron <italic>i</italic> and neuron <italic>j</italic> induce a positive spike correlation between neuron <italic>i</italic> and neuron <italic>j</italic>. Therefore, if there is a significant difference between &#x003C4;<sub><italic>i</italic></sub> and &#x003C4;<sub><italic>j</italic></sub>, there will be a substantial asymmetry between the positive-<italic>t</italic> component of <inline-formula><mml:math id="M120"><mml:msubsup><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow><mml:mrow><mml:mtext>co</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula> and the corresponding negative-<italic>t</italic> component. This will have a profound impact on the structure of <italic>C</italic><sub><italic>ij</italic></sub>(<italic>t</italic>) as discussed below.</p>
<p>Now we study how different connectivity patterns affect the cross correlation structure between different neuronal populations for Cases I and II in Figures <xref ref-type="fig" rid="F1">1</xref>, <xref ref-type="fig" rid="F2">2</xref>. As an example, we pick neuron <italic>i</italic> from Population 3 and neuron <italic>j</italic> from Population 1. Note that, for Case I in Figure <xref ref-type="fig" rid="F1">1</xref>, neuron <italic>i</italic> (<italic>j</italic>) has a lower (higher) firing rate and a higher (lower) firing variability. Whereas, for Case II in Figure <xref ref-type="fig" rid="F2">2</xref>, neuron <italic>i</italic> (<italic>j</italic>) has a lower (higher) firing rate and a lower (higher) firing variability.</p>
<p>For Case I in Figure <xref ref-type="fig" rid="F1">1</xref>, we find that the net mean inputs to neuron <italic>j</italic> in Population 1 and neuron <italic>i</italic> in Population 3 are 31.45 and 11.55 mV, respectively. Note that the external mean inputs <inline-formula><mml:math id="M121"><mml:msubsup><mml:mrow><mml:mi>&#x003BC;</mml:mi></mml:mrow><mml:mrow><mml:mtext>ext</mml:mtext><mml:mo>,</mml:mo><mml:mi>j</mml:mi></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup></mml:math></inline-formula> and <inline-formula><mml:math id="M122"><mml:msubsup><mml:mrow><mml:mi>&#x003BC;</mml:mi></mml:mrow><mml:mrow><mml:mtext>ext</mml:mtext><mml:mo>,</mml:mo><mml:mi>i</mml:mi></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup></mml:math></inline-formula> are 40 and 20 mV, respectively. Since the net mean input is the summation of external mean input and recurrent input, the net recurrent inputs to neuron <italic>j</italic> and neuron <italic>i</italic> are &#x02212;8.55 mV and &#x02212;8.45 mV, respectively. This means the overall recurrent inputs to both neurons are inhibitory. In Case I, the standard deviation values for both neurons are 15.81 mV. With these net mean input values and standard deviation values, we compute the response kernel by using the reverse correlation method (see section Methods for more details). We find that &#x0222B;<italic>h</italic><sub><italic>j</italic></sub>(<italic>t</italic>)<italic>dt</italic> &#x0003E; &#x0222B;<italic>h</italic><sub><italic>i</italic></sub>(<italic>t</italic>)<italic>dt</italic> and &#x003C4;<sub><italic>j</italic></sub> &#x0003C; &#x003C4;<sub><italic>i</italic></sub>, which is evident in Figures <xref ref-type="fig" rid="F3">3C,D</xref>. From the left panels of Figure <xref ref-type="fig" rid="F5">5A</xref>, we can observe that (i) the positive-<italic>t</italic> component of <inline-formula><mml:math id="M123"><mml:msubsup><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow><mml:mrow><mml:mtext>di</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula> is larger than the corresponding negative-<italic>t</italic> component; and (ii) the positive-<italic>t</italic> component of <inline-formula><mml:math id="M124"><mml:msubsup><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow><mml:mrow><mml:mtext>in</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula> is slightly smaller than the corresponding negative-<italic>t</italic> component. To further understand how different connectivity patterns shape <inline-formula><mml:math id="M125"><mml:msubsup><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow><mml:mrow><mml:mtext>in</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula>, we split <inline-formula><mml:math id="M126"><mml:msubsup><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow><mml:mrow><mml:mtext>in</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula> into the common-input correlation <inline-formula><mml:math id="M127"><mml:msubsup><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow><mml:mrow><mml:mtext>co</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula> and the higher-order-connection correlation <inline-formula><mml:math id="M128"><mml:msubsup><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow><mml:mrow><mml:mtext>hi</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula>. It can be seen clearly from the right panels of Figure <xref ref-type="fig" rid="F5">5A</xref> that the positive-<italic>t</italic> component of <inline-formula><mml:math id="M129"><mml:msubsup><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow><mml:mrow><mml:mtext>hi</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula> is smaller than the corresponding negative-<italic>t</italic> component whereas the positive-<italic>t</italic> component of <inline-formula><mml:math id="M130"><mml:msubsup><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow><mml:mrow><mml:mtext>co</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula> is larger than the corresponding negative-<italic>t</italic> component. A combination of these two facts yields a small difference between the positive-<italic>t</italic> component of <inline-formula><mml:math id="M131"><mml:msubsup><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow><mml:mrow><mml:mtext>in</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula> and the corresponding negative-<italic>t</italic> component. We note that the asymmetry of <inline-formula><mml:math id="M132"><mml:msubsup><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow><mml:mrow><mml:mtext>co</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula> with respect to the axis <italic>t</italic> &#x0003D; 0 exhibited in the top right panel of Figure <xref ref-type="fig" rid="F5">5A</xref> is a consequence of &#x003C4;<sub><italic>j</italic></sub> &#x0003C; &#x003C4;<sub><italic>i</italic></sub>.</p>
<fig id="F5" position="float">
<label>Figure 5</label>
<caption><p>Decomposition of the spike cross correlation between neurons from the different populations before learning. Here, we choose neuron <italic>i</italic> from Population 3 and neuron <italic>j</italic> from Population 1. The connection strengths <italic>w</italic><sub><italic>ij</italic></sub> and <italic>w</italic><sub><italic>ji</italic></sub> are fixed at 0.5 mV. The top left, top right, bottom left and bottom right panels of both <bold>(A,B)</bold> correspond to the correlations associated with direct connections, common inputs, indirect connections, and higher-order connections, respectively. <bold>(A)</bold> Compared to neuron <italic>i</italic>, neuron <italic>j</italic> receives a larger mean and an identical variance of external inputs. This corresponds to Case I in Figure <xref ref-type="fig" rid="F1">1</xref>. <bold>(B)</bold> Compared to neuron <italic>i</italic>, neuron <italic>j</italic> receives a smaller mean but a larger variance of external inputs. This corresponds to Case II in Figure <xref ref-type="fig" rid="F2">2</xref>.</p></caption>
<graphic xlink:href="fncom-12-00001-g0005.tif"/>
</fig>
<p>For Case II in Figure <xref ref-type="fig" rid="F2">2</xref>, we find that the net mean inputs to neuron <italic>j</italic> in Population 1 and neuron <italic>i</italic> in Population 3 are 15.58 and 20.50 mV, respectively. Note that the external mean inputs <inline-formula><mml:math id="M133"><mml:msubsup><mml:mrow><mml:mi>&#x003BC;</mml:mi></mml:mrow><mml:mrow><mml:mtext>ext</mml:mtext><mml:mo>,</mml:mo><mml:mi>j</mml:mi></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup></mml:math></inline-formula> and <inline-formula><mml:math id="M134"><mml:msubsup><mml:mrow><mml:mi>&#x003BC;</mml:mi></mml:mrow><mml:mrow><mml:mtext>ext</mml:mtext><mml:mo>,</mml:mo><mml:mi>i</mml:mi></mml:mrow><mml:mrow><mml:mtext>p</mml:mtext></mml:mrow></mml:msubsup></mml:math></inline-formula> are 27.5 and 32.5 mV, respectively. Since the net mean input is the summation of external mean input and recurrent input, the net recurrent inputs to neuron <italic>j</italic> and neuron <italic>i</italic> are &#x02212;11.92 and &#x02212;12.00 mV, respectively. This means the overall recurrent inputs to both neurons also are inhibitory. In Case II, the standard deviation values for neuron <italic>j</italic> and neuron <italic>i</italic> are 31.6 and 11.1 mV, respectively. With these net mean input values and standard deviation values, we compute the response kernel by using the reverse correlation method (see section Methods for more details). We find that &#x0222B;<italic>h</italic><sub><italic>j</italic></sub>(<italic>t</italic>)<italic>dt</italic> &#x0003C; &#x0222B;<italic>h</italic><sub><italic>i</italic></sub>(<italic>t</italic>)<italic>dt</italic> and &#x003C4;<sub><italic>j</italic></sub> &#x0003E; &#x003C4;<sub><italic>i</italic></sub>, which is also evident in Figures <xref ref-type="fig" rid="F3">3C,D</xref>. From the left panels of Figure <xref ref-type="fig" rid="F5">5B</xref>, we can observe that (i) the positive-<italic>t</italic> component of <inline-formula><mml:math id="M135"><mml:msubsup><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow><mml:mrow><mml:mtext>di</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula> is again larger than the corresponding negative-<italic>t</italic> component; and (ii) the positive-<italic>t</italic> component of <inline-formula><mml:math id="M136"><mml:msubsup><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow><mml:mrow><mml:mtext>in</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula> is much smaller than the corresponding negative-<italic>t</italic> component. From the right panels of Figure <xref ref-type="fig" rid="F5">5B</xref>, we find that the positive-<italic>t</italic> components of both <inline-formula><mml:math id="M137"><mml:msubsup><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow><mml:mrow><mml:mtext>co</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula> and <inline-formula><mml:math id="M138"><mml:msubsup><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow><mml:mrow><mml:mtext>hi</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula> are smaller than the corresponding negative-<italic>t</italic> components. A combination of these two effects yields a large difference between the positive-<italic>t</italic> component of <inline-formula><mml:math id="M139"><mml:msubsup><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow><mml:mrow><mml:mtext>in</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula> and the corresponding negative-<italic>t</italic> component. Note that the fact that <inline-formula><mml:math id="M140"><mml:msubsup><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow><mml:mrow><mml:mtext>co</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>&#x0003C;</mml:mo><mml:msubsup><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow><mml:mrow><mml:mtext>co</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mo>-</mml:mo><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula> for <italic>t</italic> &#x0003E; 0 in Figure <xref ref-type="fig" rid="F5">5B</xref> is a consequence of the inequality &#x003C4;<sub><italic>j</italic></sub> &#x0003E; &#x003C4;<sub><italic>i</italic></sub>. In the next section, we will demonstrate the extent of asymmetry between the positive-<italic>t</italic> component of <inline-formula><mml:math id="M141"><mml:msubsup><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow><mml:mrow><mml:mtext>in</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>t</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula> and the corresponding negative-<italic>t</italic> component underlies the difference of network structures learned through STDP presented in Figures <xref ref-type="fig" rid="F1">1</xref>, <xref ref-type="fig" rid="F2">2</xref>.</p>
</sec>
<sec>
<title>Learning dynamics with spike correlation decomposition</title>
<p>Combining the STDP learning dynamics (Equations 29, 30) with the direct- and indirect-connection decomposition of the correlation structure in the previous section, we arrive at the following learning dynamics:</p>
<disp-formula id="E47"><label>(35)</label><mml:math id="M142"><mml:mtable class="eqnarray" columnalign="right center left"><mml:mtr><mml:mtd><mml:mfrac><mml:mrow><mml:mi>d</mml:mi><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mrow><mml:mi>d</mml:mi><mml:mi>t</mml:mi></mml:mrow></mml:mfrac><mml:mo>=</mml:mo><mml:msub><mml:mrow><mml:mi>A</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mo>-</mml:mo><mml:msub><mml:mrow><mml:mi>A</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:mo>&#x0002B;</mml:mo><mml:mi>B</mml:mi><mml:mo>,</mml:mo></mml:mtd></mml:mtr></mml:mtable></mml:math></disp-formula>
<disp-formula id="E48"><label>(36)</label><mml:math id="M143"><mml:mtable class="eqnarray" columnalign="right center left"><mml:mtr><mml:mtd><mml:mfrac><mml:mrow><mml:mi>d</mml:mi><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi><mml:mi>i</mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mrow><mml:mi>d</mml:mi><mml:mi>t</mml:mi></mml:mrow></mml:mfrac><mml:mo>=</mml:mo><mml:msub><mml:mrow><mml:mi>A</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:mo>-</mml:mo><mml:msub><mml:mrow><mml:mi>A</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mo>-</mml:mo><mml:mi>B</mml:mi><mml:mo>,</mml:mo></mml:mtd></mml:mtr></mml:mtable></mml:math></disp-formula>
<p>where <inline-formula><mml:math id="M144"><mml:msub><mml:mrow><mml:mi>A</mml:mi></mml:mrow><mml:mrow><mml:mi>&#x003B1;</mml:mi></mml:mrow></mml:msub><mml:mo>=</mml:mo><mml:msubsup><mml:mrow><mml:mo>&#x0222B;</mml:mo></mml:mrow><mml:mrow><mml:mn>0</mml:mn></mml:mrow><mml:mrow><mml:mi>&#x0221E;</mml:mi></mml:mrow></mml:msubsup><mml:msub><mml:mrow><mml:mi>A</mml:mi></mml:mrow><mml:mrow><mml:mo>&#x0002B;</mml:mo></mml:mrow></mml:msub><mml:mo class="qopname">exp</mml:mo><mml:mrow><mml:mo>{</mml:mo><mml:mrow><mml:mo>-</mml:mo><mml:mi>&#x003C4;</mml:mi><mml:mo>/</mml:mo><mml:msub><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mrow><mml:mo>&#x0002B;</mml:mo></mml:mrow></mml:msub></mml:mrow><mml:mo>}</mml:mo></mml:mrow><mml:msub><mml:mrow><mml:mi>h</mml:mi></mml:mrow><mml:mrow><mml:mi>&#x003B1;</mml:mi></mml:mrow></mml:msub><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mi>d</mml:mi><mml:mi>&#x003C4;</mml:mi></mml:math></inline-formula> for &#x003B1; &#x0003D; <italic>i, j</italic> and <inline-formula><mml:math id="M145"><mml:mi>B</mml:mi><mml:mo>=</mml:mo><mml:mo>&#x0222B;</mml:mo><mml:mi>L</mml:mi><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:msubsup><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow><mml:mrow><mml:mtext>in</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mi>d</mml:mi><mml:mi>&#x003C4;</mml:mi></mml:math></inline-formula>. In Equations (35, 36), the first and second terms on the RHS correspond to the effect of direct connections between neuron <italic>i</italic> and neuron <italic>j</italic>, whereas the third term corresponds to the effect of indirect connections between neuron <italic>i</italic> and neuron <italic>j</italic>. Note that here we have used the balanced STDP assumption, i.e., <italic>A</italic><sub>&#x0002B;</sub> &#x0003D; <italic>A</italic><sub>&#x02212;</sub> and &#x003C4;<sub>&#x0002B;</sub> &#x0003D; &#x003C4;<sub>&#x02212;</sub>.</p>
<p>As argued in Babadi and Abbott (<xref ref-type="bibr" rid="B1">2013</xref>), while a linear system of differential equations such as Equations (35, 36) cannot have more than two attractors, the hard lower and upper bounds enforced by the STDP learning rule, i.e., the condition <inline-formula><mml:math id="M146"><mml:mn>0</mml:mn><mml:mo>&#x02264;</mml:mo><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mo>&#x02264;</mml:mo><mml:msubsup><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mtext>EE</mml:mtext></mml:mrow><mml:mrow><mml:mtext>max</mml:mtext></mml:mrow></mml:msubsup></mml:math></inline-formula>, can lead to the following two attractors: <inline-formula><mml:math id="M147"><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mo>,</mml:mo><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi><mml:mi>i</mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>=</mml:mo><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:msubsup><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mtext>EE</mml:mtext></mml:mrow><mml:mrow><mml:mtext>max</mml:mtext></mml:mrow></mml:msubsup><mml:mo>,</mml:mo><mml:mn>0</mml:mn></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula> and <inline-formula><mml:math id="M148"><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mo>,</mml:mo><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi><mml:mi>i</mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mo>=</mml:mo><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mn>0</mml:mn><mml:mo>,</mml:mo><mml:msubsup><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mtext>EE</mml:mtext></mml:mrow><mml:mrow><mml:mtext>max</mml:mtext></mml:mrow></mml:msubsup></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula>. For the sake of discussion, we consider <inline-formula><mml:math id="M149"><mml:msub><mml:mrow><mml:mi>A</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mo>&#x0003E;</mml:mo><mml:msub><mml:mrow><mml:mi>A</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub></mml:math></inline-formula> below. Then, the line <inline-formula><mml:math id="M150"><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:mo>=</mml:mo><mml:mfrac><mml:mrow><mml:mn>1</mml:mn></mml:mrow><mml:mrow><mml:msub><mml:mrow><mml:mi>A</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub></mml:mrow></mml:mfrac><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:msub><mml:mrow><mml:mi>A</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mo>&#x0002B;</mml:mo><mml:mi>B</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula> has the slope greater than 1, as illustrated by the black dash line in Figure <xref ref-type="fig" rid="F6">6</xref>. If neglecting the indirect connection effect, that is, setting <italic>B</italic> &#x0003D; 0, we can observe from Equations (35, 36) that, for any (<italic>w</italic><sub><italic>ij</italic></sub>, <italic>w</italic><sub><italic>ji</italic></sub>) pair satisfying <inline-formula><mml:math id="M151"><mml:msub><mml:mrow><mml:mi>A</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mo>-</mml:mo><mml:msub><mml:mrow><mml:mi>A</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:mo>&#x0003E;</mml:mo><mml:mn>0</mml:mn></mml:math></inline-formula>, the pair will converge to <inline-formula><mml:math id="M152"><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:msubsup><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mtext>EE</mml:mtext></mml:mrow><mml:mrow><mml:mtext>max</mml:mtext></mml:mrow></mml:msubsup><mml:mo>,</mml:mo><mml:mn>0</mml:mn></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula>. Whereas, for any (<italic>w</italic><sub><italic>ij</italic></sub>, <italic>w</italic><sub><italic>ji</italic></sub>) pair satisfying <inline-formula><mml:math id="M153"><mml:msub><mml:mrow><mml:mi>A</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mo>-</mml:mo><mml:msub><mml:mrow><mml:mi>A</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:mo>&#x0003C;</mml:mo><mml:mn>0</mml:mn></mml:math></inline-formula>, the pair will converge to <inline-formula><mml:math id="M154"><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mn>0</mml:mn><mml:mo>,</mml:mo><mml:msubsup><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mtext>EE</mml:mtext></mml:mrow><mml:mrow><mml:mtext>max</mml:mtext></mml:mrow></mml:msubsup></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula>. This is illustrated in Figure <xref ref-type="fig" rid="F6">6A</xref> with the black dash line separating the two basins. In this case, the size of basin of the attractor <inline-formula><mml:math id="M155"><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:msubsup><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mtext>EE</mml:mtext></mml:mrow><mml:mrow><mml:mtext>max</mml:mtext></mml:mrow></mml:msubsup><mml:mo>,</mml:mo><mml:mn>0</mml:mn></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula> is larger than that of the attractor <inline-formula><mml:math id="M156"><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mn>0</mml:mn><mml:mo>,</mml:mo><mml:msubsup><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mtext>EE</mml:mtext></mml:mrow><mml:mrow><mml:mtext>max</mml:mtext></mml:mrow></mml:msubsup></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula>. Therefore, <italic>w</italic><sub><italic>ij</italic></sub> would be more likely to be potentiated, whereas <italic>w</italic><sub><italic>ji</italic></sub> would be more likely to be depressed.</p>
<fig id="F6" position="float">
<label>Figure 6</label>
<caption><p>Phase plane analysis of learning dynamics. This learning dynamics has two attractors &#x02014; (<italic>w</italic><sub><italic>ij</italic></sub>, <italic>w</italic><sub><italic>ji</italic></sub>) &#x0003D; (1, 0) and (<italic>w</italic><sub><italic>ij</italic></sub>, <italic>w</italic><sub><italic>ji</italic></sub>) &#x0003D; (0, 1). The black dashed line satisfies <inline-formula><mml:math id="M157"><mml:msub><mml:mrow><mml:mi>A</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mo>-</mml:mo><mml:msub><mml:mrow><mml:mi>A</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:mo>=</mml:mo><mml:mn>0</mml:mn></mml:math></inline-formula> while the red line satisfies <inline-formula><mml:math id="M158"><mml:msub><mml:mrow><mml:mi>A</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mo>-</mml:mo><mml:msub><mml:mrow><mml:mi>A</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:mo>-</mml:mo><mml:mi>B</mml:mi><mml:mo>=</mml:mo><mml:mn>0</mml:mn></mml:math></inline-formula>. We assume that <inline-formula><mml:math id="M159"><mml:msub><mml:mrow><mml:mi>A</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mo>&#x0003E;</mml:mo><mml:msub><mml:mrow><mml:mi>A</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub></mml:math></inline-formula>. Therefore, the slope of both the black dashed line and the red line is greater than 1. Any (<italic>w</italic><sub><italic>ij</italic></sub>, <italic>w</italic><sub><italic>ji</italic></sub>) pair in the area above the red line will converge to (0, 1) whereas any pair in the area below the red line will converge to (1, 0), as indicated by the blue arrows. Therefore, the area above the red line is the basin of the attractor (0, 1) whereas the area below the red line is the basin of the attractor (1, 0). Note that <italic>w</italic><sub><italic>ij</italic></sub> and <italic>w</italic><sub><italic>ji</italic></sub> evolve along the line <italic>w</italic><sub><italic>ij</italic></sub> &#x0002B; <italic>w</italic><sub><italic>ji</italic></sub> &#x0003D; Const as indicated by the arrows. <bold>(A)</bold> The size of basin of the attractor (0, 1) is smaller than that of the attractor (1, 0). In this case, synapses from the neuronal population to which neuron <italic>j</italic> belongs, to the neuronal population to which neuron <italic>i</italic> belongs, would be more likely to be strengthened, whereas the synapses with the opposite direction will be weakened. <bold>(B)</bold> The size of basin of the attractor (0, 1) is larger than that of the attractor (1, 0). In this case, synapses from the neuronal population to which neuron <italic>j</italic> belongs, to the neuronal population to which neuron <italic>i</italic> belongs, would be more likely to be weakened, whereas the synapses with the opposite direction will be strengthened.</p></caption>
<graphic xlink:href="fncom-12-00001-g0006.tif"/>
</fig>
<p>When the indirect connection effect is included, there exist two distinct regimes depending on the value of <italic>B</italic>. For the sake of discussion, we denote the size of basin of <inline-formula><mml:math id="M168"><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:msubsup><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mtext>EE</mml:mtext></mml:mrow><mml:mrow><mml:mtext>max</mml:mtext></mml:mrow></mml:msubsup><mml:mo>,</mml:mo><mml:mn>0</mml:mn></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula> (i.e., the area below the line <inline-formula><mml:math id="M169"><mml:msub><mml:mrow><mml:mi>A</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mo>-</mml:mo><mml:msub><mml:mrow><mml:mi>A</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:mo>&#x0002B;</mml:mo><mml:mi>B</mml:mi><mml:mo>=</mml:mo><mml:mn>0</mml:mn></mml:math></inline-formula>) as <italic>S</italic><sub><italic>ij</italic></sub> and the size of basin of <inline-formula><mml:math id="M170"><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mn>0</mml:mn><mml:mo>,</mml:mo><mml:msubsup><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mtext>EE</mml:mtext></mml:mrow><mml:mrow><mml:mtext>max</mml:mtext></mml:mrow></mml:msubsup></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow></mml:math></inline-formula> (i.e., the area above the line <inline-formula><mml:math id="M171"><mml:msub><mml:mrow><mml:mi>A</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mo>-</mml:mo><mml:msub><mml:mrow><mml:mi>A</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:mo>&#x0002B;</mml:mo><mml:mi>B</mml:mi><mml:mo>=</mml:mo><mml:mn>0</mml:mn></mml:math></inline-formula>) as <italic>S</italic><sub><italic>ji</italic></sub>. One is a regime in which <italic>S</italic><sub><italic>ij</italic></sub> &#x0003E; <italic>S</italic><sub><italic>ji</italic></sub>. This occurs when <italic>B</italic> &#x02265; 0 or <italic>B</italic> is negative but small. As illustrated in Figure <xref ref-type="fig" rid="F6">6A</xref>, the red line separates the two basins. In this regime, <italic>w</italic><sub><italic>ij</italic></sub> would be more likely to be potentiated whereas <italic>w</italic><sub><italic>ji</italic></sub> would be more likely to be depressed. For neuronal populations, the synapses from the neuron <italic>j</italic>&#x00027;s population to neuron <italic>i</italic>&#x00027;s population will have a higher likelihood to be strengthened. In contrast, the synapses with the opposite direction will be more likely to be weakened. The other is a regime in which <italic>S</italic><sub><italic>ij</italic></sub> &#x0003C; <italic>S</italic><sub><italic>ji</italic></sub>. This occurs when <italic>B</italic> is sufficiently negative, as indicated by the red line in Figure <xref ref-type="fig" rid="F6">6B</xref>. In this regime, <italic>w</italic><sub><italic>ij</italic></sub> would be more likely to be depressed whereas <italic>w</italic><sub><italic>ji</italic></sub> would be more likely to be potentiated. For neuronal populations, the synapses from neuron <italic>i</italic>&#x00027;s population to neuron <italic>j</italic>&#x00027;s population will have a higher likelihood to be strengthened, whereas the synapses with the opposite direction will be weakened with a larger probability.</p>
<p>We now examine the cases in Figures <xref ref-type="fig" rid="F1">1</xref>, <xref ref-type="fig" rid="F2">2</xref>. For Case I in Figure <xref ref-type="fig" rid="F1">1</xref> and Table <xref ref-type="table" rid="T1">1</xref> displays the corresponding values of <inline-formula><mml:math id="M172"><mml:msub><mml:mrow><mml:mi>A</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub></mml:math></inline-formula>, <inline-formula><mml:math id="M173"><mml:msub><mml:mrow><mml:mi>A</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub></mml:math></inline-formula>, <italic>B</italic>, <italic>S</italic><sub><italic>ij</italic></sub>, <italic>S</italic><sub><italic>ji</italic></sub> as well as the average connection strengths <inline-formula><mml:math id="M174"><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow></mml:msub></mml:math></inline-formula> and <inline-formula><mml:math id="M175"><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>j</mml:mi><mml:mi>i</mml:mi></mml:mrow></mml:msub></mml:math></inline-formula> after 10<sup>6</sup> s of learning. It can be seen clearly that for all the three (<italic>i, j</italic>) pairs, namely (<italic>i</italic> &#x02208; P<sub>2</sub>, <italic>j</italic> &#x02208; P<sub>1</sub>), (<italic>i</italic> &#x02208; P<sub>3</sub>, <italic>j</italic> &#x02208; P<sub>1</sub>) and (<italic>i</italic> &#x02208; P<sub>3</sub>, <italic>j</italic> &#x02208; P<sub>2</sub>), <inline-formula><mml:math id="M176"><mml:msub><mml:mrow><mml:mi>S</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mo>&#x0003E;</mml:mo><mml:mn>0</mml:mn><mml:mo>.</mml:mo><mml:mn>5</mml:mn><mml:msup><mml:mrow><mml:mtext>mV</mml:mtext></mml:mrow><mml:mrow><mml:mn>2</mml:mn></mml:mrow></mml:msup><mml:mo>&#x0003E;</mml:mo><mml:msub><mml:mrow><mml:mi>S</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi><mml:mi>i</mml:mi></mml:mrow></mml:msub></mml:math></inline-formula>, indicating that <inline-formula><mml:math id="M177"><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow></mml:msub></mml:math></inline-formula> for all these three pairs would be strengthened. Indeed, this strengthening is confirmed by the values of <inline-formula><mml:math id="M178"><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow></mml:msub></mml:math></inline-formula> presented in Table <xref ref-type="table" rid="T1">1</xref> (i.e., <inline-formula><mml:math id="M179"><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mo>&#x0003E;</mml:mo><mml:mn>0</mml:mn><mml:mo>.</mml:mo><mml:mn>5</mml:mn><mml:mtext>mV</mml:mtext><mml:mo>&#x0003E;</mml:mo><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>j</mml:mi><mml:mi>i</mml:mi></mml:mrow></mml:msub></mml:math></inline-formula> for all three pairs). To evaluate the contribution of common inputs and higher-order connections separately, we also include <italic>B</italic><sup>co</sup> (defined as <inline-formula><mml:math id="M180"><mml:mo>&#x0222B;</mml:mo><mml:mi>L</mml:mi><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:msubsup><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow><mml:mrow><mml:mtext>co</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mi>d</mml:mi><mml:mi>&#x003C4;</mml:mi></mml:math></inline-formula>) and <italic>B</italic><sup>hi</sup> (defined as <inline-formula><mml:math id="M181"><mml:mo>&#x0222B;</mml:mo><mml:mi>L</mml:mi><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:msubsup><mml:mrow><mml:mi>C</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow><mml:mrow><mml:mtext>hi</mml:mtext></mml:mrow></mml:msubsup><mml:mrow><mml:mo stretchy="false">(</mml:mo><mml:mrow><mml:mi>&#x003C4;</mml:mi></mml:mrow><mml:mo stretchy="false">)</mml:mo></mml:mrow><mml:mi>d</mml:mi><mml:mi>&#x003C4;</mml:mi></mml:math></inline-formula>) in Table <xref ref-type="table" rid="T1">1</xref>. We can observe that for all three pairs <italic>B</italic><sup>co</sup> &#x0003E; 0 whereas <italic>B</italic><sup>hi</sup> &#x0003C; 0. Since <italic>B</italic> &#x0003D; <italic>B</italic><sup>co</sup> &#x0002B; <italic>B</italic><sup>hi</sup>, this gives rise to a negative but small value of <italic>B</italic>, yielding a regime in which <italic>S</italic><sub><italic>ij</italic></sub> &#x0003E; <italic>S</italic><sub><italic>ji</italic></sub>. Since the connections from the populations of higher firing rate to those of lower firing rate are strengthened whereas the connections with the opposite direction are weakened, the rate of the populations of lower firing rate will increase whereas that of the populations of higher firing rate will decrease. The strengthening of connections from the populations of higher firing rate to those of lower firing rate leads to the increase of the mean of total inputs into the populations of lower firing rate. As illustrated in Figure <xref ref-type="fig" rid="F3">3B</xref>, when the variance of total inputs is fixed, the larger the mean total inputs, the smaller the CV. Therefore, this explains why in Figure <xref ref-type="fig" rid="F1">1</xref> the CV of the populations of lower firing rate, which is larger before learning, decreases after learning. Therefore, STDP here acts as a weak equalizer for both firing rate and firing variability, as demonstrated in Figure <xref ref-type="fig" rid="F1">1</xref>.</p>
<table-wrap position="float" id="T1">
<label>Table 1</label>
<caption><p>Parameters of learning dynamics (Equations 35, 36) and related quantities for Figure <xref ref-type="fig" rid="F1">1</xref>.</p></caption>
<table frame="hsides" rules="groups">
<thead><tr>
<th/>
<th valign="top" align="center"><bold><inline-formula><mml:math id="M160"><mml:msub><mml:mrow><mml:mi>A</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mo>&#x000D7;</mml:mo><mml:mn>1</mml:mn><mml:msup><mml:mrow><mml:mn>0</mml:mn></mml:mrow><mml:mrow><mml:mn>6</mml:mn></mml:mrow></mml:msup></mml:math></inline-formula> (ms<sup>&#x02212;1</sup>)</bold></th>
<th valign="top" align="center"><bold><inline-formula><mml:math id="M161"><mml:msub><mml:mrow><mml:mi>A</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mo>&#x000D7;</mml:mo><mml:mn>1</mml:mn><mml:msup><mml:mrow><mml:mn>0</mml:mn></mml:mrow><mml:mrow><mml:mn>6</mml:mn></mml:mrow></mml:msup></mml:math></inline-formula> (ms<sup>&#x02212;1</sup>)</bold></th>
<th valign="top" align="center"><bold><italic>B</italic> &#x000D7; 10<sup>6</sup> (ms<sup>&#x02212;1</sup>&#x000B7;mV)</bold></th>
<th valign="top" align="center"><bold><italic>B</italic><sup>co</sup> &#x000D7; 10<sup>6</sup> (ms<sup>&#x02212;1</sup>&#x000B7;mV)</bold></th>
<th valign="top" align="center"><bold><italic>B</italic><sup>hi</sup> &#x000D7; 10<sup>6</sup> (ms<sup>&#x02212;1</sup>&#x000B7;mV)</bold></th>
<th valign="top" align="center"><bold><italic>S</italic><sub><italic>ij</italic></sub> (mV<sup>2</sup>)</bold></th>
<th valign="top" align="center"><bold><inline-formula><mml:math id="M162"><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow></mml:msub></mml:math></inline-formula> (mV)</bold></th>
<th valign="top" align="center"><bold><inline-formula><mml:math id="M163"><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>j</mml:mi><mml:mi>i</mml:mi></mml:mrow></mml:msub></mml:math></inline-formula> (mV)</bold></th>
</tr>
</thead>
<tbody>
<tr>
<td valign="top" align="left">(<italic>i</italic> &#x02208; P<sub>2</sub>, <italic>j</italic> &#x02208; P<sub>1</sub>)</td>
<td valign="top" align="center">1.75</td>
<td valign="top" align="center">1.22</td>
<td valign="top" align="center">&#x02212;0.19</td>
<td valign="top" align="center">0.47</td>
<td valign="top" align="center">&#x02212;0.66</td>
<td valign="top" align="center">0.54</td>
<td valign="top" align="center">0.68</td>
<td valign="top" align="center">0.32</td>
</tr>
<tr>
<td valign="top" align="left">(<italic>i</italic> &#x02208; P<sub>3</sub>, <italic>j</italic> &#x02208; P<sub>1</sub>)</td>
<td valign="top" align="center">1.12</td>
<td valign="top" align="center">0.54</td>
<td valign="top" align="center">&#x02212;0.18</td>
<td valign="top" align="center">0.80</td>
<td valign="top" align="center">&#x02212;0.98</td>
<td valign="top" align="center">0.60</td>
<td valign="top" align="center">0.81</td>
<td valign="top" align="center">0.19</td>
</tr>
<tr>
<td valign="top" align="left">(<italic>i</italic> &#x02208; P<sub>3</sub>, <italic>j</italic> &#x02208; P<sub>2</sub>)</td>
<td valign="top" align="center">0.66</td>
<td valign="top" align="center">0.45</td>
<td valign="top" align="center">&#x02212;0.04</td>
<td valign="top" align="center">0.44</td>
<td valign="top" align="center">&#x02212;0.48</td>
<td valign="top" align="center">0.59</td>
<td valign="top" align="center">0.70</td>
<td valign="top" align="center">0.30</td>
</tr>
</tbody>
</table>
</table-wrap>
<p>For Case II in Figure <xref ref-type="fig" rid="F2">2</xref> and Table <xref ref-type="table" rid="T2">2</xref> shows that for all three (<italic>i, j</italic>) pairs, namely (<italic>i</italic> &#x02208; P<sub>2</sub>, <italic>j</italic> &#x02208; P<sub>1</sub>), (<italic>i</italic> &#x02208; P<sub>3</sub>, <italic>j</italic> &#x02208; P<sub>1</sub>) and (<italic>i</italic> &#x02208; P<sub>3</sub>, <italic>j</italic> &#x02208; P<sub>2</sub>), <inline-formula><mml:math id="M182"><mml:msub><mml:mrow><mml:mi>S</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mo>&#x0003C;</mml:mo><mml:mn>0</mml:mn><mml:mo>.</mml:mo><mml:mn>5</mml:mn><mml:mtext>&#x000A0;m</mml:mtext><mml:msup><mml:mrow><mml:mtext>V</mml:mtext></mml:mrow><mml:mrow><mml:mn>2</mml:mn></mml:mrow></mml:msup><mml:mo>&#x0003C;</mml:mo><mml:msub><mml:mrow><mml:mi>S</mml:mi></mml:mrow><mml:mrow><mml:mi>j</mml:mi><mml:mi>i</mml:mi></mml:mrow></mml:msub></mml:math></inline-formula> and <inline-formula><mml:math id="M183"><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mo>&#x0003C;</mml:mo><mml:mn>0</mml:mn><mml:mo>.</mml:mo><mml:mn>5</mml:mn><mml:mtext>&#x000A0;mV</mml:mtext><mml:mo>&#x0003C;</mml:mo><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>j</mml:mi><mml:mi>i</mml:mi></mml:mrow></mml:msub></mml:math></inline-formula>. Since the connections from the populations of higher firing rate to the populations of lower firing rate are weakened whereas the connections with the opposite direction are strengthened, the rate of the populations of higher firing rate will increase further whereas that of the populations of lower firing rate will decrease further. Meanwhile, the weakening of connections from the populations of higher firing rate to those of lower firing rate leads to the decrease of the mean of total inputs into the populations of lower firing rate. As illustrated in Figure <xref ref-type="fig" rid="F3">3B</xref>, the smaller the mean total inputs, the larger the CV. Therefore, the CV of these populations of lower firing rate, which is smaller before learning, increases after learning. Note that, in Case II, those populations of lower firing rate also have the lower firing variability. This explains why STDP acts as a weak equalizer of firing variability, instead of firing rate, in Figure <xref ref-type="fig" rid="F2">2</xref>.</p>
<table-wrap position="float" id="T2">
<label>Table 2</label>
<caption><p>Parameters of learning dynamics (Equations 35, 36) and related quantities for Figure <xref ref-type="fig" rid="F2">2</xref>.</p></caption>
<table frame="hsides" rules="groups">
<thead><tr>
<th/>
<th valign="top" align="center"><bold><inline-formula><mml:math id="M164"><mml:msub><mml:mrow><mml:mi>A</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mo>&#x000D7;</mml:mo><mml:mn>1</mml:mn><mml:msup><mml:mrow><mml:mn>0</mml:mn></mml:mrow><mml:mrow><mml:mn>6</mml:mn></mml:mrow></mml:msup></mml:math></inline-formula> (ms<sup>&#x02212;1</sup>)</bold></th>
<th valign="top" align="center"><bold><inline-formula><mml:math id="M165"><mml:msub><mml:mrow><mml:mi>A</mml:mi></mml:mrow><mml:mrow><mml:mi>i</mml:mi></mml:mrow></mml:msub><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>r</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>j</mml:mi></mml:mrow></mml:msub><mml:mo>&#x000D7;</mml:mo><mml:mn>1</mml:mn><mml:msup><mml:mrow><mml:mn>0</mml:mn></mml:mrow><mml:mrow><mml:mn>6</mml:mn></mml:mrow></mml:msup></mml:math></inline-formula> (ms<sup>&#x02212;1</sup>)</bold></th>
<th valign="top" align="center"><bold><italic>B</italic> &#x000D7; 10<sup>6</sup> (ms<sup>&#x02212;1</sup>&#x000B7;mV)</bold></th>
<th valign="top" align="center"><bold><italic>B</italic><sup>co</sup> &#x000D7; 10<sup>6</sup> (ms<sup>&#x02212;1</sup>&#x000B7;mV)</bold></th>
<th valign="top" align="center"><bold><italic>B</italic><sup>hi</sup> &#x000D7; 10<sup>6</sup> (ms<sup>&#x02212;1</sup> &#x000B7;mV)</bold></th>
<th valign="top" align="center"><bold><italic>S</italic><sub><italic>ij</italic></sub> (mV<sup>2</sup>)</bold></th>
<th valign="top" align="center"><bold><inline-formula><mml:math id="M166"><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>i</mml:mi><mml:mi>j</mml:mi></mml:mrow></mml:msub></mml:math></inline-formula> (mV)</bold></th>
<th valign="top" align="center"><bold><inline-formula><mml:math id="M167"><mml:msub><mml:mrow><mml:mover accent="false" class="mml-overline"><mml:mrow><mml:mi>w</mml:mi></mml:mrow><mml:mo accent="true">&#x000AF;</mml:mo></mml:mover></mml:mrow><mml:mrow><mml:mi>j</mml:mi><mml:mi>i</mml:mi></mml:mrow></mml:msub></mml:math></inline-formula> (mV)</bold></th>
</tr>
</thead>
<tbody>
<tr>
<td valign="top" align="left">(<italic>i</italic> &#x02208; P<sub>2</sub>, <italic>j</italic> &#x02208; P<sub>1</sub>)</td>
<td valign="top" align="center">0.92</td>
<td valign="top" align="center">0.71</td>
<td valign="top" align="center">&#x02212;0.15</td>
<td valign="top" align="center">&#x02212;0.11</td>
<td valign="top" align="center">&#x02212;0.04</td>
<td valign="top" align="center">0.45</td>
<td valign="top" align="center">0.45</td>
<td valign="top" align="center">0.55</td>
</tr>
<tr>
<td valign="top" align="left">(<italic>i</italic> &#x02208; P<sub>3</sub>, <italic>j</italic> &#x02208; P<sub>1</sub>)</td>
<td valign="top" align="center">1.28</td>
<td valign="top" align="center">0.63</td>
<td valign="top" align="center">&#x02212;0.55</td>
<td valign="top" align="center">&#x02212;0.53</td>
<td valign="top" align="center">&#x02212;0.02</td>
<td valign="top" align="center">0.32</td>
<td valign="top" align="center">0.30</td>
<td valign="top" align="center">0.70</td>
</tr>
<tr>
<td valign="top" align="left">(<italic>i</italic> &#x02208; P<sub>3</sub>, <italic>j</italic> &#x02208; P<sub>2</sub>)</td>
<td valign="top" align="center">1.15</td>
<td valign="top" align="center">0.73</td>
<td valign="top" align="center">&#x02212;0.40</td>
<td valign="top" align="center">&#x02212;0.45</td>
<td valign="top" align="center">0.05</td>
<td valign="top" align="center">0.34</td>
<td valign="top" align="center">0.32</td>
<td valign="top" align="center">0.68</td>
</tr>
</tbody>
</table>
</table-wrap>
<p>Furthermore, for Case II in Figure <xref ref-type="fig" rid="F2">2</xref>, by examining the contribution of common inputs and higher-order connections, we can find from Table <xref ref-type="table" rid="T2">2</xref> that, compared to <italic>B</italic><sup>co</sup>, <italic>B</italic><sup>hi</sup> is negligible for the pairs (<italic>i</italic> &#x02208; P<sub>2</sub>, <italic>j</italic> &#x02208; P<sub>1</sub>) and (<italic>i</italic> &#x02208; P<sub>3</sub>, <italic>j</italic> &#x02208; P<sub>1</sub>). Therefore, for these two pairs, it is the contribution of common-input correlations that yields a large negative value of <italic>B</italic> and the corresponding network structures in Figure <xref ref-type="fig" rid="F2">2</xref>. Note that the asymmetric property of common-input correlations arises from the difference of response time constants between different neurons. As demonstrated in Figure <xref ref-type="fig" rid="F3">3</xref>, the response time constant encodes the information of the firing variability of spiking activity. In this sense, we have established a direct link between firing variability and learning dynamics by analyzing the spike correlation structures, and have demonstrated explicitly how firing variability shapes the network structures learned through STDP.</p>
</sec>
</sec>
<sec sec-type="discussion" id="s4">
<title>Discussion</title>
<p>We have investigated how the high-order statistics of spiking activity affect the learning dynamics in a plastic LIF neuronal network. We have developed a self-consistent linear response theory, which incorporates the information of both firing rate and firing variability. By decomposing the spike correlation structure into the component associated with local direct connections and that associated with indirect connections, we have identified two distinct regimes regarding the network structures learned through STDP. In one regime, the contribution of the correlation associated with local direct connections dominates in STDP learning dynamics, leading to network structures consistent with the previous work (Morrison et al., <xref ref-type="bibr" rid="B24">2007</xref>; Kozloski and Cecchi, <xref ref-type="bibr" rid="B21">2010</xref>; Babadi and Abbott, <xref ref-type="bibr" rid="B1">2013</xref>). In the other regime, the contribution of the correlation associated with indirect connections, instead of local direct connections, dominates, yielding network structures at variance with the prediction by the simple firing rate theory. The dominance of the indirect-connection correlation mainly arises from the asymmetric common-input correlations, which is induced by the heterogeneity of firing variability across different neuronal populations. Therefore, our study highlights the importance of firing variability of spiking activity for the evolution of plastic neural networks.</p>
<p>In a series of work (Gilson et al., <xref ref-type="bibr" rid="B10">2009a</xref>,<xref ref-type="bibr" rid="B11">b</xref>,<xref ref-type="bibr" rid="B12">c</xref>,<xref ref-type="bibr" rid="B13">d</xref>, <xref ref-type="bibr" rid="B14">2010</xref>), the STDP learning dynamics in recurrent networks has been investigated with Hawkes processes. However, the response kernel of the Hawkes process used there is identical across neuronal populations, thus the effect of firing variability was not addressed. Here, we study the STDP learning dynamics with the LIF neuron, in which the effect of firing variability is addressed by varying the mean and variance of external inputs across different neuronal populations. In Babadi and Abbott (<xref ref-type="bibr" rid="B1">2013</xref>), the authors developed a theory to explain the formation of in- and out-hubs. However, the effect of firing variability has not been discussed. Our theory can be viewed as an extension of the work (Babadi and Abbott, <xref ref-type="bibr" rid="B1">2013</xref>). More recently, motif dynamics have been studied with linear response theory for one homogeneous population (Ocker et al., <xref ref-type="bibr" rid="B26">2015</xref>). Instead, our work focuses on the evolution of connection strengths across different neuronal populations.</p>
<p>We have focused here on the balanced STDP rule. However, it is straightforward to extend our analysis to the unbalanced case by including additional terms in learning dynamics (Equations 35, 36). An unbalanced STDP rule can be expected to act as a loop-generating or loop-eliminating mechanism, depending on whether the rule is potentiation-dominated or depression-dominated (Babadi and Abbott, <xref ref-type="bibr" rid="B1">2013</xref>). The neuron model we used here is the current-based LIF neuron. As we have demonstrated, the key property of a single neuron model to have an indirect-connection-dominated regime is that the firing variability of spiking activity can be encoded in the time constant of linear response kernel. Therefore, it can be expected that the indirect-connection-dominated regime can exist with other neuron models, such as conductance-based models, exponential integrate-and-fire models or more realistic Hodgkin-Huxley neurons. The connectivity here is of the all-to-all type. We can readily extend our self-consistent linear response theory to the sparsely connected network case. For larger network size, such as the network of 500 excitatory neurons and 500 inhibitory neurons, we have also found that there is an indirect-connection-dominated regime, provided that there is a significant difference of firing variability between different neuronal populations. In this work, the input statistics (i.e., input means and input variances) are kept constant, indicating that the circuit we studied receives the same sensory stimuli during the whole simulation. Under this assumption, the neural population activity can be simply quantified by mean firing rate and CV of ISI. It would be very interesting to study the learning dynamics when the stimulation periods are interleaved by spontaneous states. Another interesting issue to be addressed in the future work is how the high-order firing statistics of spiking activity affect the connectivity structures in a circuit with more complex learning rules, such as triplet STDP learning rule (Gjorgjieva et al., <xref ref-type="bibr" rid="B15">2011</xref>).</p>
<p>In conclusion, we have demonstrated that the introduction of heterogeneity of firing variability across different neuronal populations can give rise to counterintuitive network structures in a plastic neural circuit. Our work suggests that the high-order statistics of spiking activity can play an important role in shaping the connectivity patterns in our brain.</p>
</sec>
<sec id="s5">
<title>Author contributions</title>
<p>Conceived and designed the research, performed experiments, analyzed data, and wrote the paper: BM, DZ, and DC.</p>
<sec>
<title>Conflict of interest statement</title>
<p>The authors declare that the research was conducted in the absence of any commercial or financial relationships that could be construed as a potential conflict of interest.</p>
</sec>
</sec>
</body>
<back>
<ack><p>This work was supported by NYU Abu Dhabi Institute G1301 (BM, DZ, and DC), NSFC-11671259, NSFC-91630208, NSFC-11722107, Shanghai Rising-Star Program-15QA1402600 (DZ), NSFC 31571071, NSF DMS-1009575 (DC), Shanghai 14JC1403800, Shanghai 15JC1400104, SJTU-UM Collaborative Research Program (DZ and DC).</p>
</ack>
<sec sec-type="supplementary-material" id="s6">
<title>Supplementary material</title>
<p>The Supplementary Material for this article can be found online at: <ext-link ext-link-type="uri" xlink:href="https://www.frontiersin.org/articles/10.3389/fncom.2018.00001/full#supplementary-material">https://www.frontiersin.org/articles/10.3389/fncom.2018.00001/full#supplementary-material</ext-link></p>
<supplementary-material xlink:href="Presentation1.PDF" id="SM1" mimetype="application/pdf" xmlns:xlink="http://www.w3.org/1999/xlink"/>
</sec>
<ref-list>
<title>References</title>
<ref id="B1">
<citation citation-type="journal"><person-group person-group-type="author"><name><surname>Babadi</surname> <given-names>B.</given-names></name> <name><surname>Abbott</surname> <given-names>L. F.</given-names></name></person-group> (<year>2013</year>). <article-title>Pairwise analysis can account for network structures arising from spike-timing dependent plasticity</article-title>. <source>PLoS Comput. Biol.</source> <volume>9</volume>:<fpage>e1002906</fpage>. <pub-id pub-id-type="doi">10.1371/journal.pcbi.1002906</pub-id><pub-id pub-id-type="pmid">23436986</pub-id></citation></ref>
<ref id="B2">
<citation citation-type="journal"><person-group person-group-type="author"><name><surname>Babadi</surname> <given-names>B.</given-names></name> <name><surname>Abbott</surname> <given-names>L. F.</given-names></name></person-group> (<year>2016</year>). <article-title>Stability and competition in multi-spike models of spike-timing dependent plasticity</article-title>. <source>PLoS Comput. Biol.</source> <volume>12</volume>:<fpage>e1004750</fpage>. <pub-id pub-id-type="doi">10.1371/journal.pcbi.1004750</pub-id><pub-id pub-id-type="pmid">26939080</pub-id></citation></ref>
<ref id="B3">
<citation citation-type="journal"><person-group person-group-type="author"><name><surname>Bi</surname> <given-names>G. Q.</given-names></name> <name><surname>Poo</surname> <given-names>M. M.</given-names></name></person-group> (<year>1998</year>). <article-title>Synaptic modifications in cultured hippocampal neurons: dependence on spike timing, synaptic strength, and postsynaptic cell type</article-title>. <source>J. Neurosci.</source> <volume>18</volume>, <fpage>10464</fpage>&#x02013;<lpage>10472</lpage>. <pub-id pub-id-type="pmid">9852584</pub-id></citation></ref>
<ref id="B4">
<citation citation-type="journal"><person-group person-group-type="author"><name><surname>Bi</surname> <given-names>Z.</given-names></name> <name><surname>Zhou</surname> <given-names>C.</given-names></name></person-group> (<year>2016</year>). <article-title>Spike pattern structure influences synaptic efficacy variability under stdp and synaptic homeostasis. I: spike generating models on converging motifs</article-title>. <source>Front. Comput. Neurosci.</source> <volume>10</volume>:<fpage>14</fpage>. <pub-id pub-id-type="doi">10.3389/fncom.2016.00014</pub-id><pub-id pub-id-type="pmid">26941634</pub-id></citation></ref>
<ref id="B5">
<citation citation-type="journal"><person-group person-group-type="author"><name><surname>Caporale</surname> <given-names>N.</given-names></name> <name><surname>Dan</surname> <given-names>Y.</given-names></name></person-group> (<year>2008</year>). <article-title>Spike timing-dependent plasticity: a hebbian learning rule</article-title>. <source>Annu. Rev. Neurosci.</source> <volume>31</volume>, <fpage>25</fpage>&#x02013;<lpage>46</lpage>. <pub-id pub-id-type="doi">10.1146/annurev.neuro.31.060407.125639</pub-id><pub-id pub-id-type="pmid">18275283</pub-id></citation></ref>
<ref id="B6">
<citation citation-type="journal"><person-group person-group-type="author"><name><surname>Clopath</surname> <given-names>C.</given-names></name> <name><surname>B&#x000FC;sing</surname> <given-names>L.</given-names></name> <name><surname>Vasilaki</surname> <given-names>E.</given-names></name> <name><surname>Gerstner</surname> <given-names>W.</given-names></name></person-group> (<year>2010</year>). <article-title>Connectivity reflects coding: a model of voltage-based STDP with homeostasis</article-title>. <source>Nat. Neurosci.</source> <volume>13</volume>, <fpage>344</fpage>&#x02013;<lpage>352</lpage>. <pub-id pub-id-type="doi">10.1038/nn.2479</pub-id><pub-id pub-id-type="pmid">20098420</pub-id></citation></ref>
<ref id="B7">
<citation citation-type="book"><person-group person-group-type="author"><name><surname>Dayan</surname> <given-names>P.</given-names></name> <name><surname>Abbott</surname> <given-names>L. F.</given-names></name></person-group> (<year>2001</year>). <source>Theoretical Neuroscience</source>, <volume>vol. 806</volume>. <publisher-loc>Cambridge, MA</publisher-loc>: <publisher-name>MIT Press</publisher-name>.</citation></ref>
<ref id="B8">
<citation citation-type="journal"><person-group person-group-type="author"><name><surname>Fourcaud</surname> <given-names>N.</given-names></name> <name><surname>Brunel</surname> <given-names>N.</given-names></name></person-group> (<year>2002</year>). <article-title>Dynamics of the firing probability of noisy integrate-and-fire neurons</article-title>. <source>Neural Comput.</source> <volume>14</volume>, <fpage>2057</fpage>&#x02013;<lpage>2110</lpage>. <pub-id pub-id-type="doi">10.1162/089976602320264015</pub-id><pub-id pub-id-type="pmid">12184844</pub-id></citation></ref>
<ref id="B9">
<citation citation-type="journal"><person-group person-group-type="author"><name><surname>Gilson</surname> <given-names>M.</given-names></name></person-group> (<year>2010</year>). <article-title>STDP in recurrent neuronal networks</article-title>. <source>Front. Comput. Neurosci.</source> <volume>4</volume>:<fpage>23</fpage>. <pub-id pub-id-type="doi">10.3389/fncom.2010.00023</pub-id><pub-id pub-id-type="pmid">20890448</pub-id></citation></ref>
<ref id="B10">
<citation citation-type="journal"><person-group person-group-type="author"><name><surname>Gilson</surname> <given-names>M.</given-names></name> <name><surname>Burkitt</surname> <given-names>A. N.</given-names></name> <name><surname>Grayden</surname> <given-names>D. B.</given-names></name> <name><surname>Thomas</surname> <given-names>D. A.</given-names></name> <name><surname>van Hemmen</surname> <given-names>J. L.</given-names></name></person-group> (<year>2009a</year>). <article-title>Emergence of network structure due to spike-timing-dependent plasticity in recurrent neuronal networks. I. Input selectivity-strengthening correlated input pathways</article-title>. <source>Biol. Cybern.</source> <volume>101</volume>, <fpage>81</fpage>&#x02013;<lpage>102</lpage>. <pub-id pub-id-type="doi">10.1007/s00422-009-0319-4</pub-id><pub-id pub-id-type="pmid">19536560</pub-id></citation></ref>
<ref id="B11">
<citation citation-type="journal"><person-group person-group-type="author"><name><surname>Gilson</surname> <given-names>M.</given-names></name> <name><surname>Burkitt</surname> <given-names>A. N.</given-names></name> <name><surname>Grayden</surname> <given-names>D. B.</given-names></name> <name><surname>Thomas</surname> <given-names>D. A.</given-names></name> <name><surname>van Hemmen</surname> <given-names>J. L.</given-names></name></person-group> (<year>2009b</year>). <article-title>Emergence of network structure due to spike-timing-dependent plasticity in recurrent neuronal networks. II. Input selectivity-symmetry breaking</article-title>. <source>Biol. Cybern.</source> <volume>101</volume>, <fpage>103</fpage>&#x02013;<lpage>114</lpage>. <pub-id pub-id-type="doi">10.1007/s00422-009-0320-y</pub-id><pub-id pub-id-type="pmid">19536559</pub-id></citation></ref>
<ref id="B12">
<citation citation-type="journal"><person-group person-group-type="author"><name><surname>Gilson</surname> <given-names>M.</given-names></name> <name><surname>Burkitt</surname> <given-names>A. N.</given-names></name> <name><surname>Grayden</surname> <given-names>D. B.</given-names></name> <name><surname>Thomas</surname> <given-names>D. A.</given-names></name> <name><surname>van Hemmen</surname> <given-names>J. L.</given-names></name></person-group> (<year>2009c</year>). <article-title>Emergence of network structure due to spike-timing-dependent plasticity in recurrent neuronal networks III: partially connected neurons driven by spontaneous activity</article-title>. <source>Biol. Cybern.</source> <volume>101</volume>, <fpage>411</fpage>&#x02013;<lpage>426</lpage>. <pub-id pub-id-type="doi">10.1007/s00422-009-0343-4</pub-id><pub-id pub-id-type="pmid">19937071</pub-id></citation></ref>
<ref id="B13">
<citation citation-type="journal"><person-group person-group-type="author"><name><surname>Gilson</surname> <given-names>M.</given-names></name> <name><surname>Burkitt</surname> <given-names>A. N.</given-names></name> <name><surname>Grayden</surname> <given-names>D. B.</given-names></name> <name><surname>Thomas</surname> <given-names>D. A.</given-names></name> <name><surname>van Hemmen</surname> <given-names>J. L.</given-names></name></person-group> (<year>2009d</year>). <article-title>Emergence of network structure due to spike-timing-dependent plasticity in recurrent neuronal networks IV</article-title>. <source>Biol. Cybern.</source> <volume>101</volume>, <fpage>427</fpage>&#x02013;<lpage>444</lpage>. <pub-id pub-id-type="doi">10.1007/s00422-009-0346-1</pub-id><pub-id pub-id-type="pmid">19937070</pub-id></citation></ref>
<ref id="B14">
<citation citation-type="journal"><person-group person-group-type="author"><name><surname>Gilson</surname> <given-names>M.</given-names></name> <name><surname>Burkitt</surname> <given-names>A. N.</given-names></name> <name><surname>Grayden</surname> <given-names>D. B.</given-names></name> <name><surname>Thomas</surname> <given-names>D. A.</given-names></name> <name><surname>van Hemmen</surname> <given-names>J. L.</given-names></name></person-group> (<year>2010</year>). <article-title>Emergence of network structure due to spike-timing-dependent plasticity in recurrent neuronal networks V: self-organization schemes and weight dependence</article-title>. <source>Biol. Cybern.</source> <volume>103</volume>, <fpage>365</fpage>&#x02013;<lpage>386</lpage>. <pub-id pub-id-type="doi">10.1007/s00422-010-0405-7</pub-id><pub-id pub-id-type="pmid">20882297</pub-id></citation></ref>
<ref id="B15">
<citation citation-type="journal"><person-group person-group-type="author"><name><surname>Gjorgjieva</surname> <given-names>J.</given-names></name> <name><surname>Clopath</surname> <given-names>C.</given-names></name> <name><surname>Audet</surname> <given-names>J.</given-names></name> <name><surname>Pfister</surname> <given-names>J.-P.</given-names></name></person-group> (<year>2011</year>). <article-title>A triplet spike-timing-dependent plasticity model generalizes the bienenstock-cooper-munro rule to higher-order spatiotemporal correlations</article-title>. <source>Proc. Natl. Acad. Sci. U.S.A.</source> <volume>108</volume>, <fpage>19383</fpage>&#x02013;<lpage>19388</lpage>. <pub-id pub-id-type="doi">10.1073/pnas.1105933108</pub-id><pub-id pub-id-type="pmid">22080608</pub-id></citation></ref>
<ref id="B16">
<citation citation-type="journal"><person-group person-group-type="author"><name><surname>Grytskyy</surname> <given-names>D.</given-names></name> <name><surname>Tetzlaff</surname> <given-names>T.</given-names></name> <name><surname>Diesmann</surname> <given-names>M.</given-names></name> <name><surname>Helias</surname> <given-names>M.</given-names></name></person-group> (<year>2013</year>). <article-title>A unified view on weakly correlated recurrent networks</article-title>. <source>Front. Comput. Neurosci.</source> <volume>7</volume>:<fpage>131</fpage>. <pub-id pub-id-type="doi">10.3389/fncom.2013.00131</pub-id><pub-id pub-id-type="pmid">24151463</pub-id></citation></ref>
<ref id="B17">
<citation citation-type="journal"><person-group person-group-type="author"><name><surname>Hawkes</surname> <given-names>A. G.</given-names></name></person-group> (<year>1971a</year>). <article-title>Point spectra of some mutually exciting point processes</article-title>. <source>J. R. Stat. Soc. Ser. B (Methodol.)</source> <volume>33</volume>, <fpage>438</fpage>&#x02013;<lpage>443</lpage>.</citation></ref>
<ref id="B18">
<citation citation-type="journal"><person-group person-group-type="author"><name><surname>Hawkes</surname> <given-names>A. G.</given-names></name></person-group> (<year>1971b</year>). <article-title>Spectra of some self-exciting and mutually exciting point processes</article-title>. <source>Biometrika</source> <volume>58</volume>, <fpage>83</fpage>&#x02013;<lpage>90</lpage>. <pub-id pub-id-type="doi">10.1093/biomet/58.1.83</pub-id></citation></ref>
<ref id="B19">
<citation citation-type="journal"><person-group person-group-type="author"><name><surname>Helias</surname> <given-names>M.</given-names></name> <name><surname>Tetzlaff</surname> <given-names>T.</given-names></name> <name><surname>Diesmann</surname> <given-names>M.</given-names></name></person-group> (<year>2013</year>). <article-title>Echoes in correlated neural systems</article-title>. <source>New J. Phys.</source> <volume>15</volume>:<fpage>023002</fpage>. <pub-id pub-id-type="doi">10.1088/1367-2630/15/2/023002</pub-id></citation></ref>
<ref id="B20">
<citation citation-type="journal"><person-group person-group-type="author"><name><surname>Hu</surname> <given-names>Y.</given-names></name> <name><surname>Trousdale</surname> <given-names>J.</given-names></name> <name><surname>Josic</surname> <given-names>K.</given-names></name> <name><surname>Shea-Brown</surname> <given-names>E.</given-names></name></person-group> (<year>2013</year>). <article-title>Motif statistics and spike correlations in neuronal networks</article-title>. <source>J. Stat. Mech. Theory Exp.</source> <volume>2013</volume>:<fpage>P03012</fpage>. <pub-id pub-id-type="doi">10.1088/1742-5468/2013/03/P03012</pub-id></citation></ref>
<ref id="B21">
<citation citation-type="journal"><person-group person-group-type="author"><name><surname>Kozloski</surname> <given-names>J.</given-names></name> <name><surname>Cecchi</surname> <given-names>G. A.</given-names></name></person-group> (<year>2010</year>). <article-title>A theory of loop formation and elimination by spike timing-dependent plasticity</article-title>. <source>Front. Neural Circuits</source> <volume>4</volume>:<fpage>7</fpage>. <pub-id pub-id-type="doi">10.3389/fncir.2010.00007</pub-id><pub-id pub-id-type="pmid">20407633</pub-id></citation></ref>
<ref id="B22">
<citation citation-type="journal"><person-group person-group-type="author"><name><surname>Litwin-Kumar</surname> <given-names>A.</given-names></name> <name><surname>Doiron</surname> <given-names>B.</given-names></name></person-group> (<year>2014</year>). <article-title>Formation and maintenance of neuronal assemblies through synaptic plasticity</article-title>. <source>Nat. Commun.</source> <volume>5</volume>:<fpage>5319</fpage>. <pub-id pub-id-type="doi">10.1038/ncomms6319</pub-id><pub-id pub-id-type="pmid">25395015</pub-id></citation></ref>
<ref id="B23">
<citation citation-type="journal"><person-group person-group-type="author"><name><surname>Markram</surname> <given-names>H.</given-names></name> <name><surname>L&#x000FC;bke</surname> <given-names>J.</given-names></name> <name><surname>Frotscher</surname> <given-names>M.</given-names></name> <name><surname>Sakmann</surname> <given-names>B.</given-names></name></person-group> (<year>1997</year>). <article-title>Regulation of synaptic efficacy by coincidence of postsynaptic APs and EPSPs</article-title>. <source>Science</source> <volume>275</volume>, <fpage>213</fpage>&#x02013;<lpage>215</lpage>. <pub-id pub-id-type="doi">10.1126/science.275.5297.213</pub-id><pub-id pub-id-type="pmid">8985014</pub-id></citation></ref>
<ref id="B24">
<citation citation-type="journal"><person-group person-group-type="author"><name><surname>Morrison</surname> <given-names>A.</given-names></name> <name><surname>Aertsen</surname> <given-names>A.</given-names></name> <name><surname>Diesmann</surname> <given-names>M.</given-names></name></person-group> (<year>2007</year>). <article-title>Spike-timing-dependent plasticity in balanced random networks</article-title>. <source>Neural Comput.</source> <volume>19</volume>, <fpage>1437</fpage>&#x02013;<lpage>1467</lpage>. <pub-id pub-id-type="doi">10.1162/neco.2007.19.6.1437</pub-id><pub-id pub-id-type="pmid">17444756</pub-id></citation></ref>
<ref id="B25">
<citation citation-type="journal"><person-group person-group-type="author"><name><surname>Morrison</surname> <given-names>A.</given-names></name> <name><surname>Diesmann</surname> <given-names>M.</given-names></name> <name><surname>Gerstner</surname> <given-names>W.</given-names></name></person-group> (<year>2008</year>). <article-title>Phenomenological models of synaptic plasticity based on spike timing</article-title>. <source>Biol. Cybern.</source> <volume>98</volume>, <fpage>459</fpage>&#x02013;<lpage>478</lpage>. <pub-id pub-id-type="doi">10.1007/s00422-008-0233-1</pub-id><pub-id pub-id-type="pmid">18491160</pub-id></citation></ref>
<ref id="B26">
<citation citation-type="journal"><person-group person-group-type="author"><name><surname>Ocker</surname> <given-names>G. K.</given-names></name> <name><surname>Litwin-Kumar</surname> <given-names>A.</given-names></name> <name><surname>Doiron</surname> <given-names>B.</given-names></name></person-group> (<year>2015</year>). <article-title>Self-organization of microcircuits in networks of spiking neurons with plastic synapses</article-title>. <source>PLoS Comput. Biol.</source> <volume>11</volume>:<fpage>e1004458</fpage>. <pub-id pub-id-type="doi">10.1371/journal.pcbi.1004458</pub-id><pub-id pub-id-type="pmid">26291697</pub-id></citation></ref>
<ref id="B27">
<citation citation-type="journal"><person-group person-group-type="author"><name><surname>Ostojic</surname> <given-names>S.</given-names></name> <name><surname>Brunel</surname> <given-names>N.</given-names></name> <name><surname>Hakim</surname> <given-names>V.</given-names></name></person-group> (<year>2009</year>). <article-title>How connectivity, background activity, and synaptic properties shape the cross-correlation between spike trains</article-title>. <source>J. Neurosci.</source> <volume>29</volume>, <fpage>10234</fpage>&#x02013;<lpage>10253</lpage>. <pub-id pub-id-type="doi">10.1523/JNEUROSCI.1275-09.2009</pub-id><pub-id pub-id-type="pmid">19692598</pub-id></citation></ref>
<ref id="B28">
<citation citation-type="journal"><person-group person-group-type="author"><name><surname>Pernice</surname> <given-names>V.</given-names></name> <name><surname>Staude</surname> <given-names>B.</given-names></name> <name><surname>Cardanobile</surname> <given-names>S.</given-names></name> <name><surname>Rotter</surname> <given-names>S.</given-names></name></person-group> (<year>2012</year>). <article-title>Recurrent interactions in spiking networks with arbitrary topology</article-title>. <source>Phys. Rev. E</source> <volume>85</volume>:<fpage>031916</fpage>. <pub-id pub-id-type="doi">10.1103/PhysRevE.85.031916</pub-id><pub-id pub-id-type="pmid">22587132</pub-id></citation></ref>
<ref id="B29">
<citation citation-type="journal"><person-group person-group-type="author"><name><surname>Rao</surname> <given-names>R. P.</given-names></name> <name><surname>Sejnowski</surname> <given-names>T. J.</given-names></name></person-group> (<year>2001</year>). <article-title>Spike-timing-dependent hebbian plasticity as temporal difference learning</article-title>. <source>Neural Comput.</source> <volume>13</volume>, <fpage>2221</fpage>&#x02013;<lpage>2237</lpage>. <pub-id pub-id-type="doi">10.1162/089976601750541787</pub-id><pub-id pub-id-type="pmid">11570997</pub-id></citation></ref>
<ref id="B30">
<citation citation-type="journal"><person-group person-group-type="author"><name><surname>Ravid Tannenbaum</surname> <given-names>N.</given-names></name> <name><surname>Burak</surname> <given-names>Y.</given-names></name></person-group> (<year>2016</year>). <article-title>Shaping neural circuits by high order synaptic interactions</article-title>. <source>PLoS Comput. Biol.</source> <volume>12</volume>:<fpage>e1005056</fpage>. <pub-id pub-id-type="doi">10.1371/journal.pcbi.1005056</pub-id><pub-id pub-id-type="pmid">27517461</pub-id></citation></ref>
<ref id="B31">
<citation citation-type="journal"><person-group person-group-type="author"><name><surname>Schuecker</surname> <given-names>J.</given-names></name> <name><surname>Diesmann</surname> <given-names>M.</given-names></name> <name><surname>Helias</surname> <given-names>M.</given-names></name></person-group> (<year>2015</year>). <article-title>Modulated escape from a metastable state driven by colored noise</article-title>. <source>Phys. Rev. E</source> <volume>92</volume>:<fpage>052119</fpage>. <pub-id pub-id-type="doi">10.1103/PhysRevE.92.052119</pub-id><pub-id pub-id-type="pmid">26651659</pub-id></citation></ref>
<ref id="B32">
<citation citation-type="journal"><person-group person-group-type="author"><name><surname>Song</surname> <given-names>S.</given-names></name> <name><surname>Miller</surname> <given-names>K. D.</given-names></name> <name><surname>Abbott</surname> <given-names>L. F.</given-names></name></person-group> (<year>2000</year>). <article-title>Competitive hebbian learning through spike-timing-dependent synaptic plasticity</article-title>. <source>Nat. Neurosci.</source> <volume>3</volume>, <fpage>919</fpage>&#x02013;<lpage>926</lpage>. <pub-id pub-id-type="doi">10.1038/78829</pub-id><pub-id pub-id-type="pmid">10966623</pub-id></citation></ref>
<ref id="B33">
<citation citation-type="journal"><person-group person-group-type="author"><name><surname>Trousdale</surname> <given-names>J.</given-names></name> <name><surname>Hu</surname> <given-names>Y.</given-names></name> <name><surname>Shea-Brown</surname> <given-names>E.</given-names></name> <name><surname>Josic</surname> <given-names>K.</given-names></name></person-group> (<year>2012</year>). <article-title>Impact of network structure and cellular response on spike time correlations</article-title>. <source>PLoS Comput. Biol.</source> <volume>8</volume>:<fpage>e1002408</fpage>. <pub-id pub-id-type="doi">10.1371/journal.pcbi.1002408</pub-id><pub-id pub-id-type="pmid">22457608</pub-id></citation></ref>
<ref id="B34">
<citation citation-type="journal"><person-group person-group-type="author"><name><surname>Zenke</surname> <given-names>F.</given-names></name> <name><surname>Agnes</surname> <given-names>E. J.</given-names></name> <name><surname>Gerstner</surname> <given-names>W.</given-names></name></person-group> (<year>2015</year>). <article-title>Diverse synaptic plasticity mechanisms orchestrated to form and retrieve memories in spiking neural networks</article-title>. <source>Nat. Commun.</source> <volume>6</volume>:<fpage>6922</fpage>. <pub-id pub-id-type="doi">10.1038/ncomms7922</pub-id><pub-id pub-id-type="pmid">25897632</pub-id></citation></ref>
</ref-list>
</back>
</article>