Signal Processing 76 (1999) 43 } 60 Growing Gaussian mixtures network for classi"cation applications Jose H L. Alba*, Laura Docm H o, Domingo Docampo, Oscar W. Ma H rquez Departamento de Tecnologn & as de las Comunicaciones, E.T.S.I. Telecomunicaco & n, Campus Universitario de Vigo, 36200 Vigo, Spain Received 26 March 1998; received in revised form 1 December 1998 Abstract In this paper a method to automatically generate a Gaussian mixture classi"er is presented. The growing process is based on the iterative addition of Gaussian nodes. Each iteration takes place in two sequential steps: "rst, using the EM algorithm, we maximize the likelihood of the data under the current con"guration of the classi"er; then, a new Gaussian node is added to the class which most improves the discriminant capabilities of the network. Growth control is imposed by means of a complexity penalizing term and a discriminant MMI condition. The classical EM algorithm for Gaussian mixtures is also extended to jointly include labeled and unlabeled data. We report some arti"cial experiments that show the utility of this extension and the reliability of the proposed growing technique. We also report results of the Growing Gaussian Mixtures Network on terrain classi"cation over a Landsat-TM image using di!erent restrictions on the covariance matrix of the Gaussian mixtures. Comparisons in classi"cation performance with a set of MLP neural networks are provided.  1999 Elsevier Science B.V. All rights reserved. Zusammenfassung In diesem Artikel wird ein automatisches Verfahren zur Erzeugung eines &Gaussian-Mixture'-Klassi"kators vorge- stellt. Der Erzeugungsprozess basiert auf dem iterativen Hinzufu K gen von Gauss'schen Knoten. Jede Iteration besteht aus zwei sequentiellen Schritten: zuerst wird mittels des EM-Algorithmus die Erzeugungswahrscheinlichkeit der Daten unter der aktuellen Kon"guration des Klassi"kators maximiert; anschliessend wird ein neuer Gauss'scher Knoten zu der- jenigen Klasse hinzugefu K gt, die die diskriminativen Fa K higkeiten des Netzwerkes am deutlichsten erho K ht. Das Wachstum wird durch einen Term der Komplexita K t bestraft sowie durch eine diskriminative MMI-Bedingung gesteuert. Der klassische EM-Algorithmus wird ausserdem erweitert, um gekennzeichnete und nicht gekennzeichnete Daten gemeinsam zu verwenden. Wir berichten u K ber einige ku K nstliche Experimente, die die Anwendung dieser Erweiterung und die Zuverla K ssigkeit der vorgeschlagenen Wachstumstechnik belegen. Wir berichten ebenfalls u K ber Ergebnisse des &wachsen- den Gauss'schen Mixtur Netzwerks' fu K r Terrainerkennung mit Landsat-TM Bildern unter Verwendung von verschiedenen Einschra K nkungen fu K r die Kovarianzmatrix der Gauss'schen Mixturen. Es werden Vergleiche des Klassi"kationsleistungen zu denen einer Gruppe von neuronalen Netzen (Mehrschichtenperzeptron, MLP) geliefert.  1999 Elsevier Science B.V. All rights reserved. Re 2 sume 2 Cet article pre H sente une me H thode pour ge H ne H rer automatiquement un classi"cateur de me H lange de gaussiennes. La proce H dure d'accroissement est base H e sur l'addition ite H rative de noeuds gaussiens. Chaque ite H ration est divise H e en deux * Corresponding author. Tel.: #34-86-812126; fax: #34-86-812116; e-mail: jalba@tsc.uvigo.es 0165-1684/99/$ - see front matter  1999 Elsevier Science B.V. All rights reserved. PII: S 0 1 6 5 - 1 6 8 4 ( 9 8 ) 0 0 2 4 6 - 1