Bøker av Moisés Laurence

Con l'obiettivo di migliorare l'apprendimento delle reti neurali profonde, questo lavoro propone la rete CollabNet, che consiste in un nuovo metodo di inserimento di nuovi strati nascosti nelle reti neurali di tipo Deep FeedForward, ispirato agli autoencoder impilati. La nuova forma di inserimento è considerata collaborativa e mira a migliorare l'addestramento rispetto agli approcci basati sugli autoencoder impilati. In questo nuovo approccio, l'inserimento dello strato avviene in modo coordinato e graduale, mantenendo sotto il controllo del progettista l'influenza di questo nuovo strato nell'addestramento e non più in modo casuale e stocastico come nell'impilamento tradizionale. La collaborazione proposta in questo lavoro consiste nel far sì che il nuovo strato inserito continui l'apprendimento ottenuto dagli strati precedenti, senza danneggiare l'apprendimento globale della rete. In questo modo, il nuovo strato inserito collabora con gli strati precedenti e l'ensemble lavora in modo più allineato con l'apprendimento. CollabNet è stato testato su un database di un problema reale, ottenendo risultati soddisfacenti e promettenti.

Aiming to improve the learning of deep neural networks, this paper proposes the CollabNet network, which consists of a new method for inserting new hidden layers in Deep FeedForward neural networks, inspired by stacked autoencoders. The new way of insertion is considered collaborative and seeks training improvement over approaches based on stacked autoencoders. In this new approach, the layer insertion is performed in a coordinated and gradual way, keeping under the designer's control the influence of this new layer on training, and no longer in a random and stochastic way as in traditional stacking. The collaboration proposed in this work consists in making the learning of the newly inserted layer continue the learning obtained by the previous layers, without harming the network's global learning. In this way, the newly inserted layer collaborates with the previous layers and the ensemble works in a more aligned way with the learning. CollabNet was tested on a database of a real problem, obtaining satisfactory and promising results.

Visant à améliorer l'apprentissage des réseaux neuronaux profonds, ce travail propose le réseau CollabNet, qui consiste en une nouvelle méthode d'insertion de nouvelles couches cachées dans les réseaux neuronaux de type Deep FeedForward, inspirée des autoencodeurs empilés. La nouvelle forme d'insertion est considérée comme collaborative et cherche à améliorer l'apprentissage par rapport aux approches basées sur les autoencodeurs empilés. Dans cette nouvelle approche, l'insertion de la couche est effectuée de manière coordonnée et graduelle, en gardant sous le contrôle du concepteur l'influence de cette nouvelle couche dans l'apprentissage, et non plus de manière aléatoire et stochastique comme dans l'empilement traditionnel. La collaboration proposée dans ce travail consiste à faire en sorte que la couche nouvellement insérée poursuive l'apprentissage obtenu par les couches précédentes, sans nuire à l'apprentissage global du réseau. De cette manière, la couche nouvellement insérée collabore avec les couches précédentes et l'ensemble fonctionne de manière plus alignée avec l'apprentissage. CollabNet a été testé sur une base de données d'un problème réel et a obtenu des résultats satisfaisants et prometteurs.

V dannoj rabote, naprawlennoj na uluchshenie obucheniq glubokih nejronnyh setej, predlagaetsq set' CollabNet, kotoraq sostoit iz nowogo metoda wstawki nowyh skrytyh sloew w nejronnye seti tipa Deep FeedForward, wdohnowlennogo stekowymi awtoänkoderami. Nowaq forma wstawki schitaetsq sowmestnoj i naprawlena na uluchshenie obucheniq po srawneniü s podhodami, osnowannymi na stekowyh awtoänkoderah. V ätom nowom podhode wstawka sloq wypolnqetsq skoordinirowanno i postepenno, sohranqq pod kontrolem razrabotchika wliqnie ätogo nowogo sloq na obuchenie, a ne sluchajnym i stohasticheskim obrazom, kak pri tradicionnom summirowanii. Vzaimodejstwie, predlozhennoe w dannoj rabote, zaklüchaetsq w tom, chtoby zastawit' nowyj wstawlennyj sloj prodolzhat' obuchenie, poluchennoe predyduschimi sloqmi, bez uscherba dlq global'nogo obucheniq seti. Takim obrazom, wnow' wstawlennyj sloj sotrudnichaet s predyduschimi sloqmi, i ansambl' rabotaet bolee soglasowanno s obucheniem. CollabNet byla protestirowana na baze dannyh real'noj problemy, poluchiw udowletworitel'nye i mnogoobeschaüschie rezul'taty.

Mit dem Ziel, das Lernen von tiefen neuronalen Netzen zu verbessern, wird in dieser Arbeit das CollabNet-Netz vorgeschlagen, das aus einer neuen Methode zur Einfügung neuer versteckter Schichten in neuronale Netze vom Typ Deep FeedForward besteht, die von gestapelten Autocodierern inspiriert ist. Die neue Form der Einfügung wird als kollaborativ betrachtet und soll die Ausbildung im Vergleich zu Ansätzen, die auf gestapelten Autocodierern basieren, verbessern. Bei diesem neuen Ansatz erfolgt das Einfügen von Schichten auf koordinierte und schrittweise Weise, wobei der Einfluss dieser neuen Schicht auf das Training unter der Kontrolle des Konstrukteurs bleibt und nicht mehr zufällig und stochastisch wie beim traditionellen Stacking. Die in dieser Arbeit vorgeschlagene Zusammenarbeit besteht darin, die neu eingefügte Schicht dazu zu bringen, das von den vorherigen Schichten erreichte Lernen fortzusetzen, ohne das globale Lernen des Netzes zu beeinträchtigen. Auf diese Weise arbeitet die neu eingefügte Schicht mit den vorherigen Schichten zusammen, und das Ensemble arbeitet auf eine besser auf das Lernen abgestimmte Weise. CollabNet wurde an einer Datenbank mit einem realen Problem getestet und erzielte dabei zufriedenstellende und vielversprechende Ergebnisse.

Visando aprimorar o aprendizado de redes neurais profundas, neste trabalho é proposta a rede CollabNet, que consiste em um novo método de inserção de novas camadas escondidas em redes neurais do tipo Deep FeedForward, inspirado no empilhamento de autoencoders. A nova forma de inserção é considerada colaborativa e busca a melhoria do treinamento em relação a abordagens baseadas em autoencoders empilhados. Nesta nova abordagem, a inserção de camada é realizada de maneira coordenada e gradual, mantendo sob controle do projetista a influência dessa nova camada no treinamento e não mais de modo aleatório e estocástico como no empilhamento tradicional. A colaboração proposta nesse trabalho consiste em fazer com que o aprendizado da camada recém inserida continue o aprendizado obtido pelas camadas anteriores, sem prejuízo ao aprendizado global da rede. Desta forma, a camada recém inserida colabora com as camadas anteriores e o conjunto trabalha de forma mais alinhada ao aprendizado. A CollabNet foi testada em uma base de dados de um problema real, obtendo resultados satisfatórios e promissores.