“Data exchange” service offers individual users metadata transfer in several different formats. Citation formats are offered for transfers in texts as for the transfer into internet pages. Citation formats include permanent links that guarantee access to cited sources. For use are commonly structured metadata schemes : Dublin Core xml and ETUB-MS xml, local adaptation of international ETD-MS scheme intended for use in academic documents.
Export
Šuković, Goran
Generisanje topologije neuronske mreže primjenom sistema Lindenmajera i genetskih algoritama
Autorstvo-Nekomercijalno-Deliti pod istim uslovima 3.0 Srbija (CC BY-NC-SA 3.0)
Academic metadata
Phd. theses
Prirodno-matematičke nauke
doktor nauka - matematičke nauke
Univerzitet Crne Gore
Prirodno-matematički fakultet
Studijski program Računarske nauke
Other Theses Metadata
Generating neural network topologies using Lindenmayer systems and genetic algorithms
[G. Šuković]
PDF/A (117 pages)
Računarske nauke / Mašinsko učenje - Computer Science / Machine Learning
Datum odbrane: 18.12.2014.
Tomašević, Milo (mentor)
Stanišić, Predrag, 1972- (član komisije)
Mosurović, Milenko, 1968- (član komisije)
Tomović, Savo, 1983- (član komisije)
Popović, Aleksandar (član komisije)
U ovoj tezi predstavljen je jedan metod automatizovanog generisanja topologija modularnih neuronskih mreža. Metod kombinuje više bioloških paradigmi. Povećanje hardverske moći utiče i na veću dostupnost neuronskih mreža ša velikim brojem neuroria. Veličina tih mreža nije ograničena, pa će biti sve teža kreirati ih i razumjeti njihovo funkcionisanje. Iz tog razloga je važno pronaći metod opisa topologije mreže koji će biti skalabilan. Modularne neuronske mreže pokazuju- bolje performanse od odgovarajućih nemodularnih mreža. Ljudski mozak se može posmatrati kao modularna mreža, pa je predloženi metod zasnovan na prirodnim procesima u mozgu. Sistemi Lindemanajera (L-Sistemi) se koriste kao mehanizam kodiranja, da bi modelirali recepte rasta prisutne kpd biljaka.
Genetski algoritmi su evolucioni lokalni metod traženja u prostoru mrežnih topologij a. Koji imaju veliku dimenziju. Oni predstavljaju jedan od optimizaciomh metoda koji še mogu primjeniti Čak i kada ne postoji analitičko znanje o problemu, pa su pogodni za automatizovano traženje odgovarajućih topologija mreže. Svaka individua (hromozom) u populaciji predstavlja kodirani opis neke topologije. Cilj je da odredimo optimalnu topologiju za dati problem. Kvalitet mreže se izračunava u procesu obučavanja mreže i prevodi se u funkciju kvaliteta, na osnovu koje genetski algoritam određuje vjerovatnoću selekcije individua za operaciju ukrštanja. Usko grlo ovog procesa je, očigledno, vrijeme obučavanja mreže za svaku topologiju.
Neuronska mreža se obučava jednom varijantom metoda „građijentnog spusta" - algoritmom prostiranja greške unazad („back propagation"). Uvođenje heuristika za dodavanje modula i neurona u toku procesa obučavanja poboljšava brzinu konvergencije i kvalitet samog rješenja. Mogućnosti predloženog metoda su istražene kroz više eksperimenata. Rezultati pokazuju da metod zaista generiše modularne mreže i da modulamost u procesu kreiranja mreže može poboljšati njihove krajnje performanse. Generisane mreže za probleme čiji skupovi za obučavanje nisu veliki imaju bolje performanse od odgovarajućih višeslojnih neuronskih mreža. Pored boljih performansi, mođularizacija ima efekat i da su šeme kodiranje skalabilnije, Čime se smanjuje prostor koj pretražuje genetski algoritam.
In this thesis, a method for automatic generation of modular artificial neural network topologies is proposed. A number of biological parađigms are incorporated in the method. As Computer hardware becomes more powerful, large artificial neural networks will become feasible. It will become increasingly difficult to design them and unđerstand their internal operation There will be no limit to the size of the networks. That is why it is very important to find design methođs that are scalable to large network sizes. Modular artificial neural networks have a better performance than their non-modular counterparts. The human brain can also be seen as a modular neural network, and the proposed method is based on the natural process in the brain. Lindenmayer's system (L-systems) are used as a indirect encoding scheme in order to model the kind of recipes that nature uses in biological growth of plants.
Genetic algorithms are used as a evolutionary local search method in high-dimensional space of network topologies. Тћеу are an optimization method that can operate even if no analytič knowledge about the problem is available. Therefore, it is a technique that is suitable to automatically search for appropriate network topologies. Each individual in a population contains a encoded description of a network topology and the goal is to find the optimal topology for a given task. Final quality of a network is determineđ after training it on the training data and the performance of the traineđ network is transformed into a fitness measure. Fitness measure is used by the genetic algorithm to ćakulate the selection probabilities of individual. The obvious bottleneck of proposed method is the long training time that is needed to evaluate each network topology.
Neural network is traineđ using a gradient descent algorithm known as back propagation algorithm. Introducing heuristics for adding modules or nodes during the training process improves the speed of Convergence and quality of solution.
A number of experiments have been done to investigate the possibles of the proposed method. Results show drat the method does find modular networks, and using modularity when designing artificial neural networks can improve their performance. Generated networks on small and međium size problems outperforms standard: multilayer feeđ forward networks. Besides the fact that designing modular network topologies specific for a task will result in better performances, modularization also allows for a more scalable coding scheme. In order to minimize the search space of the genetic algorithm, it is very important to keep the size of the encoding as small as possible.
Vještačke neuronske mreže, sistemi Lindenmajera, genetski algoritmi, direktno i indirektno kodiranje
Artificial neural networks, Lindenmayer systems, genetic
algorithms, direct and indirect encoding
004.85(043.3)
Serbian
8825613
Tekst.
U ovoj tezi predstavljen je jedan metod automatizovanog generisanja topologija modularnih neuronskih mreža. Metod kombinuje više bioloških paradigmi. Povećanje hardverske moći utiče i na veću dostupnost neuronskih mreža ša velikim brojem neuroria. Veličina tih mreža nije ograničena, pa će biti sve teža kreirati ih i razumjeti njihovo funkcionisanje. Iz tog razloga je važno pronaći metod opisa topologije mreže koji će biti skalabilan. Modularne neuronske mreže pokazuju- bolje performanse od odgovarajućih nemodularnih mreža. Ljudski mozak se može posmatrati kao modularna mreža, pa je predloženi metod zasnovan na prirodnim procesima u mozgu. Sistemi Lindemanajera (L-Sistemi) se koriste kao mehanizam kodiranja, da bi modelirali recepte rasta prisutne kpd biljaka.
Genetski algoritmi su evolucioni lokalni metod traženja u prostoru mrežnih topologij a. Koji imaju veliku dimenziju. Oni predstavljaju jedan od optimizaciomh metoda koji še mogu primjeniti Čak i kada ne postoji analitičko znanje o problemu, pa su pogodni za automatizovano traženje odgovarajućih topologija mreže. Svaka individua (hromozom) u populaciji predstavlja kodirani opis neke topologije. Cilj je da odredimo optimalnu topologiju za dati problem. Kvalitet mreže se izračunava u procesu obučavanja mreže i prevodi se u funkciju kvaliteta, na osnovu koje genetski algoritam određuje vjerovatnoću selekcije individua za operaciju ukrštanja. Usko grlo ovog procesa je, očigledno, vrijeme obučavanja mreže za svaku topologiju.
Neuronska mreža se obučava jednom varijantom metoda „građijentnog spusta" - algoritmom prostiranja greške unazad („back propagation"). Uvođenje heuristika za dodavanje modula i neurona u toku procesa obučavanja poboljšava brzinu konvergencije i kvalitet samog rješenja. Mogućnosti predloženog metoda su istražene kroz više eksperimenata. Rezultati pokazuju da metod zaista generiše modularne mreže i da modulamost u procesu kreiranja mreže može poboljšati njihove krajnje performanse. Generisane mreže za probleme čiji skupovi za obučavanje nisu veliki imaju bolje performanse od odgovarajućih višeslojnih neuronskih mreža. Pored boljih performansi, mođularizacija ima efekat i da su šeme kodiranje skalabilnije, Čime se smanjuje prostor koj pretražuje genetski algoritam.