Use este identificador para citar ou linkar para este item: http://repositorio.ufes.br/handle/10/9693
Título: Generalização do extreme learning machine regularizado para problemas de múltiplas saídas
Autor(es): Inaba, Fernando Kentaro
Orientador: Salles, Evandro Ottoni Teatini
Data do documento: 28-Fev-2018
Editor: Universidade Federal do Espírito Santo
Resumo: Extreme Learning Machine (ELM) recentemente teve sua popularidade aumentada e com isso tem sido aplicada com sucesso em diversas áreas do conhecimento. No estado da arte, variações usando regularização se tornaram comuns na área de ELM. A regularização mais comum é a norma `2, que melhora a generalização, mas resulta em uma rede densa. Regularização baseada em elastic net também foi proposta, mas geralmente restrita a problemas de regressão de uma saída e classificação binária. Este trabalho tem por objetivo propor uma generalização do ELM regularizado para problemas de classificação multiclasse e regressão multitarget. Nesse sentido, observou-se que o uso da norma `2,1 e de Frobenius proporcionaram uma generalização adequada. Como consequência, foi possível demonstrar que as técnicas R-ELM e OR-ELM, consagradas na literatura, são casos particulares dos métodos propostos nesta Tese, denominados de GR-ELM e GOR-ELM, respectivamente. Além disso, outra proposta deste trabalho é trazer um algoritmo alternativo para o GRELM, o DGR-ELM, para tratar dados que são naturalmente distribuídos. O alternating direction method of multipliers (ADMM) é usado para resolver os problemas de otimização resultantes. Message passing interface (MPI) no estilo de programação single program, multiple data (SPMD) é escolhido para implementar o DGR-ELM. Vários experimentos são conduzidos para avaliar os métodos propostos. Os experimentos realizados mostram que o GR-ELM, DGR-ELM e GOR-ELM possuem desempenho similar quando comparados ao R-ELM e OR-ELM, embora, em geral, uma estrutura mais compacta é obtida na rede resultante.
Extreme Learning Machine (ELM) has recently gained popularity and has been successfully applied to a wide range of applications. Variants using regularization are now a common practice in the state of the art in the ELM field. The most commonly used regularization is the `2 norm, which improves generalization but results in a dense network. Regularization based on the elastic net has also been proposed but mainly applied to regression and binary classification problems. In this thesis, it is proposed a generalization of regularized ELM (RELM) for multiclass classification and multitarget regression problems. The use of `2,1 and Frobenius norm provided an appropriate generalization. Consequently, it was possible to show that R-ELM and OR-ELM are a particular case of the methods proposed in this thesis, termed GR-ELM and GOR-ELM, respectively. Furthermore, another method proposed in this thesis is the DGR-ELM, which is an alternative method of GR-ELM for dealing with data that are naturally distributed. The alternating direction method of multipliers (ADMM) is the algorithm used to solve the resulting optimization problems. Message Passing Interface (MPI) in a Single Program, Multiple Data (SPMD) programming style is chosen for implementing DGR-ELM. Extensive experiments are conducted to evaluate the proposed method. The conducted experiments show that GR-ELM, DGR-ELM, and GOR-ELM have similar training and testing performance when compared to R-ELM and OR-ELM, although usually inferior testing time is obtained with our method due to the compactness of the resulting network.
URI: http://repositorio.ufes.br/handle/10/9693
Aparece nas coleções:PPGEE - Teses de doutorado

Arquivos associados a este item:
Arquivo TamanhoFormato 
tese_11838_TeseFernandoKentaro20180704-82519.pdf1.32 MBAdobe PDFVisualizar/Abrir


Os itens no repositório estão protegidos por copyright, com todos os direitos reservados, salvo quando é indicado o contrário.