Ricardo Ribeiro Gudwin - Profile on Academia.edu (original) (raw)

Papers by Ricardo Ribeiro Gudwin

Journal of intelligent & robotic systems, Feb 23, 2024

Recent advancements in AI and deep learning have created a growing demand for artificial agents c... more Recent advancements in AI and deep learning have created a growing demand for artificial agents capable of performing tasks within increasingly complex environments. To address the challenges associated with continuous learning constraints and knowledge capacity in this context, cognitive architectures inspired by human cognition have gained significance. This study contributes to existing research by introducing a cognitive-attentional system employing a constructive neural network-based learning approach for continuous acquisition of procedural knowledge. We replace an incremental tabular Reinforcement Learning algorithm with a constructive neural network deep reinforcement learning mechanism for continuous sensorimotor knowledge acquisition, thereby enhancing the overall learning capacity. The primary emphasis of this modification centers on optimizing memory utilization and reducing training time. Our study presents a learning strategy that amalgamates deep reinforcement learning with procedural learning, mirroring the incremental learning process observed in human sensorimotor development. This approach is embedded within the CONAIM cognitive-attentional architecture, leveraging the cognitive tools of CST. The proposed learning mechanism allows the model to dynamically create and modify elements in its procedural memory, facilitating the reuse of previously acquired functions and procedures. Additionally, it equips the model with the capability to combine learned elements to effectively adapt to complex scenarios. A constructive neural network was employed, initiating with an initial hidden layer comprising one neuron. However, it possesses the capacity to adapt its internal architecture in response to its performance in procedural and sensorimotor learning tasks, inserting new hidden layers or neurons. Experimentation conducted through simulations involving a humanoid robot demonstrates the successful resolution of tasks that were previously unsolved through incremental knowledge acquisition. Throughout the training phase, the constructive agent achieved a minimum of 40% greater rewards and executed 8% more actions when compared to other agents. In the subsequent testing phase, the constructive agent exhibited a 15% increase in the number of actions performed in contrast to its counterparts.

An Episode Tracker for Cognitive Architectures

Studies in computational intelligence, 2024

A Public/Private Partnership for the Implementation of a Job Guarantee Program

Sustainable development goals series, Dec 31, 2022

Communication depends on the production and interpretation of representations, but the study of r... more Communication depends on the production and interpretation of representations, but the study of representational processes underlying communication finds little discussion in computational experiments. Here we present an experiment on the emergence of both interpretation and production of multiple representations, with multiple referents, where referential processes can be tracked. Results show the dynamics of semiotic processes during the evolution of artificial creatures and the emergence of a variety of semiotic processes, such as sign production, sign interpretation, and sign-object-interpretant relations.

The symbol grounding problem is one of the leading questions in artificial intelligence. Albeit m... more The symbol grounding problem is one of the leading questions in artificial intelligence. Albeit many solution proposals have been presented, this problem remains open. In this work, we present a proposal to symbol grounding, based on semiotics and biology. We developed, following principles from the Peircean sign theory and inspired by neuroethological constrains, an Artificial Life experiment to simulate the emergence of symbolic communication among artificial creatures. Results show that symbols can emerge from the operation of simple mechanisms of associative learning of indexical relations between external stimuli. Resumo. O problema de fundamentação do símbolo é uma das principais questões da área de inteligência artificial. Embora várias propostas tenham sido apresentadas para sua solução, este ainda é um problema em aberto. Neste trabalho, apresentamos uma proposta para a fundamentação do símbolo baseada na semiótica e na biologia. Desenvolvemos, seguindo princípios da teoria sígnica de Peirce e inspirados por requisitos neuroetológicos, um experimento para a simulação da aquisição de símbolos por criaturas artificiais. Resultados mostram que símbolos podem emergir a partir da operação de mecanismos simples de aprendizado associativo de relações indexicais entre estímulos externos.

O uso de emoções como metáfora computacional para o desenvolvimento de sistemas de controle para ... more O uso de emoções como metáfora computacional para o desenvolvimento de sistemas de controle para agentes autônomos tem recebido diversas contribuições na literatura recente. Nesta dissertação apresentamos uma arquitetura para um Agente Emocional Hedonista, inspirada parcialmente em diversas destas contribuições. Para tanto, desenvolvemos um controlador que confere comportamento autônomo a uma criatura artificial. Duas implementações foram realizadas: uma baseada em um algoritmo heurístico e a outra, em um algoritmo genético. Ambas as implementações consideram dois níveis de controle hierárquico: um nível de controle direto e um nível de decisão de metas. Desenvolveu-se um simulador para a criatura artificial onde diferentes controladores podem ser acoplados à criatura, por meio da rede, rodando como processos separados. Utilizou-se em ambos os casos "Medo", "Fome" e "Curiosidade" como metáforas emocionais. O trabalho sinaliza, entre outros resultados, a adequação dessas metáforas como design patterns para a construção do comportamento do agente, sugerindo um novo paradigma de programação no desenvolvimento de agentes, que substitui uma programação orientada a casos de uso por uma programação orientada a propósitos.

Executive functions for Learning and decision-making in a bio-inspired cognitive architecture = Funções executivas para aprendizado e tomada de decisão em uma arquitetura cognitiva bio-inspirada

O objetivo deste trabalho e o desenvolvimento de funcoes executivas para uma arquitetura cognitiv... more O objetivo deste trabalho e o desenvolvimento de funcoes executivas para uma arquitetura cognitiva bioinspirada baseada em codelets. Um desafio que toda criatura (seja ela artificial ou biologica) enfrenta e definir qual a proxima acao a ser tomada, a cada instante de tempo, em funcao da percepcao de um determinado ambiente. Essa decisao pode ser definida por um algoritmo que sempre repete as mesmas decisoes em funcao de uma determinada situacao, ou pode ser uma decisao adaptativa, que utiliza de mecanismos de aprendizagem para assumir decisoes distintas, em funcao das experiencias em situacoes passadas. Neste trabalho, buscou-se a integracao dos processos de tomada de decisao deliberativos e mecanismos de aprendizado por reforco em um mesmo framework. Estas funcoes sao conhecidas na literatura de ciencias cognitivas como funcoes executivas. A solucao aqui proposta insere-se dentro do contexto de nosso grupo de pesquisa, onde se busca o desenvolvimento de uma arquitetura cognitiva baseada em codelets. Nesta perspectiva, uma das contribuicoes deste trabalho e desenvolver algoritmos e implementacoes computacionais dotando a arquitetura cognitiva desenvolvida pelo grupo de funcoes executivas diversas, que poderao ser utilizadas para implementar solucoes complexas com granularidade arbitraria. As funcoes de tomada de decisao deliberativa foram implementada na forma de uma rede de comportamentos modificada, enquanto que o componente de aprendizado foi desenvolvido na forma de um novo algoritmo (GLAS - Gated-Learning Action Selection) baseado em stimulus gating e inspirado em modelos de neurociencia computacional conhecidos da literatura. Este framework foi validado em problemas de robotica movel e de selecao de acao por aprendizado por reforco. A arquitetura cognitiva sendo desenvolvida, incrementada com as contribuicoes deste trabalho, tem o potencial de servir de base para futuros trabalhos de pesquisa nas areas de inteligencia artificial, robotica e cognicao artificial. Abstract

This work presents a cognitive agent based on the CONAIM model (Conscious Attention-Based Integra... more This work presents a cognitive agent based on the CONAIM model (Conscious Attention-Based Integrated Model) that can incrementally learn procedures for carrying out experiments inspired by the first three sensorymotor substages of Jean Piaget's Theory. The agent was implemented using the Cognitive Systems Toolkit (CST) and validated with mobile robots in simulated environments. Results shown that this approach can solve complex object tracking experiments incrementally.

Building a Cognitive Twin Using a Distributed Cognitive System and an Evolution Strategy

Social Science Research Network, 2022

This work presents an analysis of the neuroenergetic networks (proposed by Leonid B. Emelyanov-Ya... more This work presents an analysis of the neuroenergetic networks (proposed by Leonid B. Emelyanov-Yaroslavsky) and the specification of an intelligent agent constructed with these networks, comparing it to other existing agent specifications in the literature and also evaluating its semiotic capabilities. The neuroenergetic networks are characterized by their capability of selforganizing, aiming at minimizing the energy consumption of their neurons. With this aim in mind, and given some restrictions, Emelyanov-Yaroslavsky suggests that the neuroenergetic agent should develop some typical characteristics of intelligent systems such as: memory, volition, learning and, generalizationcapabilities, etc. This work aims at making the first steps validating Emelyanov-Yaroslavsky's proposals through the comprehension of the model's basic features and its reproduction and simulation. A computational version of the neuroenergetic network was implemented, demonstrating its operational viability and capacity of selforganization. Even though it has not yet been implemented, the model of the neuroenergetic agent opens perspectives in the direction of creating cognitive systems, capable to act in most diverse environments and domains.

Problemas não estruturados são problemas que dependem de variáveis não quantificáveis, não mensur... more Problemas não estruturados são problemas que dependem de variáveis não quantificáveis, não mensuráveis, imprecisas ou incertas, e que podem depender de fatores culturais, políticos, sociais, econômicos e ambientais. Sistemas "Otimizantes", onde há uma forte dependência na lógica e fraca interação homem-máquina, geralmente não são capazes de resolver este tipo de problema, pois não há nestes sistemas um processamento semântico adequado para manipular convenientemente as imprecisões e intratabilidades algorítmicas. Sistemas de Amplificação de Inteligência (SAI), que têm sua gênese nos Sistemas de Suporte à Tomada de Decisão (SSTD) e consideram a participação humana no circuito de resolução dos problemas, são capazes de suportar a tomada de decisão humana na resolução de problemas não estruturados. Para construir SAI, as técnicas e ferramentas das metodologias existentes de desenvolvimento de sistemas computacionais são necessárias, porém não suficientes. Este trabalho propõe uma metodologia para o desenvolvimento sistemático de SAI que estende o Processo Unificado de Desenvolvimento, adicionando a ele um fluxo principal de trabalho denominado Modelagem Cognitiva, que concentra-se em aspectos cognitivos dos agentes humanos que resolvem os problemas não estruturados existentes. Para ser capaz de modelar estes aspectos, a metodologia se baseia na teoria da semiótica de Charles Sanders Peirce. Como caso de estudo, é apresentada a aplicação do fluxo de Modelagem Cognitiva para desenvolver um Sistema de Amplificação Inteligência para suportar a resolução de um problema não estruturado do mundo real: o problema de estocagem e embarque de pelotas de minério-de-ferro de uma mineradora brasileira.

arXiv (Cornell University), Apr 30, 2023

The ability to automatically learn movements and behaviors of increasing complexity is a long-ter... more The ability to automatically learn movements and behaviors of increasing complexity is a long-term goal in autonomous systems. Indeed, this is a very complex problem that involves understanding how knowledge is acquired and reused by humans as well as proposing mechanisms that allow artificial agents to reuse previous knowledge. Inspired by Jean Piaget's theory's first three sensorimotor substages, this work presents a cognitive agent based on CONAIM (Conscious Attention-Based Integrated Model) that can learn procedures incrementally. Throughout the paper, we show the cognitive functions required in each substage and how adding new functions helps address tasks previously unsolved by the agent. Experiments were conducted with a humanoid robot in a simulated environment modeled with the Cognitive Systems Toolkit (CST) performing an object tracking task. The system is modeled using a single procedural learning mechanism based on Reinforcement Learning. The increasing agent's cognitive complexity is managed by adding new terms to the reward function for each learning phase. Results show that this approach is capable of solving complex tasks incrementally.

Emergência de comunicação e representações em criaturas artificiais

Linguagem ainda e algo com que a Inteligencia Artificial precisa lidar de forma mais apropriada. ... more Linguagem ainda e algo com que a Inteligencia Artificial precisa lidar de forma mais apropriada. Processos relacionados como comunicacao, interpretacao e representacao sao indissociaveis de linguagem e devem ser considerados na construcao de sistemas artificiais que irao usar linguagem. Diversos trabalhos ja foram realizados sobre a emergencia de comunicacao entre agentes artificiais, mas estudos sobre os processos representacionais subjacentes encontram pouca discussao. Neste trabalho, propomos estudar as condicoes para emergencia de comunicacao baseada em representacoes de diferentes modalidades em uma comunidade de criaturas artificiais, avaliando os processos semioticos envolvidos. O projeto de nossos experimentos sinteticos segue inspiracoes biologicas e uma teoria de processos representacionais como fonte de requisitos e restricoes, procedimento metodologico que defendemos. Nossos resultados mostram que comunicacao baseada em diferentes modalidades de representacao pode emergir a depender da arquitetura cognitiva, do custo de aquisicao de competencias cognitivas e da disponibilidade de atalhos cognitivos Abstract

Systems, Self-Organisation and Information: An Interdisciplinary Perspective

Extending the CST: The Distributed Cognitive Toolkit

2020 International Conferences on Internet of Things (iThings) and IEEE Green Computing and Communications (GreenCom) and IEEE Cyber, Physical and Social Computing (CPSCom) and IEEE Smart Data (SmartData) and IEEE Congress on Cybermatics (Cybermatics), 2020

This work presents the first steps towards the development of a toolkit for aiding in the constru... more This work presents the first steps towards the development of a toolkit for aiding in the construction of Distributed Cognitive Systems, designed within the spirit of the System of Systems (SoS) paradigm. The Toolkit is language agnostic and general enough to be used in building problem-specific Cognitive Systems that can spread across several physical or virtual devices such as low-power computers, microcontrollers, and virtual containers. The Toolkit is conceived targeting to be suitable for IoT and Smart City applications.

The emergence of ICTs resulted in deep changes in access to information and knowledge, bringing a... more The emergence of ICTs resulted in deep changes in access to information and knowledge, bringing a new perspective to the strengthening of democracy in contemporary societies. In this context , technology appears as promise to rescue a more direct citizen participation in public business. The aim of this paper is to contextualize this new moment in the history of democracy and to present a tool based in natural language processing, whose purpose is to provide foundations for the development of a virtual platform for participatory democracy. Resumo. O surgimento das TICs acarretou profundas mudanças no acesso à informação e conhecimento, trazendo uma nova perspectiva para o fortalecimento da democracia nas sociedades contemporâneas. Neste contexto, a tecnologia surge como promessa de resgatar uma participação cidadã mais direta nos assuntos públicos. O objetivo deste artigo é contextualizar este novo momento na história da democracia e apresentar uma ferramenta fundamentada no process...

The cognitive systems toolkit and the CST reference cognitive architecture

Biologically Inspired Cognitive Architectures, 2016

Abstract In this paper, we introduce the Cognitive Systems Toolkit (CST) and its underlying CST R... more Abstract In this paper, we introduce the Cognitive Systems Toolkit (CST) and its underlying CST Reference Cognitive Architecture. CST is a general toolkit for the construction of cognitive architectures, which relies on a set of concepts which are familiar to many other cognitive architecture and constitute CST’s core. This core is general enough such that problem-specific cognitive architectures might be generated by using CST. At the same time, CST specify a more general Reference Cognitive Architecture, which is a reference model for the construction of application specific cognitive architectures. Differently from other Cognitive Architectures available in the literature, which are computational frameworks, CST is a toolkit, which means more flexibility in choosing specific techniques and algorithms for setting up the application architecture. After presenting the architecture core, we develop an illustrative example showing how CST can be used to implement a simple subsumption architecture in a robotic application.

Biologically Inspired Cognitive Architectures, 2017

In this paper, we present an introduction to MECA, the Multipurpose Enhanced Cognitive Architectu... more In this paper, we present an introduction to MECA, the Multipurpose Enhanced Cognitive Architecture, a cognitive architecture developed by our research group and implemented in the Java language. MECA was designed based on many ideas coming from Dual Process Theory, Dynamic Subsumption, Conceptual Spaces and Grounded Cognition, and constructed using CST, a toolkit for the construction of cognitive architectures in Java, also developed by our group. Basically MECA promotes an hybridism of SOAR, used to implement rule-based processing and space-state exploration in System 2 modules, with a Dynamic Subsumption Motivational System performing the role of System 1, using a representational system based on conceptual spaces and grounded cognition. We review the conceptual background used on MECA and further provide a detailed description of the many MECA subsystems .