Fabio Paolizzo | "Tor Vergata" University of Rome (original) (raw)
Papers by Fabio Paolizzo
Acta Otorhinolaryngologica Italica, 2017
Poichè le alterazioni della funzione vestibolare possono essere causa di disequilibrio, i princip... more Poichè le alterazioni della funzione vestibolare possono essere causa di disequilibrio, i principali reperti sviluppati ad oggi per misurare il controllo posturale e lintegrazione sensoriale nel danno vestibolare sono stati ottenuti grazie alla posturografia. Tuttavia, al fine di superare i problemi legati a tale genere di tecnologia, sono stati proposti gli accelerometri indossabili (ACC) come unalternativa portatile e a basso costo per la misurazione delloscillazione corporea in ambienti confortevoli. Daltro canto, nessuno studio ad oggi ha dimostrato la validità sperimentale delle misurazioni ottenute con ACC - rispetto a quelle derivanti dalla posturografia - in soggetti affetti da deficit vestibolare. Pertanto, lobiettivo del presente lavoro è stato quello di i) sviluppare e validare una strumentazione pratica che potesse consentire la misurazione dei disordini delloscillazione corporea nellambito della valutazione otoneurologica attraverso gli ACC e ii) fornire unanali...
Medical engineering & physics, Apr 1, 2018
Human maintain their body balance by sensorimotor controls mainly based on information gathered f... more Human maintain their body balance by sensorimotor controls mainly based on information gathered from vision, proprioception and vestibular systems. When there is a lack of information, caused by pathologies, diseases or aging, the subject may fall. In this context, we developed a system to augment information gathering, providing the subject with warning audio-feedback signals related to his/her equilibrium. The system comprises an inertial measurement unit (IMU), a data processing unit, a headphone audio device and a software application. The IMU is a low-weight, small-size wireless instrument that, body-back located between the L2 and L5 lumbar vertebrae, measures the subject's trunk kinematics. The application drives the data processing unit to feeding the headphone with electric signals related to the kinematic measures. Consequently, the user is audio-alerted, via headphone, of his/her own equilibrium, hearing a pleasant sound when in a stable equilibrium, or an increasing ...
Questo studio propone un percorso critico attraverso lo scenario della musica interattiva, un set... more Questo studio propone un percorso critico attraverso lo scenario della musica interattiva, un settore emergente della pratica artistica che non ha ancora dei confini stabili come altre forme d’arte, e che mostra invece un carattere decisamente interdisciplinare. Anzitutto, che cos'è interazione? Quali sono le sue origini ed i suoi presupposti concettuali? Questo studio inizia tracciando una breve storia della musica interattiva, proprio a partire da quegli artisti, che a maggior titolo possono essere indicati come precursori e pionieri. D'importanza centrale nell'arte interattiva è il rapporto tra uomo e tecnologia, che viene analizzato prestando particolare attenzione alle problematiche di fruizione riscontrabili nella musica per nastro magnetico, alle quali la musica interattiva è storicamente legata. Al fine di individuare delle soluzioni teoriche che conducano a nuove forme musicali sia accessibili ed espressive sia ricche di contenuti, vengono presi in esame aspetti...
The research is drawn across the fields of musicology, composition and software development with ... more The research is drawn across the fields of musicology, composition and software development with the aim of achieving a collective intelligence and self-awareness through self-reflection in interactive music. The present study recognises that for a collective self-awareness to occur through self- reflection in music, specific structures of interrelation have to be adopted, which may enhance the human agent’s awareness of the own self as related to the machine. These structures are then implemented in a piece of software. Specific art projects are designed along the investigation to finally test/improve the framework through art practice. The art works spanned the disciplines of music, dance, theatre/performance, film-making, net-art, sport/music interactive public art. The implementations include: a module for adaptive video tracking that is derived from the feedback loop of action/perception (Vaggione 2001); an adaptive graphic score which is designed upon a previous multi-modal co...
A new category of content-related software is here proposed. ‘Wakeful’ software is one that sense... more A new category of content-related software is here proposed. ‘Wakeful’ software is one that senses and responds to an environment with which it may consistently interact meaningfully. The term ‘wakeful’ is here meant as ‘sign-bearing,’ in relation to the potential of computers and human beings to interact in terms of sign exchange.
A new category of music-related software is proposed, implemented and tested through creative pra... more A new category of music-related software is proposed, implemented and tested through creative practice. “Wakeful” musical instruments are those whose interaction listeners may understand as musical. The term “wakeful” means here “sign-bearing”, in relation to the potential of computers and human beings to interact in terms of exchange of signs. Wakeful instruments may empower the users’ capacity for the interpretation of digital music in terms of agency, cognition and communication. These users may experience a phenomenon of collective musical embodiment, producing a shared form of intelligence, extended and mediated by the computer, in music. VIVO is a computer-based interactive instrument of this type, whose development is part of the research. It represents salience of action in terms of energy and features video tracking for mapping quantity of motion to specific sub-ranges of audio plug-ins parameters, dynamically. It includes an editor for stochastic scores and a single graphi...
M-GWAP is a multimodal game with a purpose of that leverages on the wisdom of crowds phenomenon f... more M-GWAP is a multimodal game with a purpose of that leverages on the wisdom of crowds phenomenon for the annotation of multimedia data in terms of mental states. This game with a purpose is developed in WordPress to allow users implementing the game without programming skills. The game adopts motivational strategies for the player to remain engaged, such as a score system, text motivators while playing, a ranking system to foster competition and mechanics for identify building. The current version of the game was deployed after alpha and beta testing helped refining the game accordingly.
Achieving advancements in automatic recognition of emotions that music can induce require conside... more Achieving advancements in automatic recognition of emotions that music can induce require considering multiplicity and simultaneity of emotions. Comparison of different machine learning algorithms performing multilabel and multiclass classification is the core of our work. The study analyzes the implementation of the Geneva Emotional Music Scale 9 in the Emotify music dataset and the data distribution. The research goal is the identification of best methods towards the definition of the audio component of a new a new multimodal dataset for music emotion recognition.
ArXiv, 2017
Interactive Music Systems (IMS) have introduced a new world of music-making modalities. But can w... more Interactive Music Systems (IMS) have introduced a new world of music-making modalities. But can we really say that they create music, as in true autonomous creation? Here we discuss Video Interactive VST Orchestra (VIVO), an IMS that considers extra-musical information by adopting a simple salience based model of user-system interaction when simulating intentionality in automatic music generation. Key features of the theoretical framework, a brief overview of pilot research, and a case study providing validation of the model are presented. This research demonstrates that a meaningful user/system interplay is established in what we define as reflexive multidominance.
Interactive music systems always exhibit some autonomy in the creative process. The capacity to g... more Interactive music systems always exhibit some autonomy in the creative process. The capacity to generate novel material while retaining mutuality to the interaction is proposed here as the bare minimum for creative autonomy in such systems. Video Interactive VST Orchestra is a system incorporating an adaptive technique based both on the concept of salience as a means for retaining mutuality to the interplay and on multidominance in the adaptive generation process as a means for introducing novelty. We call this property reflexive multidominance. A case study providing evidence of such creative autonomy in VIVO is presented.
ArXiv, 2017
The present methodology is aimed at cross-modal machine learning and uses multidisciplinary tools... more The present methodology is aimed at cross-modal machine learning and uses multidisciplinary tools and methods drawn from a broad range of areas and disciplines, including music, systematic musicology, dance, motion capture, human-computer interaction, computational linguistics and audio signal processing. Main tasks include: (1) adapting wisdom-of-the-crowd approaches to embodiment in music and dance performance to create a dataset of music and music lyrics that covers a variety of emotions, (2) applying audio/language-informed machine learning techniques to that dataset to identify automatically the emotional content of the music and the lyrics, and (3) integrating motion capture data from a Vicon system and dancers performing on that music.
2021 IEEE International Workshop on Metrology for Industry 4.0 & IoT (MetroInd4.0&IoT)
2021 IEEE International Workshop on Metrology for Industry 4.0 & IoT (MetroInd4.0&IoT)
The International Journal of the Arts in Society: Annual Review
Journal of New Music Research
A new category of music-related software is proposed, implemented and tested through creative pra... more A new category of music-related software is proposed, implemented and tested through creative practice. “Wakeful” musical instruments are those whose interaction listeners may understand as musical. The term “wakeful” means here “sign-bearing”, in relation to the potential of computers and human beings to interact in terms of exchange of signs. Wakeful instruments may empower the users’ capacity for the interpretation of digital music in terms of agency, cognition and communication. These users may experience a phenomenon of collective musical embodiment, producing a shared form of intelligence, extended and mediated by the computer, in music. VIVO is a computer-based interactive instrument of this type, whose development is part of the research. It represents salience of action in terms of energy and features video tracking for mapping quantity of motion to specific sub-ranges of audio plug-ins parameters, dynamically. It includes an editor for stochastic scores and a single graphic interface to control any plug-in, while monitoring the users’ and software agents’ activity. The present case studies cross-confirm the results by an analysis of the users’ and listeners’ experiences and verbalisations and by an identification of the musical coherence in the content, which the program generated.
Questo studio propone un percorso critico attraverso lo scenario della musica interattiva, un set... more Questo studio propone un percorso critico attraverso lo scenario della musica interattiva, un settore emergente della pratica artistica che non ha ancora dei confini stabili come altre forme d’arte, e che mostra invece un carattere decisamente interdisciplinare. Anzitutto, che cos'è interazione? Quali sono le sue origini ed i suoi presupposti concettuali? Questo studio inizia tracciando una breve storia della musica interattiva, proprio a partire da quegli artisti, che a maggior titolo possono essere indicati come precursori e pionieri. D'importanza centrale nell'arte interattiva è il rapporto tra uomo e tecnologia, che viene analizzato prestando particolare attenzione alle problematiche di fruizione riscontrabili nella musica per nastro magnetico, alle quali la musica interattiva è storicamente legata. Al fine di individuare delle soluzioni teoriche che conducano a nuove forme musicali sia accessibili ed espressive sia ricche di contenuti, vengono presi in esame aspetti della percezione, della comunicazione e della comprensione dei processi musicali. Le proposte offerte, sono quindi frutto consapevole di bio-logiche umane, logiche di compatibilità tra l'uomo e i suoi strumenti tecnologici. In accordo con le soluzioni teoriche individuate, vengono presentate soluzioni per la prassi creativa nella particolare relazione esistente tra la variabilità offerta dal fattore umano e la precisione di calcolo della macchina. Per impiegare con successo nel tempo reale un sistema musicale interattivo, è necessario che il sistema processi a grande velocità calcoli spesso complessi. Uno degli obiettivi di questo studio è stato proprio quello di snellire tale lavoro per la macchina mantenendo adeguate analisi, sia del comportamento dell'utente sia dell'elaborazione delle risposte fornite dal sistema. Viene suggerito quindi di applicare all'interazione uomo-macchina nel tempo reale, un concetto a questo campo estraneo: il principio di energia, in sintesi qui definibile come un descrittore dell'attuale stato e capacità di azione del sistema. Tale principio permette al sistema musicale interattivo di auto-organizzarsi in modo veloce e dinamico, seguendo le mutevoli condizioni d'interazione. Infatti come verrà illustrato, questo metodo si basa su un principio di non equilibrio che rende il comportamento della macchina simile a quello degli organismi viventi ed è in armonia con l'intuitiva comprensione della creatività musicale. Inoltre, al fine di ottenere una nuova e migliore accessibilità e trasparenza dell'interfaccia del sistema, viene suggerito l'impiego collettivo di tutta una serie di tecniche apparse già negli ultimissimi anni. Tra esse: l'impiego di conoscenze generiche e dell'incremental revealing; il video tracking; l'orchestrazione dinamica; l'impiego del fattore di sforzo; l'analisi dei segnali inconsci. Inoltre, in base al tipo d’interazione permesso dal sistema, viene proposta una nuova classificazione delle strategie di mapping, ossia delle tipologie di corrispondenza tra gli elementi interagenti. Infine, viene riportato e messo in discussione il modello concettuale maggiormente impiegato per descrivere l’interazione con un agente informatico, secondo il quale questa è simile ad una conversazione tra esseri umani. A conclusione dello studio si propone la correzione di tale modello, mettendo così in luce la profonda natura della relazione, presente nella musica interattiva, tra l'uomo e la macchina. Questa relazione è infatti caratterizzata esclusivamente da un vincolo di manipolazione reciproca tra i due partner dell'interazione, ed una speciale forma di dialogo, che l'uomo svolge con se stesso, attraverso la mediazione offerta dalla macchina. La reale potenzialità che la musica interattiva offre, viene così individuata. Questa nuova musica si profila all'orizzonte unitamente ad una nuova figura di artista che progetta e costruisce, impiega ed offre, il sistema musicale interattivo e la propria musica interattiva in qualità di mezzi d’esperienza interiore. Il sistema musicale interattivo e la musica interattiva che ne deriva, formano uno strumento per l'esplorazione del sé, dall'interno del linguaggio musicale.
A new category of content-related software is here proposed. ‘Wakeful’ software is one that sense... more A new category of content-related software is here proposed. ‘Wakeful’ software is one that senses and responds to an environment with which it may consistently interact meaningfully. The term ‘wakeful’ is here meant as ‘sign-bearing,’ rather than potentially being capable of such. Specifically, the study was carried out in relation to music and interactive music systems.
The research is drawn across the fields of musicology, composition and software development with ... more The research is drawn across the fields of musicology, composition and software development with the aim of achieving a collective intelligence and self-awareness through self-reflection in interactive music. The present study recognises that for a collective self-awareness to occur through self-reflection in music, specific structures of interrelation have to be adopted, which may enhance the human agent’s awareness of the own self as related to the machine. These structures are then implemented in a piece of software. Specific art projects are designed along the investigation to finally test/improve the framework through art practice. The art works spanned the disciplines of music, dance, theatre/performance, film-making, net-art, sport/music interactive public art. The implementations include: a module for adaptive video tracking that is derived from the feedback loop of action/perception (Vaggione 2001); an adaptive graphic score which is designed upon a previous multi-modal comparative analysis (Impett 2001); a dynamic host for audio software, where the concept of open content is merged within the dynamic orchestration model (Paine 2004). The piece of software, which provides outcomes that are informed by these structures, is VIVO. This software musical instrument is able to generate an adaptive musical answer to reflect the agents’ behaviour by controlling external audio-plug-ins (VST, DirectX, AU). The paper illustrates its main features, the theories behind the implementations and the partial evidence that was gathered from tests, which are still in progress, within specific art projects.
Acta Otorhinolaryngologica Italica, 2017
Poichè le alterazioni della funzione vestibolare possono essere causa di disequilibrio, i princip... more Poichè le alterazioni della funzione vestibolare possono essere causa di disequilibrio, i principali reperti sviluppati ad oggi per misurare il controllo posturale e lintegrazione sensoriale nel danno vestibolare sono stati ottenuti grazie alla posturografia. Tuttavia, al fine di superare i problemi legati a tale genere di tecnologia, sono stati proposti gli accelerometri indossabili (ACC) come unalternativa portatile e a basso costo per la misurazione delloscillazione corporea in ambienti confortevoli. Daltro canto, nessuno studio ad oggi ha dimostrato la validità sperimentale delle misurazioni ottenute con ACC - rispetto a quelle derivanti dalla posturografia - in soggetti affetti da deficit vestibolare. Pertanto, lobiettivo del presente lavoro è stato quello di i) sviluppare e validare una strumentazione pratica che potesse consentire la misurazione dei disordini delloscillazione corporea nellambito della valutazione otoneurologica attraverso gli ACC e ii) fornire unanali...
Medical engineering & physics, Apr 1, 2018
Human maintain their body balance by sensorimotor controls mainly based on information gathered f... more Human maintain their body balance by sensorimotor controls mainly based on information gathered from vision, proprioception and vestibular systems. When there is a lack of information, caused by pathologies, diseases or aging, the subject may fall. In this context, we developed a system to augment information gathering, providing the subject with warning audio-feedback signals related to his/her equilibrium. The system comprises an inertial measurement unit (IMU), a data processing unit, a headphone audio device and a software application. The IMU is a low-weight, small-size wireless instrument that, body-back located between the L2 and L5 lumbar vertebrae, measures the subject's trunk kinematics. The application drives the data processing unit to feeding the headphone with electric signals related to the kinematic measures. Consequently, the user is audio-alerted, via headphone, of his/her own equilibrium, hearing a pleasant sound when in a stable equilibrium, or an increasing ...
Questo studio propone un percorso critico attraverso lo scenario della musica interattiva, un set... more Questo studio propone un percorso critico attraverso lo scenario della musica interattiva, un settore emergente della pratica artistica che non ha ancora dei confini stabili come altre forme d’arte, e che mostra invece un carattere decisamente interdisciplinare. Anzitutto, che cos'è interazione? Quali sono le sue origini ed i suoi presupposti concettuali? Questo studio inizia tracciando una breve storia della musica interattiva, proprio a partire da quegli artisti, che a maggior titolo possono essere indicati come precursori e pionieri. D'importanza centrale nell'arte interattiva è il rapporto tra uomo e tecnologia, che viene analizzato prestando particolare attenzione alle problematiche di fruizione riscontrabili nella musica per nastro magnetico, alle quali la musica interattiva è storicamente legata. Al fine di individuare delle soluzioni teoriche che conducano a nuove forme musicali sia accessibili ed espressive sia ricche di contenuti, vengono presi in esame aspetti...
The research is drawn across the fields of musicology, composition and software development with ... more The research is drawn across the fields of musicology, composition and software development with the aim of achieving a collective intelligence and self-awareness through self-reflection in interactive music. The present study recognises that for a collective self-awareness to occur through self- reflection in music, specific structures of interrelation have to be adopted, which may enhance the human agent’s awareness of the own self as related to the machine. These structures are then implemented in a piece of software. Specific art projects are designed along the investigation to finally test/improve the framework through art practice. The art works spanned the disciplines of music, dance, theatre/performance, film-making, net-art, sport/music interactive public art. The implementations include: a module for adaptive video tracking that is derived from the feedback loop of action/perception (Vaggione 2001); an adaptive graphic score which is designed upon a previous multi-modal co...
A new category of content-related software is here proposed. ‘Wakeful’ software is one that sense... more A new category of content-related software is here proposed. ‘Wakeful’ software is one that senses and responds to an environment with which it may consistently interact meaningfully. The term ‘wakeful’ is here meant as ‘sign-bearing,’ in relation to the potential of computers and human beings to interact in terms of sign exchange.
A new category of music-related software is proposed, implemented and tested through creative pra... more A new category of music-related software is proposed, implemented and tested through creative practice. “Wakeful” musical instruments are those whose interaction listeners may understand as musical. The term “wakeful” means here “sign-bearing”, in relation to the potential of computers and human beings to interact in terms of exchange of signs. Wakeful instruments may empower the users’ capacity for the interpretation of digital music in terms of agency, cognition and communication. These users may experience a phenomenon of collective musical embodiment, producing a shared form of intelligence, extended and mediated by the computer, in music. VIVO is a computer-based interactive instrument of this type, whose development is part of the research. It represents salience of action in terms of energy and features video tracking for mapping quantity of motion to specific sub-ranges of audio plug-ins parameters, dynamically. It includes an editor for stochastic scores and a single graphi...
M-GWAP is a multimodal game with a purpose of that leverages on the wisdom of crowds phenomenon f... more M-GWAP is a multimodal game with a purpose of that leverages on the wisdom of crowds phenomenon for the annotation of multimedia data in terms of mental states. This game with a purpose is developed in WordPress to allow users implementing the game without programming skills. The game adopts motivational strategies for the player to remain engaged, such as a score system, text motivators while playing, a ranking system to foster competition and mechanics for identify building. The current version of the game was deployed after alpha and beta testing helped refining the game accordingly.
Achieving advancements in automatic recognition of emotions that music can induce require conside... more Achieving advancements in automatic recognition of emotions that music can induce require considering multiplicity and simultaneity of emotions. Comparison of different machine learning algorithms performing multilabel and multiclass classification is the core of our work. The study analyzes the implementation of the Geneva Emotional Music Scale 9 in the Emotify music dataset and the data distribution. The research goal is the identification of best methods towards the definition of the audio component of a new a new multimodal dataset for music emotion recognition.
ArXiv, 2017
Interactive Music Systems (IMS) have introduced a new world of music-making modalities. But can w... more Interactive Music Systems (IMS) have introduced a new world of music-making modalities. But can we really say that they create music, as in true autonomous creation? Here we discuss Video Interactive VST Orchestra (VIVO), an IMS that considers extra-musical information by adopting a simple salience based model of user-system interaction when simulating intentionality in automatic music generation. Key features of the theoretical framework, a brief overview of pilot research, and a case study providing validation of the model are presented. This research demonstrates that a meaningful user/system interplay is established in what we define as reflexive multidominance.
Interactive music systems always exhibit some autonomy in the creative process. The capacity to g... more Interactive music systems always exhibit some autonomy in the creative process. The capacity to generate novel material while retaining mutuality to the interaction is proposed here as the bare minimum for creative autonomy in such systems. Video Interactive VST Orchestra is a system incorporating an adaptive technique based both on the concept of salience as a means for retaining mutuality to the interplay and on multidominance in the adaptive generation process as a means for introducing novelty. We call this property reflexive multidominance. A case study providing evidence of such creative autonomy in VIVO is presented.
ArXiv, 2017
The present methodology is aimed at cross-modal machine learning and uses multidisciplinary tools... more The present methodology is aimed at cross-modal machine learning and uses multidisciplinary tools and methods drawn from a broad range of areas and disciplines, including music, systematic musicology, dance, motion capture, human-computer interaction, computational linguistics and audio signal processing. Main tasks include: (1) adapting wisdom-of-the-crowd approaches to embodiment in music and dance performance to create a dataset of music and music lyrics that covers a variety of emotions, (2) applying audio/language-informed machine learning techniques to that dataset to identify automatically the emotional content of the music and the lyrics, and (3) integrating motion capture data from a Vicon system and dancers performing on that music.
2021 IEEE International Workshop on Metrology for Industry 4.0 & IoT (MetroInd4.0&IoT)
2021 IEEE International Workshop on Metrology for Industry 4.0 & IoT (MetroInd4.0&IoT)
The International Journal of the Arts in Society: Annual Review
Journal of New Music Research
A new category of music-related software is proposed, implemented and tested through creative pra... more A new category of music-related software is proposed, implemented and tested through creative practice. “Wakeful” musical instruments are those whose interaction listeners may understand as musical. The term “wakeful” means here “sign-bearing”, in relation to the potential of computers and human beings to interact in terms of exchange of signs. Wakeful instruments may empower the users’ capacity for the interpretation of digital music in terms of agency, cognition and communication. These users may experience a phenomenon of collective musical embodiment, producing a shared form of intelligence, extended and mediated by the computer, in music. VIVO is a computer-based interactive instrument of this type, whose development is part of the research. It represents salience of action in terms of energy and features video tracking for mapping quantity of motion to specific sub-ranges of audio plug-ins parameters, dynamically. It includes an editor for stochastic scores and a single graphic interface to control any plug-in, while monitoring the users’ and software agents’ activity. The present case studies cross-confirm the results by an analysis of the users’ and listeners’ experiences and verbalisations and by an identification of the musical coherence in the content, which the program generated.
Questo studio propone un percorso critico attraverso lo scenario della musica interattiva, un set... more Questo studio propone un percorso critico attraverso lo scenario della musica interattiva, un settore emergente della pratica artistica che non ha ancora dei confini stabili come altre forme d’arte, e che mostra invece un carattere decisamente interdisciplinare. Anzitutto, che cos'è interazione? Quali sono le sue origini ed i suoi presupposti concettuali? Questo studio inizia tracciando una breve storia della musica interattiva, proprio a partire da quegli artisti, che a maggior titolo possono essere indicati come precursori e pionieri. D'importanza centrale nell'arte interattiva è il rapporto tra uomo e tecnologia, che viene analizzato prestando particolare attenzione alle problematiche di fruizione riscontrabili nella musica per nastro magnetico, alle quali la musica interattiva è storicamente legata. Al fine di individuare delle soluzioni teoriche che conducano a nuove forme musicali sia accessibili ed espressive sia ricche di contenuti, vengono presi in esame aspetti della percezione, della comunicazione e della comprensione dei processi musicali. Le proposte offerte, sono quindi frutto consapevole di bio-logiche umane, logiche di compatibilità tra l'uomo e i suoi strumenti tecnologici. In accordo con le soluzioni teoriche individuate, vengono presentate soluzioni per la prassi creativa nella particolare relazione esistente tra la variabilità offerta dal fattore umano e la precisione di calcolo della macchina. Per impiegare con successo nel tempo reale un sistema musicale interattivo, è necessario che il sistema processi a grande velocità calcoli spesso complessi. Uno degli obiettivi di questo studio è stato proprio quello di snellire tale lavoro per la macchina mantenendo adeguate analisi, sia del comportamento dell'utente sia dell'elaborazione delle risposte fornite dal sistema. Viene suggerito quindi di applicare all'interazione uomo-macchina nel tempo reale, un concetto a questo campo estraneo: il principio di energia, in sintesi qui definibile come un descrittore dell'attuale stato e capacità di azione del sistema. Tale principio permette al sistema musicale interattivo di auto-organizzarsi in modo veloce e dinamico, seguendo le mutevoli condizioni d'interazione. Infatti come verrà illustrato, questo metodo si basa su un principio di non equilibrio che rende il comportamento della macchina simile a quello degli organismi viventi ed è in armonia con l'intuitiva comprensione della creatività musicale. Inoltre, al fine di ottenere una nuova e migliore accessibilità e trasparenza dell'interfaccia del sistema, viene suggerito l'impiego collettivo di tutta una serie di tecniche apparse già negli ultimissimi anni. Tra esse: l'impiego di conoscenze generiche e dell'incremental revealing; il video tracking; l'orchestrazione dinamica; l'impiego del fattore di sforzo; l'analisi dei segnali inconsci. Inoltre, in base al tipo d’interazione permesso dal sistema, viene proposta una nuova classificazione delle strategie di mapping, ossia delle tipologie di corrispondenza tra gli elementi interagenti. Infine, viene riportato e messo in discussione il modello concettuale maggiormente impiegato per descrivere l’interazione con un agente informatico, secondo il quale questa è simile ad una conversazione tra esseri umani. A conclusione dello studio si propone la correzione di tale modello, mettendo così in luce la profonda natura della relazione, presente nella musica interattiva, tra l'uomo e la macchina. Questa relazione è infatti caratterizzata esclusivamente da un vincolo di manipolazione reciproca tra i due partner dell'interazione, ed una speciale forma di dialogo, che l'uomo svolge con se stesso, attraverso la mediazione offerta dalla macchina. La reale potenzialità che la musica interattiva offre, viene così individuata. Questa nuova musica si profila all'orizzonte unitamente ad una nuova figura di artista che progetta e costruisce, impiega ed offre, il sistema musicale interattivo e la propria musica interattiva in qualità di mezzi d’esperienza interiore. Il sistema musicale interattivo e la musica interattiva che ne deriva, formano uno strumento per l'esplorazione del sé, dall'interno del linguaggio musicale.
A new category of content-related software is here proposed. ‘Wakeful’ software is one that sense... more A new category of content-related software is here proposed. ‘Wakeful’ software is one that senses and responds to an environment with which it may consistently interact meaningfully. The term ‘wakeful’ is here meant as ‘sign-bearing,’ rather than potentially being capable of such. Specifically, the study was carried out in relation to music and interactive music systems.
The research is drawn across the fields of musicology, composition and software development with ... more The research is drawn across the fields of musicology, composition and software development with the aim of achieving a collective intelligence and self-awareness through self-reflection in interactive music. The present study recognises that for a collective self-awareness to occur through self-reflection in music, specific structures of interrelation have to be adopted, which may enhance the human agent’s awareness of the own self as related to the machine. These structures are then implemented in a piece of software. Specific art projects are designed along the investigation to finally test/improve the framework through art practice. The art works spanned the disciplines of music, dance, theatre/performance, film-making, net-art, sport/music interactive public art. The implementations include: a module for adaptive video tracking that is derived from the feedback loop of action/perception (Vaggione 2001); an adaptive graphic score which is designed upon a previous multi-modal comparative analysis (Impett 2001); a dynamic host for audio software, where the concept of open content is merged within the dynamic orchestration model (Paine 2004). The piece of software, which provides outcomes that are informed by these structures, is VIVO. This software musical instrument is able to generate an adaptive musical answer to reflect the agents’ behaviour by controlling external audio-plug-ins (VST, DirectX, AU). The paper illustrates its main features, the theories behind the implementations and the partial evidence that was gathered from tests, which are still in progress, within specific art projects.