Runtime comparison of classifiers

The figure shows the runtime analysis of some popular classifiers for multi-objective feature selection identifying the piano occurrence in musical intervals. In my opinion it provides some very interesting details. X axis: hypervolume (minimizes the feature number and error). Y axis: time in ms, evaluation number was limited to 2000 for all classifiers).

Support Vector Machine (yellow triangles) requires a large amount of computing time. Random Forest (red squares) is a clear winner – achieves large hypervolume and is fast. Naive Bayes (green diamonds) is the worst with regard to hypervolume but is the fastest method. Decision Tree C4.5 (blue circles) is somewhere between SVM and RF. It should be mentioned that C4.5 seems to be significantly slower than RF (which creates many trees) because of complex pruning optimization techniques. With the proper parameter tuning of SVM it could be the winner for hypervolume (here just a linear kernel was used) – but I’m not sure if the runtime efforts could be reduced very much. The method implementations were provided within RapidMiner and are based mostly on WEKA library.

At any rate I miss such analysis in many papers – if a method provides the best quality but requires weeks to run, it is not a really nice option 🙂 However such measurements are very difficult to provide – runtime depends on hardware, OS, implementation etc..

Veröffentlicht unter MIR Research | Schreib einen Kommentar

SIGMA #15..

..findet statt am 14.10 um 14:00 am Informatik Lehrstuhl 11, TU Dortmund (Otto-Hahn-Str. 14, Raum 202).

Veröffentlicht unter SIGMA | Schreib einen Kommentar

SIGMA workshop program ready

Please navigate to https://www.conftool.com/gfkl2011/index.php?page=browseSessions&form_date=2011-09-01 for the program of SIGMA workshop („Music classification workshop“, sessions 19 and 25).

Veröffentlicht unter Conferences & Calls, Events, General | Schreib einen Kommentar

Student job offer

We are searching for a student who has some background in MIR (music information retrieval) and has solid programming skills. The current task is limited to appr. 100 hours. If you know anybody who may be interested, please contact me!

Veröffentlicht unter General | Schreib einen Kommentar

IEEE SPS magazine article

An overview article which very well presents past and current SIGMA activities has been published in the July issue of IEEE Signal Processing Magazine:

H. Blume, B. Bischl, M. Botteck, C. Igel, R. Martin, G. Rötter, G. Rudolph, W. Theimer, I. Vatolkin, C. Weihs – Towards an Automated Dynamic Organization of Huge Music Archives on Mobile Devices

IEEE Xplore link

Veröffentlicht unter Publications | Schreib einen Kommentar

Presentation of tempo recognition thesis at AES conference

The paper which summarizes the results of the diploma thesis „Tempo recognition based on audio signal for slow music pieces“ is accepted for the proceedings of the AES conference and will be presented as a poster.

(Thorsten Deinert, Igor Vatolkin, and Günter Rudolph: Regression-Based Tempo Recognition from Chroma and Energy Accents for Slow Audio Recordings).

Veröffentlicht unter Publications | Schreib einen Kommentar

Protokoll von 14. SIGMA am 10.06.2011

SIGMA Workshop

Das Workshop während der GfKl-Konferenz in Frankfurt findet voraussichtlich am 1.9 statt. Viele aus der Gruppe sind an den Vorträgen beteiligt, allerdings gibt es auch einige angenommene Vorträge von den Wissenschaftlern außerhalb der SIGMA-Gruppe.

Umfrage zu persönlichen Kategorien

Die letzte Version von Ende 2009 wurde aktualisiert und kann benutzt werden, um persönliche Musikkategorien zu sammeln.  Es wäre schön, wenn sich einige an der Umfrage beteiligen könnten. Die ist verfügbar unter: http://ls11-www.cs.uni-dortmund.de/people/vatol/music/music_rating_new/start.html. Login: „pucsurvey“. Passwort: „42tesT91“.

Virtueller Server mit Tools

Es  besteht die Möglichkeit, auf unserem Ls11-Projektrechner einen Server einzurichten, an dem vorkonfigurierte Musikdatenanalyse-Tools laufen werden. Damit wäre die Bedienung noch einfacher als bei dem virtuellen Image – man müsste sich nur einloggen. Außerdem können einige Daten wie z.B. extrahierte Audiomerkmale zur Verfügung gestellt werden.

Vorgehen beim Musikinformatik-Buch

Es wurde entschieden, mehrere Umfragen über Doodle zu machen. Der Link ist http://www.doodle.com/kwx3qphcvtubxef3#table. In der ersten Spalte kann für die Sprache abgestimmt werden („grün“: besser auf Englisch; „rot“: besser auf Deutsch; „gelb“: geht beides). Bei den weiteren Spalten kann angegeben werden, wer bei welchen Kapiteln mitschreiben will. Weiterhin bitte ich alle als Kommentar unten eine Angabe zu machen, ab wann eine aktive Mitarbeit möglich wäre.

Es werden alle, die an dem Buch schreiben wollen, gebeten, an der Umfrage teilzunehmen. Umfrageschluss ist 30.06.2011.

Die nächsten SIGMA-Sitzungen

Es wurde beschlossen, eine Sitzung während der GfKl-Konferenz zu machen, vermutlich am letzten Slot des Workshop-Tages. Die nächste reguläre SIGMA-Sitzung findet am Ls11 statt, für den Termin kann hier abgestimmt werden: http://www.doodle.com/qww828kipvckzdwn. Die Umfrage wird ebenfalls am 30.06.2011 abgeschlossen.

SIGMA-Publikationen

Dieser Punkt wurde bei der Sitzung gar nicht besprochen – allerdings wurde eine Idee angeregt, die Publikationen, die musikrelevant sind und an denen SIGMA-Autoren beteiligt sind, auf die Seite zu platzieren. Vorteil wäre, dass man damit deutlicher sehen könnte, welche Forschung in der Gruppe verfolgt wird. Allerdings bestünde der Aufwand, festzustellen, welche PDFs aus rechtlichen Gründen auf die Seite kommen dürfen. Weiterhin müssten die Autoren die relevanten Publikationen aussuchen. Die Erstellung der Liste und Einbindung von PDFs könnte ich gerne übernehmen. Daher bitte ich diejenigen, die die Idee gut finden und möglicherweise Erfahrungen haben, ob man IEEE / Springer / sonstige Artikel „für Forschungszwecke“ verlinken darf, sich bei mir zu melden. Ggf. besprechen wir das Thema bei der nächsten Sitzung.

Veröffentlicht unter SIGMA | Schreib einen Kommentar

Ergebnisse der 1. Besprechung zur Buchplanung

Am 01.04.2011 fand SIGMA #13 statt. Das Hauptthema war Planung des Lehrbuchs über Musikinformatik. Die wesentlichen Ergebnisse der Diskussion sind hier notiert.

Buchsprache
Es wurde noch nicht endgültig entschieden, ob das Buch in Englisch oder Deutsch geschrieben wird. Kurze Zusammenfassung der jeweiligen Vorteile:

Deutsch Englisch
Alleinstellung in Deutschland Höhere Auflage
Kleinere Hemmschwelle für Leser Besser zitierbar
Geringerer Aufwand, auch bei Vorlesungsvorbereitung Bessere internationale Sichtbarkeit
Überesetzung einiger Fachbegriffe entfällt

Gliederung
Weiterhin wurde die erste Gliederung / Kapitelstrutktur überlegt:
I. Grundlagen
Musikgrundlagen / Akustikgrundlagen
Musikrepräsentationen (MIDI / mp3 / MusicXML…)
Physik der Klangerzeugung
Musikwahrnehmung / Physiologie / Psychologie
Digitale Signalverarbeitung (FFT, Spektrum…)
Statistikgrundlagen
II. Algorithmen
MIR-Ziele und Probleme
Merkmale (Audio, Community, Meta…)
Datenvorverarbeitung
Merkmalsauswahl (Feature selection)
Klassifikation
Evaluation
III. Anwendungen
Transkription
Instrumentenerkennung
Segmentierung
Emotionen
Identifikation pers. Genres / Kategorien
Automatische Musikkomposition
IV. Anforderungen / Schnittstellen
Architektur der Implementierung
Benutzerinteraktion / GUI-Konzepte
Datenbanken
Hardware

Alle sind gebeten, sich die Gedanken über die Struktur und Entscheidung zur Sprache zu machen. Die nächste Sitzung (SIGMA #14) findet beim Prof. Rötter statt. Es kann bis zum 12.4 für einen der vorgeschlagenen Termine abgestimmt werden: http://doodle.com/mzykcbxsek9gsger

Veröffentlicht unter SIGMA | Schreib einen Kommentar

GECCO paper accepted

A paper is accepted for the GECCO conference:

I. Vatolkin, M. Preuß, G. Rudolph – Multi-Objective Feature Selection in Music Genre and Style Recognition Tasks

Veröffentlicht unter General, Publications | Schreib einen Kommentar

Music Classification Workshop organized by SIGMA

This year SIGMA organizes Music Classification Workshop during the Joint Conference of the German Classification Society (GfKl) with international partner IFCS and the German Association for Pattern Recognition (DAGM)).

Music Classification is one of the most prominent research areas of Music Information Retrieval. The data to classify is very different: from instrument detection or vocal extraction to music recommendation and personal categorization. The recent activities enforced the development of new features and applications, parameter tuning and optimization, algorithms for signal processing and data mining. If your research deals with one of the following topics (or further related areas), you are welcome to submit an abstract for a presentation of your work.

*** List of relevant themes ***
‐ Audio feature extraction
‐ Metadata, tag and playlist analysis
‐ Feature selection and processing for music classification tasks
‐ Music recommendation methods
‐ Optimization in music classification applications
‐ Instrument and vocals recognition
‐ Harmony and melody recognition
‐ Tempo and structure recognition
‐ Audio source separation
‐ High‐level music classification (e.g. genres, emotions, personal categories…)
‐ Automatic music transcription

*** Venue ***
The workshop will be organized as a part of the Joint Conference of the German Classification Society (GfKl) with international partner IFCS and the German Association for Pattern Recognition (DAGM)) in Frankfurt am Main (Germany). Note that you have to register for the whole conference! Papers can be published in a refereed post‐conference proceedings. Please submit abstracts via the Conference ConfTool: https://www.conftool.com/gfkl2011/ (mark the session‐slot ‘Linguistics and Statistical Musicology’) or send the abstract directly to the session organizer: claus.weihs AT tu-dortmund.de (in particular if the ConfTool should be closed because of an earlier deadline).

*** Important Dates ***
Deadline for abstract submission: April 17, 2011 April 30, 2011
Notification of acceptance: May 30, 2011
Conference: August 31 to September 2, 2011
Deadline for full paper submission: September 30, 2011
Notification of acceptance of full papers: November 30, 2011
Deadline for Camera ready full paper submission: January 15, 2012

Veröffentlicht unter Conferences & Calls | Schreib einen Kommentar