The approach to reproducible research of the Image Processing On Line (IPOL) journal

Abstract

Scientific research requires that results can be accessed, tested, and replicated by other researchers. In general, performing reproducible research is not simple and it can be even impossible (for example, in the case of astrophysics replicating singular events if even out of the control of the researcher). However, in computational sciences there is no special hindrance to reproduce, repeat, and compare results. In 2009 the Image Processing On Line (IPOL) journal was founded as a modest contribution to implement reproducible research in the Image Processing field, and then expanded to more general signal-processing algorithms, such as video or physiological signal processing, among others. We re-defined the concept of publication, which is no longer just the article, but the combination of the article, its source code, and any associated data needed to reproduce the results, everything as an indivisible whole. In this article, we present the concept of IPOL, our approach to reproducible research, the challenges we had to address and solve, and some applications other than image processing in IPOL (biomedical, educational). We also present other IPOL inspired initiatives before discussing the opportunity of performing reproducible research in these fields, as well as the advantages and difficulties.

La investigación científica requiere que los resultados puedan ser accedidos, probados y replicados por otros investigadores. En general, realizar una investigación reproducible no es sencillo y puede ser incluso imposible (por ejemplo, en el caso de la astrofísica replicar eventos singulares pueden estar incluso fuera del control del investigador). Sin embargo, en las ciencias computacionales no hay ningún impedimento especial para reproducir, repetir y comparar resultados. En 2009 se fundó la revista Image Processing On Line (IPOL) como una modesta contribución a la investigación reproducible en el campo del procesamiento de imágenes, que luego se amplió a algoritmos de procesamiento de señales más generales, como el procesamiento de señales de vídeo o fisiológicas, entre otros. Redefinimos el concepto de publicación, que ya no es solamente el artículo en sí mismo, sino la combinación del artículo, su código fuente y cualquier dato asociado necesario para reproducir los resultados, como un todo indivisible. En este artículo, presentamos el concepto de IPOL, nuestro enfoque de la investigación reproducible, los retos que tuvimos que abordar y resolver, y algunas aplicaciones distintas del procesamiento de imágenes en IPOL (biomédicas, educativas). También presentamos otras iniciativas inspiradas en IPOL antes de discutir la oportunidad de realizar investigación reproducible en estos campos, así como las ventajas y dificultades.

A investigação científica requer que os resultados possam ser consultados, testados e replicados por outros investigadores. Em geral, a realização de investigação reprodutível não é simples e pode até ser impossível (por exemplo, no caso da astrofísica, a replicação de eventos únicos pode até estar fora do controlo do investigador). No entanto, na ciência computacional não existe nenhum impedimento particular para reproduzir, repetir e comparar resultados. Em 2009, a revista Image Processing On Line (IPOL) foi fundada como uma modesta contribuição para a investigação reprodutível no campo do processamento de imagens, que mais tarde foi alargada a algoritmos mais gerais de processamento de sinais, tais como processamento de sinais vídeo ou fisiológicos, entre outros. Redefinimos o conceito de publicação, que já não é apenas o artigo em si, mas a combinação do artigo, o seu código fonte e quaisquer dados associados necessários para reproduzir os resultados, como um todo indivisível. Neste artigo, apresentamos o conceito de IPOL, a nossa abordagem à investigação reprodutível, os desafios que tivemos de enfrentar e resolver, e algumas aplicações diferentes de processamento de imagem na IPOL (biomédica, educacional). Apresentamos também outras iniciativas inspiradas na IPOL antes de discutir a oportunidade de investigação reproduzível nestes campos, bem como as vantagens e dificuldades.