Paralelizando en Linux


Algunas tareas repetitivas pueden automatizarse fácilmente, usualemente con un script sencillo, y para aprovechar los procesadores de multiples nucleos es interesante usar herramientas que ejecuten el script de manera paralela

Para descargar una serie de archivos podemos hacer un archivo con las url y usar parallel para que se descarguen en simultaneo desde linea de comandos, en el siguiente ejemplo se usan 8 hilos para usar wget. (Pido disculpas por lo sencillo del ejemplo):

cat urls.txt | parallel -j8 "wget -w 2"

 

Acerca de Nickman

Aunque crítico e Ingeniero (especializado en software), piloto de aeroplano soy (seré).

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s