Ejecución en paralelo con bucle infinito en Bash

Como echo un poco de menos trabajar en Linux me he entretenido un rato con esto.

#!/bin/bash
# USO SIN PROXY:
# $ curl-loop
# USO CON PROXY:
# $ curl-loop -x [URL_proxy]

function subida()
{
	FILE=$1
	shift
	OPTS=$@
	curl -s -F "file=@${FILE}" https://api.lolabits.se/upload -w "\n" $OPTS 2>&1 >> log.txt
	resul=$?
	if [ $? -eq 0 ]
	then
		# FUE BIEN MOVEMOS EL FICHERO
		mv $FILE ./subido/.
		return 0
	else
		return 1
	fi

}

if [ ! -d ./subido ]
then
	mkdir subido
fi

for FILE in *.png
do
	(
	until subida $FILE $@
	do
		echo "$FILE - ERROR - REINTENTANDO"
		sleep 0.5
	done
	echo "$FILE - SUBIDO"
	) &

done 
wait

Explicaciones:

• Nunca se terminaba de ejecutar tu script por el "while true"
• Ahora se comprueba que no exista el directorio "subido" antes de crearlo
• Asumo que estás usando el "$@" para meter los argumentos opcionales del "-x [URL_PROXY]"
• He movido la parte de la subida a una función para facilitar la ejecución en paralelo
• El "( ) &" dentro del for hace que ejecute todo ese parrafo en paralelo
• El "until subida $file $@" hace que se ejecute la función de subida hasta que devuelva 0 (true)
• En vez de buscar en el fichero log el nombre del fichero miro el exit status ($?) del comando curl (que si va bien es 0 peeeeero no he conseguido que me fallara aun subiendo cientos de ficheros varias veces)
• Si ve que se ha ejecutado bien mueve el fichero al directorio subido y devuelve 0 (true) para que salga del until loop
• El wait del final es para que se espere el script a que terminen todos los procesos en paralelo
• En caso de que falle infinitamente seguirá ejecutándose el script indefinidamente
• El log.txt nunca se limpia tal como está puesto, así que lo tendrás que hacer a mano

Espero que te sirva de ayuda.

Prueba con este, que procesa el JSON que devuelve el curl para ver si fue bien o mal y por qué.

Te tienes que instalar antes el paquete "jq"

#!/bin/bash
# USO SIN PROXY:
# $ curl-loop
# USO CON PROXY:
# $ curl-loop -x [URL_proxy]

which jq > /dev/null 2>&1
if [ $? -ne 0 ]
then
	echo "ERROR: Es necesario instalar el paquete jq"
	exit 1
fi

function subida()
{
	FILE=$1
	shift
	OPTS=$@
	SALIDA_CURL=$(curl -s -F "file=@${FILE}" https://api.lolabits.se/upload -w "\n" $OPTS 2>&1)
	RESUL=$(echo $SALIDA_CURL | jq '.status')
	URL=$(echo $SALIDA_CURL | jq '.data.file.url.full')
	ERROR=$(echo $SALIDA_CURL | jq '.error.message')
	if [ "$RESUL" = "true" ]
	then
		# FUE BIEN MOVEMOS EL FICHERO
		echo "$(date '+%Y/%b/%d %H:%M:%S') - OK - $FILE - ${URL}" | tee -a log_new.txt
		mv $FILE ./subido/.
		return 0
	else
		echo "$(date '+%Y/%b/%d %H:%M:%S') - FAIL - $FILE - $ERROR"  | tee -a log_new.txt
		return 1
	fi

}

if [ ! -d ./subido ]
then
	mkdir subido
fi

trap "trap - SIGTERM && kill -- -$$" SIGINT SIGTERM EXIT

for FILE in *.png
do
	(
	until subida $FILE $@
	do
		#echo "$FILE - ERROR - REINTENTANDO"
		sleep 0.5
	done
	echo "$FILE - SUBIDO"
	) &

done 
wait

También he arreglado que cuando se cortaba la ejecución del script, con Ctrl+C, no se paraban los procesos en 2º plano (la parte del trap)

El log va ahora a "log_new.txt"

Ejemplo de error:

2023/Feb/03 13:23:41 - FAIL - Cliparts_27.png - "Máximo de archivos por hora excedido."

Si va bien, que ahora siempre me falla la subida, debería salir algo parecido a esto:

2023/Feb/03 13:23:41 - OK - Cliparts_27.png - "[Aquí iria la URL del fichero subido]"

El que ponga la extensión a "_png" en la url no le hagas caso, el enlace en si te vale con la parte de la izq:

lolabits.se/y07fCbV0ya/Cliparts_61_png → lolabits.se/y07fCbV0ya (este es válido también)

Si quieres la url corta cambia esta linea:

URL=$(echo $SALIDA_CURL | jq '.data.file.url.full')

por

URL=$(echo $SALIDA_CURL | jq '.data.file.url.short')

Saludos