OK, at the end I did it : I parallelized my highly inefficient code with joblib.readthedocs.io/en/lates
I discovered you can plug as joblib backend too !!! ml.dask.org/joblib.html

This would be amazing, if I only had a cluster to play with....

#python #joblib #dask

Last updated 3 years ago

lully1804 · @lully1804
101 followers · 93 posts · Server mastodon.world

Depuis plusieurs semaines, la des tâches avec dans plantait quand le script était compilé. Solution : mettre à la fonction joblib.Parallel() un paramètre explicite prefer="threads" (je ne sais pas pourquoi, je suis sûr que c'est très logique, mais maintenant ça marche et je peux retravailler sur )

#parallélisation #joblib #python #Bibliostratus

Last updated 3 years ago