Pueueでローカルジョブを管理する

pueue は、並列ｼﾞｮﾌﾞをﾊﾞｯｸｸﾞﾗｳﾝﾄﾞで管理するRust製の task manager で，例えば以下のような用途に最適です．単一のﾊﾞｲﾅﾘで大体どこでも動作します.

<aside> 🚀

🔀 並列数の管理
📝 実行ログの永続化
⬇️ dataset の DL
🎥 動画 encoding
🧠 モデルの訓練
🐋 docker build
⏲️ ベンチマークの実行
💽 rsync | rclone
🧑🏻‍🔧 大規模な前処理 </aside>

What Pueue is ``not''

<aside> ⚠️

Pueueはﾛｰｶﾙﾏｼﾝなど小規模な用途を前提として設計されています．大規模ｸﾗｽﾀ等では備え付けのjob schedulerを使いましょう https://github.com/Nukesor/pueue?tab=readme-ov-file#what-pueue-is-not

</aside>

Installation

OS間で install 方法を統一したいので cargo か pixi で install します.

pixi global install pueue

レベル1️⃣ : ローカルジョブを管理する

daemon の起動（background）

pueued -d

並列数の指定

pueue parallel 2

タスク追加

pueue add -- <command>
pueue add -- python train.py

なんか適当な download ﾀｽｸを積んでみましょう. ﾀﾞｳﾝﾛｰﾄﾞｽｸﾘﾌﾟﾄ download.sh で各ｺﾏﾝﾄﾞ接頭に pueue add — を付けるだけなので一瞬です.

 ./download.sh
New task added (id 0).
New task added (id 1).
New task added (id 2).
New task added (id 3).
New task added (id 4).
New task added (id 5).
New task added (id 6).
New task added (id 7).
New task added (id 8).
New task added (id 9).
New task added (id 10).
New task added (id 11).
New task added (id 12).
New task added (id 13).
New task added (id 14).

ジョブの状態確認

pueue