具体的な実装についてのアイデア

[Silviase]

アイデア・相談事

こんな感じで実装します．まずそうだったら教えて欲しいです

ディレクトリ構成

デコレータを使ってtaskを拾ってくるやり方．現在の実装に近いのでおそらく早めに実装できるはず．

eval_suite/
│
├── __init__.py              # projectパッケージのエントリポイント
│
├── tasks/                   # タスククラスとレジストリ
│   ├── __init__.py
│   ├── registry.py          # レジストリとTaskクラスの定義
│   ├── task_a.py            # タスククラスA
│   └── task_b.py            # タスククラスB　（増えるのは毎回ここだけ）
│
└── metrics/                 # メトリクス関連の処理
    ├── __init__.py
    └── utils.py             # 簡単なメトリクスの実装．使わない可能性は十分あるが…

sample.py                    # eval_suiteを外部から利用するためのサンプルコード．

中身

したいことは以下の２ファイル見れば大抵わかる気がするので，ちょっと綺麗に書いたものを転記します．

tasks/registry.py

# project/tasks/registry.py

task_registry = {}

# 各タスクはこれを継承してよしなに作成する
class Task: 
    def __init__(self, dataset_id):
        self.dataset_id = dataset_id
    
    def load_dataset(self):
        raise NotImplementedError
    
    def preprocess(self, data):
        raise NotImplementedError
    
    def postprocess(self, data):
        raise NotImplementedError
    
    def compute_metrics(self, output):
        raise NotImplementedError

def register_task(task_name):
    def decorator(cls):
        task_registry[task_name] = cls
        return cls
    return decorator

def prepare_task(config):
    """
    configに基づいて適切なタスククラスをインスタンス化して返す。
    """
    dataset_id = config.get("dataset_id")
    task_class = task_registry.get(dataset_id)
    if task_class is None:
        raise ValueError(f"Unknown dataset_id: {dataset_id}")
    return task_class(dataset_id)

sample.py : 修正版

import project

# タスクの準備
cfg = {"dataset_id": "TaskA"} # argparseするなど自由
task = project.prepare_task(cfg)

# データセットのロード
dataset = task.load_dataset()

# データセットを処理して結果を保存
with open('hoge.jsonl', 'w') as f:
    for sample in dataset:
        completion = model.generate(sample) # ここを書いてもらう
        output = {"id": sample["id"], "output": completion}
        f.write(json.dumps(output) + "\n")

# 保存した結果を読み込み
with open('hoge.jsonl', 'r') as f:
    output = [json.loads(line) for line in f]

# メトリクスの計算
metrics = task.compute_metrics(output)
print(metrics)

読んで欲しい人

@odashi