メインコンテンツまでスキップ

モデルを試す

README のあの表は、どのモデルが実際にこの仕事をできるかを言っています。 短いのは走らせたものしか載せていないからであり、人が走らせることで伸びます。 これがその課題です。およそ五分。

なぜベンチマークではなく、この課題なのか​

問われているのは、モデルがどれだけ賢いかではありません。 ツールがあるときにそれを使うか、 最初の一画面ではなくファイル全体を読むか、そしてファイルを describe する代わりに、 規則に照らして発見を報告するかです。

これに落ちるモデルは、悪いモデルではありません。 agent 向けに訓練されなかったモデルです —— そして 20GB を落とす前にそれが分かることが、ここでの要点です。

用意する​

ディレクトリ一つと、ファイル二つ。六行、うち三行が誤っています:

invoices.csv

row,invoice,customer,amount,po_number,date
1,INV-2201,Northwind,4200,,2026-08-03
2,INV-2202,Contoso,11800,,2026-08-05
3,INV-2203,Fabrikam,900,PO-771,2026-08-09
4,INV-2204,Northwind,15400,PO-772,2026-08-11
5,INV-2205,Contoso,,PO-773,2026-08-12
6,INV-2206,Tailspin,7300,,2026-13-02

rules.md

# 請求書の規則

- 10,000 を超えるものには発注番号が要る。
- すべての請求書に金額がなければならない。
- 日付は YYYY-MM-DD で、実在する日付でなければならない。

仕込んだ問題は三つ:2 行目(上限超え、発注番号なし)、5 行目(金額なし)、6 行目(13 月)。 4 行目は上限を超え、かつ発注番号があります —— 大きな金額を全部報告するモデルが 正解にならないように、そこに置いてあります。

走らせる​

opencli exec --skip-git-repo-check --sandbox workspace-write \
  -m <your-model> "Use the spreadsheet-review skill on invoices.csv"

採点する​

ツールを呼ぶツールでファイルを読んだか、それとも中身を貼れと言ったか?
3/3 を見つけた三つすべて、そして三つだけ。四つなら一つ捏造しています。
引用した各発見が行番号を挙げ、かつ破っている規則を引いている
数えた締めの一行が六行と言う。五行なら記憶から数えています

三つ見つけても、どの行かを言えないモデルは仕事をしていません: **査読の産出物のすべては「どこを見ればよいか」**です。

送る​

README の表に一行足すプルリクエスト、あるいは出力を貼った issue を開いてください。含めるもの:

  • モデル名を、その実行環境が名づけるとおり正確に(qwen3-coder:30b、「Qwen」ではなく)
  • 実行環境 —— Ollama、LM Studio、vLLM、llama.cpp、ホスト型のエンドポイント
  • 設定したコンテキストウィンドウ
  • 四つの欄が捉えきれない、そのモデルがやったこと

負の結果は正の結果と同じだけの値打ちがあり、しかも手に入りにくい —— 動かなかったモデルのことは誰も投稿しません。 「このモデルはツールを呼べない」という一行は、読んだ全員のダウンロード一回を節約します。