MathTrail
言語 JA
Claude に追加
メニュー

技術者向け

モデルが書き、 サービスがチェックする。

MathTrail は、11項目のチェックをすべて通った問題だけを子どもに届けます。その仕組みと、チェックでは見えないことを説明します。

論文全文 · PDF、15ページコードとデータ

チャットのモデル書く

問題長さ12mのさくに、両はしもふくめて3mごとに柱が立っています。柱は何本ありますか。

ソルバー12 ÷ 3 + 1 = 5 → C

問題とそのソルバー却下して差し戻す

MathTrailチェックする

11項目のチェックソルバーを二度実行

正解の選択肢はただ一つ · その学年で読める言葉 · 以前の問題と重複しない

すべてのチェックに合格

子ども解く

  1. A3
  2. B4
  3. C5
  4. D6
  5. E12

答えは子どもが答えるまで封印

論文が示す四つのこと

  1. チャットのモデルが書く

    問題はすべて、ご家庭がすでに使っているチャットのモデルが、子どもの言語で、子どもに身近なお話に仕立てて書きます。MathTrail は独自のモデルを呼び出しません。リクエストをまたいで子どもについて何も保持しない、小さな決定的サービスです。

    1. チャットのモデル書く
    2. MathTrailチェックする
    3. 子ども解く

  2. ソルバーを二度実行する

    モデルは問題と一緒に、答えを計算して正しい選択肢の記号を示す短いプログラムを書きます。サービスはそれを実行し、AがCになるように記号を2つずらして、もう一度実行します。答えを計算で求めるプログラムなら新しい位置で答えを見つけますが、記号を手で書き込んだプログラムは見つけられません。再実行は、最初の実行で選ばれた選択肢がちょうど一つだったときに行います。

    最初の実行

    1. A3
    2. B4
    3. C5
    4. D6
    5. E12

    → C

    記号をずらして再実行

    1. A6
    2. B12
    3. C3
    4. D4
    5. E5

    → E

    「C」と手で書き込んだプログラムは、再実行では3を指すので、問題は却下されます。

  3. 答えは封印される

    答え、解き方、解説、ソルバーは暗号化され、保護者の Google ドライブにある子どものプロフィールに保存されます。子どもが答えるまで、それらはサービスがカードやチャットのモデルに渡すものには一切含まれず、サービスのどのログにも残りません。

    子どもに見えるもの

    問題文 · 図 · 選択肢 · ヒント

    答えるまで封印

    答え · 解き方 · 解説

    XChaCha20-Poly1305 · 子どもと問題にひもづけ

    封印が及ばないのは、チャットそのものです。問題を書いたモデルはその答えを知っています。また、モデルが呼び出したツールをチャット自身が記録していて、大人がその記録を開けば答えが見えます。

  4. 少し難しいけれど、手が届く

    学習者モデルは、子どもがその問題を解ける確率を予測します。サービスは、その確率が77.5%（70%から85%までの目標帯の中央）にいちばん近い問題を求めます。初めての子どもは、まず5問の実力チェックを受け、そこで出発点が決まります。

    P = c + (1 − c) · σ(θ + δt − β)

    • c = 0.2、5択のあてずっぽう
    • ねらう目標帯

学習者モデルを目標と比べる

サービスが子どもにどれだけ正確についていくか、問題をどれだけ手の届く範囲に保てるか、テーマのマスターをどれだけ確実に判定するか、そして解き進めた終盤に子どもに何が表示されるか。数値は、仮想の子どもで測ったベンチの結果で、このサイトのビルドに使ったのと同じコードから計算しています。

コミット 534aaea3f1ce · 1,000人 × 200件の解答 シード：20261001

論文は、その数値を計算したコミット 52ce86908135 の時点のルールを報告しています。このページは今動いているサービスに合わせているので、両者の数値は異なります。

  • 現在のサービス
  • 95%区間
  • 目標
  • 天井（子どもの本当の力を知っている推定）

推定が子どもにどうついていくか

  1. 学んで伸びる子に対する遅れ

    ロジット、小さいほどよい · 可能な最善値は0.00

    ベースライン

    目標 ≤ 0.23

    0.520.50〜0.54

  2. 目標帯70%〜85%に入る問題

    学んで伸びる子 · 問題の割合、大きいほどよい

    ベースライン

    目標 ≥ 44.2%天井：61%

    38%37.4%〜38.5%

  3. 急な伸びに追いつけていない

    子どもの割合、小さいほどよい

    未達

    目標 ≤ 25%

    54.9%51.7%〜58%

マスターをどう判定するか

  1. 誤ったマスター判定

    マスター判定に占める割合、小さいほどよい

    達成

    目標 ≤ 20%

    3.6%3%〜4.2%

  2. 誤ったマスター判定（テーマ同士が離れている場合）

    マスター判定に占める割合、小さいほどよい

    達成

    目標 ≤ 20%

    5.8%5.2%〜6.5%

  3. マスター判定までの解答数

    解答数、少ないほどよい

    ベースライン

    目標 ≤ 6.8

    4.54.4〜4.7

  4. マスター判定までの解答数（テーマ同士が離れている場合）

    解答数、少ないほどよい

    ベースライン

    目標 ≤ 7.2

    4.84.6〜4.9

解き進めた終盤に子どもに表示されるもの150〜200回目の解答 · 目標は6〜20回目の解答での値以下

  1. レーティングの動く幅

    大半の解答で動くポイント数、小さいほどよい

    達成

    目標 ≤ 73

    4141〜42

  2. ランクが変わる頻度

    解答百件あたりの変化の回数、少ないほどよい

    達成

    目標 ≤ 3.9

    1.71.4〜2

  3. レーティング（学んで伸びる子）

    大半の解答で動くポイント数、小さいほどよい

    達成

    目標 ≤ 73

    4140〜41

  4. ランク（学んで伸びる子）

    解答百件あたりの変化の回数、少ないほどよい

    達成

    目標 ≤ 3.5

    1.51.3〜1.7

比較用（目標なし）

  1. 200件の解答のあとの推定の誤差

    力が変わらない子 · ロジット、小さいほどよい

    0.480.47〜0.49

  2. 目標帯70%〜85%に入る問題

    力が変わらない子 · 問題の割合、大きいほどよい

    天井：60.4%

    42.6%42.1%〜43.1%

達成
区間全体が、目標よりよい側にあります。
未達
区間全体が、目標より悪い側にあります。
ベースライン
目標はサービス自身の数値から決めたものなので、このルールを試すものではなく、次のルールが越えるべき基準です。

実データ

モデルの約束が、実際の子どもたちで実現しているかどうかを、月ごとに示します。数値は解答のログから求めたもので、名前も問題文も含みません。

準備中

約束 → 実現

実現 − 約束（解答の回数別）

ルールが選んだ問題での正解率

数値は、ひと月分をまるごと数え終えたあと、翌月の初めに出ます。

範囲は、少なくとも10人と30件の解答が集まったときだけ表示し、その中の数はすべて5の倍数に丸めます。それより小さい範囲は、ほかの範囲とまとめずに省きます。

問題のアイデアの出どころ

アイデアは著作権で守られませんが、文章は守られます。そのため、本から取り入れるのは問題のアイデアと答えだけで、問題文、お話、選択肢、ひっかけは新しく書いています。

パブリックドメイン これらの本は著作権の保護期間が終わっています。みんなのものであり、だれでも無料で使えます。

全部で705問のお手本問題 どれもソルバーつきで、間違った選択肢にはそれぞれひっかけがある

  1. 200問 · 1〜2年生
  2. 250問 · 3〜4年生
  3. 255問 · 5〜6年生

文体はソ連の問題集にならっています。アイデアと、多くのお手本問題の問題の型は、ロシア語の数学サークルやオリンピックの問題集からも取っていて、それらは問題データベースのproblems.ruで読みました。その文章は守られているため、そこからもアイデアか問題の型だけを取り入れ、文章は取り入れません。お手本問題には出典を記す欄がないため、個々の問題のアイデアの作者を示すことはできません。

論文全文

手法、表、プロトコル、限界、倫理をまとめた論文です。英語で書かれています。

PDF を開くGitHub のコード