MathTrail
语言 ZH
添加到 Claude
菜单

写给技术读者

模型出题， 服务检查。

MathTrail 如何让一道题只有在通过11项检查之后才能送到孩子面前，以及这些检查看不到什么。

完整论文 · PDF，15页代码和数据

聊天模型出题

题目篱笆长12米，每隔3米有一根柱子，两端都有。一共有几根柱子？

求解程序12 ÷ 3 + 1 = 5 → C

题目和它的求解程序被拒绝，退回

MathTrail检查

11项检查求解程序运行两次

只有一个正确选项 · 用词适合该年级 · 不与之前的题重复

通过了全部检查

孩子解题

  1. A3
  2. B4
  3. C5
  4. D6
  5. E12

答案密封，直到孩子作答

论文表明的四件事

  1. 聊天模型出题

    每道题都由一家人已经在用的聊天应用中的模型来写，使用孩子的语言，故事也贴近孩子。MathTrail 自己不调用任何模型。它是一个小型的确定性服务，在两次请求之间不保留孩子的任何信息。

    1. 聊天模型出题
    2. MathTrail检查
    3. 孩子解题

  2. 求解程序运行两次

    模型在写题的同时，还会写一个小程序，用来算出答案并给出正确选项的字母。服务运行这个程序，然后把选项字母向后移2位，于是A变成C，再运行一次。真正计算答案的程序会在新位置上找到答案，而把字母写死的程序则找不到。只有第一次运行恰好选出一个选项，才会进行第二次运行。

    第一次运行

    1. A3
    2. B4
    3. C5
    4. D6
    5. E12

    → C

    第二次运行，字母已移位

    1. A6
    2. B12
    3. C3
    4. D4
    5. E5

    → E

    把“C”写死的程序，在第二次运行时会指向3，这道题就会被拒绝。

  3. 答案是密封的

    答案、解答、讲解和求解程序都经过加密，保存在家长 Google 云端硬盘里的孩子档案中。在孩子作答之前，服务交给卡片或聊天模型的任何内容中都没有它们，服务的日志里也没有。

    孩子能看到的

    题目 · 图 · 选项 · 提示

    作答前保持密封

    答案 · 解答 · 讲解

    XChaCha20-Poly1305 · 与孩子和题目绑定

    密封管不到的是聊天本身。写题的模型知道答案，而聊天自己保存的工具调用记录，会把答案显示给打开它的成年人。

  4. 稍难一点，但力所能及

    学生模型预测孩子解出一道题的可能性有多大，服务则请求答对概率最接近77.5%的那道题，这个值是从70%到85%的目标区间的中点。新来的孩子先做5道题的定级练习，用来找到起点。

    P = c + (1 − c) · σ(θ + δt − β)

    • c = 0.2，从5个选项中猜中一个
    • 瞄准的目标区间

学生模型对照目标

服务对孩子水平的跟踪有多紧，让题目保持在力所能及范围内的效果如何，判定专题已掌握有多可靠，以及作答后期孩子会看到什么。这些数字来自测试台上模拟的孩子，由构建本网站的同一份代码计算得出。

提交（commit）534aaea3f1ce · 1,000名孩子 × 200次作答 随机种子20261001

论文报告的是规则在提交（commit）52ce86908135 时的样子，论文的数字就是在这个提交上算出的。本页跟随服务现在的运行情况，所以两者会有差异。

  • 当前的服务
  • 95%区间
  • 目标
  • 上限，即知道孩子真实水平的理想估计

估计如何跟上孩子

  1. 对在进步的孩子的滞后

    logit，越小越好 · 理论最优为0.00

    基线

    目标 ≤ 0.23

    0.520.50–0.54

  2. 落在目标区间70%–85%内的题

    在进步的孩子 · 题目占比，越大越好

    基线

    目标 ≥ 44.2%上限61%

    38%37.4%–38.5%

  3. 水平跃升后仍未跟上

    孩子占比，越小越好

    未达到

    目标 ≤ 25%

    54.9%51.7%–58%

如何判定已掌握

  1. 误判为已掌握

    占所有“已掌握”判定的比例，越小越好

    已达到

    目标 ≤ 20%

    3.6%3%–4.2%

  2. 误判为已掌握，各专题水平相差大

    占所有“已掌握”判定的比例，越小越好

    已达到

    目标 ≤ 20%

    5.8%5.2%–6.5%

  3. 判定已掌握前的作答次数

    作答次数，越少越好

    基线

    目标 ≤ 6.8

    4.54.4–4.7

  4. 判定已掌握前的作答次数，各专题水平相差大

    作答次数，越少越好

    基线

    目标 ≤ 7.2

    4.84.6–4.9

作答后期孩子看到的内容第150–200次作答 · 目标是不超过第6–20次作答时的值

  1. 评分变动幅度

    大多数作答的变动分数，越小越好

    已达到

    目标 ≤ 73

    4141–42

  2. 等级变化频率

    每一百次作答的变化次数，越少越好

    已达到

    目标 ≤ 3.9

    1.71.4–2

  3. 评分，在进步的孩子

    大多数作答的变动分数，越小越好

    已达到

    目标 ≤ 73

    4140–41

  4. 等级，在进步的孩子

    每一百次作答的变化次数，越少越好

    已达到

    目标 ≤ 3.5

    1.51.3–1.7

仅供对比，没有目标

  1. 200次作答后的估计误差

    原地不动的孩子 · logit，越小越好

    0.480.47–0.49

  2. 落在目标区间70%–85%内的题

    原地不动的孩子 · 题目占比，越大越好

    上限60.4%

    42.6%42.1%–43.1%

已达到
整个区间都落在目标较好的一侧。
未达到
整个区间都落在目标较差的一侧。
基线
目标取自服务自己的数字，因此它是给下一版规则立的标杆，而不是对这一版规则的检验。

真实数据

模型的承诺在真实的孩子身上是否兑现，逐月来看。数字来自作答日志，不含姓名，也不含任何题目的文本。

即将公布

承诺 → 兑现

兑现 − 承诺，按作答序号

规则所选题目的答对比例

一整个月统计完之后，数字会在下个月月初公布。

只有包含至少10名孩子、至少30次作答的区段才会显示，其中每个计数都取整为5的倍数。更小的区段直接略去，不与其他区段合并。

题目的思路从何而来

思路不受著作权保护，文字才受保护。所以从书中只取题目的思路和答案，题目的措辞、故事、选项和陷阱都重新编写。

已进入公有领域 这些书的著作权保护期已满。它们属于所有人，任何人都可以免费使用。

共705道参考题 每道题都有求解程序，每个错误选项背后都有一个陷阱

  1. 200 · 1–2年级
  2. 250 · 3–4年级
  3. 255 · 5–6年级

题目风格沿袭苏联的习题集。思路以及许多参考题的题型，也取自俄语的数学兴趣小组和奥林匹克竞赛习题集，这些习题集是在题库problems.ru中读到的；它们的文字受版权保护，所以从中也只取思路或题型，从不取原文。参考题没有记录出处的字段，所以无法说出某道题的思路出自哪位作者。

完整论文

包含方法、表格、实验方案、局限性和伦理问题，以英文撰写。

打开 PDFGitHub 上的代码