MathTrail

Модель пишет, сервис проверяет.

Как MathTrail допускает до ребёнка только задачи, прошедшие 10 проверок, и чего проверки не видят.

Код и данные

Модель чатапишет

задачаЗабор длиной 12 м, столбы через каждые 3 м, включая концы. Сколько столбов?

решатель12 : 3 + 1 = 5 → C

задача и решательотказ — обратно

MathTrailпроверяет

10 проверокрешатель — дважды

один верный вариант · текст по силам классу · нет повтора прошлых задач

прошла все проверки

Ребёнокрешает

  1. A3
  2. B4
  3. C5
  4. D6
  5. E12

ответ запечатан до ответа ребёнка

Четыре вывода статьи

  1. Пишет модель чата

    Каждую задачу пишет модель того чата, которым семья уже пользуется, на языке ребёнка и в близком ему сюжете. Сам MathTrail моделей не вызывает. Это небольшой детерминированный сервис, который ничего не хранит о ребёнке между запросами.

    1. Модель чатапишет
    2. MathTrailпроверяет
    3. Ребёнокрешает
  2. Решатель запускается дважды

    Вместе с задачей модель пишет короткую программу, которая вычисляет ответ и называет букву верного варианта. Сервис запускает её, сдвигает буквы на 2 позиции, так что A становится C, и запускает снова. Программа, которая честно считает, найдёт ответ на новом месте, а та, что вписала букву вручную, не найдёт. Второй запуск бывает, когда первый выбрал ровно один вариант.

    Первый запуск

    1. A3
    2. B4
    3. C5
    4. D6
    5. E12

    → C

    Второй запуск, буквы сдвинуты

    1. A6
    2. B12
    3. C3
    4. D4
    5. E5

    → E

    Программа, вписавшая «C» вручную, во втором запуске укажет на 3, и задачу отвергнут.

  3. Ответ запечатан

    Ответ, решение, объяснения и сам решатель зашифрованы и лежат в профиле ребёнка на Google Диске родителя. Пока ребёнок не ответил, их нет ни в том, что сервис отдаёт карточке и модели чата, ни в его журналах.

    Видит ребёнок

    вопрос · рисунок · варианты · подсказка

    Запечатано до ответа

    ответ · решение · объяснения

    XChaCha20-Poly1305 · привязано к ребёнку и задаче

    Печать не закрывает сам чат. Модель, которая написала задачу, знает ответ, а журнал вызовов в чате показывает его взрослому, если тот его откроет.

  4. Чуть сложнее, но посильно

    Модель ученика предсказывает, с какой вероятностью ребёнок решит задачу, и сервис заказывает ту, у которой шанс ближе всего к 77,5 %, середине коридора от 70 % до 85 %. Новый ребёнок сначала проходит пробную серию из 5 задач, и так находится его стартовый уровень.

    P = c + (1 − c) · σ(θ + δt − β)

    • c = 0,2 — угадать один из 5
    • целевой коридор

Модель ученика: цифры и цели

Как точно сервис следует за ребёнком, насколько он держит задачи посильными, как уверенно объявляет тему освоенной и что ребёнок видит в конце серии. Числа получены на стенде с симулированными детьми из того же кода, из которого собран этот сайт.

коммит 7108ac9406e6 · 1 000 детей × 200 ответов зерно 20261001

Статья описывает правило на коммите 52ce86908135, на котором посчитаны её числа. Эта страница следует за сервисом, каким он работает сейчас, поэтому числа расходятся.

  • сервис сейчас
  • 95 % интервал
  • цель
  • потолок — оценка, которая знает уровень ребёнка

Как оценка следует за ребёнком

  1. Отставание от ребёнка, который учится

    логит, меньше — лучше · лучшее возможное — 0,00

    Планка

    цель ≤ 0,24

    0,540,52–0,56

  2. Задачи в коридоре 70 %–85 %

    ребёнок учится · доля задач, больше — лучше

    Планка

    цель ≥ 43,9 %потолок 61,1 %

    37,5 %36,9 %–38 %

  3. Не догнаны после рывка

    доля детей, меньше — лучше

    Не достигнута

    цель ≤ 25 %

    56,8 %53,8 %–59,8 %

Как объявляется освоение

  1. Ложные «тема освоена»

    доля объявлений, меньше — лучше

    Достигнута

    цель ≤ 20 %

    3,6 %3,1 %–4,2 %

  2. Ложные «тема освоена», далёкие темы

    доля объявлений, меньше — лучше

    Достигнута

    цель ≤ 20 %

    5,9 %5,2 %–6,6 %

  3. Ответов до «тема освоена»

    ответов, меньше — лучше

    Планка

    цель ≤ 6,9

    4,64,5–4,8

  4. Ответов до «тема освоена», далёкие темы

    ответов, меньше — лучше

    Планка

    цель ≤ 7,4

    4,94,7–5,1

Что видит ребёнок в конце серииответы 150–200 · цель — не больше, чем на ответах 6–20

  1. Насколько сдвигается рейтинг

    очков на большинстве ответов, меньше — лучше

    Достигнута

    цель ≤ 73

    4140–41

  2. Как часто меняется ранг

    смен на сотню ответов, меньше — лучше

    Достигнута

    цель ≤ 3,8

    1,61,4–1,9

  3. Рейтинг, ребёнок учится

    очков на большинстве ответов, меньше — лучше

    Достигнута

    цель ≤ 73

    4040–41

  4. Ранг, ребёнок учится

    смен на сотню ответов, меньше — лучше

    Достигнута

    цель ≤ 3,6

    1,71,4–1,9

Для сравнения, без цели

  1. Ошибка оценки после 200 ответов

    ребёнок не меняется · логит, меньше — лучше

    0,480,48–0,49

  2. Задачи в коридоре 70 %–85 %

    ребёнок не меняется · доля задач, больше — лучше

    потолок 60,7 %

    42,8 %42,3 %–43,3 %

Достигнута
Весь интервал — по лучшую сторону цели.
Не достигнута
Весь интервал — по худшую сторону цели.
Планка
Цель выведена из числа самого сервиса: это ориентир для следующего правила, а не проверка нынешнего.

Живые данные

Здесь видно, сбываются ли обещания модели у настоящих детей, месяц за месяцем. Числа берутся из журнала ответов без имён и без текстов задач.

Скоро

Обещано → сбылось

Сбылось − обещано, по числу ответов

Доля верных на задачах правила

Числа появятся, когда будет посчитан целый месяц, в начале следующего месяца.

Диапазон показывается, только если в нём 10 детей или больше и 30 ответов или больше, а каждое число в нём округлено до кратного 5. Меньший диапазон не показывается и не сливается с другими.

Откуда взялись эталонные задачи

Идеи не охраняются авторским правом, а текст охраняется. Поэтому из книги берутся только идея задачи и ответ, а формулировку, сюжет, варианты и ловушки мы пишем заново.

Общественное достояние Срок охраны авторских прав на эти книги истёк. Они принадлежат всем, и пользоваться ими можно бесплатно.

Итог — 603 эталонные задачи у каждой — решатель и ловушка за каждым неверным вариантом

  1. 200 · 1–2 класс
  2. 250 · 3–4 класс
  3. 153 · 5–6 класс

Стиль задач следует советским сборникам. У эталонных задач нет поля «источник», поэтому автора идеи конкретной задачи указать нельзя.

Статья целиком

Методы, таблицы, протоколы, ограничения и этика. PDF появится, когда в статье будут указаны авторы и архив.

Код на GitHub