MathTrail

Für Fachleute

Das Modell schreibt, der Dienst prüft.

Wie MathTrail eine Aufgabe erst dann zu einem Kind lässt, wenn sie 11 Prüfungen bestanden hat, und was die Prüfungen nicht sehen.

Die ganze Studie · PDF, 15 SeitenCode und Daten

Das Modell des Chatsschreibt

AufgabeEin Zaun ist 12 m lang und hat alle 3 m einen Pfosten, beide Enden mitgezählt. Wie viele Pfosten sind es?

Löser12 ÷ 3 + 1 = 5 → C

die Aufgabe und ihr Löserabgelehnt, zurückgeschickt

MathTrailprüft

11 Prüfungender Löser läuft zweimal

genau eine richtige Antwort · für die Klassenstufe lesbarer Text · keine Wiederholung früherer Aufgaben

alle Prüfungen bestanden

Das Kindlöst

  1. A3
  2. B4
  3. C5
  4. D6
  5. E12

die Antwort versiegelt, bis das Kind antwortet

Vier Dinge, die die Studie zeigt

  1. Das Modell des Chats schreibt

    Jede Aufgabe schreibt das Modell des Chats, den die Familie ohnehin nutzt, in der Sprache des Kindes und rund um eine Geschichte, die dem Kind nahe ist. MathTrail ruft kein eigenes Modell auf. Der Dienst ist klein und deterministisch und behält zwischen zwei Anfragen nichts von einem Kind.

    1. Das Modell des Chatsschreibt
    2. MathTrailprüft
    3. Das Kindlöst
  2. Das Lösungsprogramm läuft zweimal

    Zusammen mit der Aufgabe schreibt das Modell ein kurzes Programm, das die Antwort ausrechnet und den Buchstaben der richtigen Antwort nennt. Der Dienst führt es aus, verschiebt die Buchstaben um 2 Stellen, sodass aus A ein C wird, und führt es noch einmal aus. Ein Programm, das die Antwort ausrechnet, findet sie an ihrem neuen Platz; eines, das den Buchstaben von Hand eingetragen hat, findet sie nicht. Der zweite Lauf folgt, sobald der erste genau eine Antwort wählt.

    Erster Lauf

    1. A3
    2. B4
    3. C5
    4. D6
    5. E12

    → C

    Zweiter Lauf, Buchstaben verschoben

    1. A6
    2. B12
    3. C3
    4. D4
    5. E5

    → E

    Ein Programm, das „C“ von Hand eingetragen hat, zeigt im zweiten Lauf auf 3, und die Aufgabe wird abgelehnt.

  3. Die Antwort ist versiegelt

    Antwort, Lösung, Erklärungen und Lösungsprogramm werden verschlüsselt und im Profil des Kindes im Google Drive der Familie gespeichert. Bis das Kind antwortet, stecken sie in nichts, was der Dienst der Karte oder dem Modell des Chats übergibt, und in keinem seiner Protokolle.

    Was das Kind sieht

    der Aufgabentext · das Bild · die Antwortmöglichkeiten · der Tipp

    Versiegelt bis zur Antwort

    die Antwort · die Lösung · die Erklärungen

    XChaCha20-Poly1305 · an Kind und Aufgabe gebunden

    Was das Siegel nicht erreicht, ist der Chat selbst. Das Modell, das die Aufgabe geschrieben hat, kennt ihre Antwort, und das chateigene Protokoll der Tool-Aufrufe zeigt sie jeder erwachsenen Person, die es öffnet.

  4. Etwas schwerer, aber in Reichweite

    Das Lernermodell sagt voraus, wie wahrscheinlich ein Kind eine Aufgabe löst, und der Dienst fordert die Aufgabe an, deren Lösungswahrscheinlichkeit am nächsten bei 77,5 % liegt, der Mitte des Korridors von 70 % bis 85 %. Ein neues Kind durchläuft zuerst eine Proberunde mit 5 Aufgaben, die zeigt, wo es einsteigt.

    P = c + (1 − c) · σ(θ + δt − β)

    • c = 0,2, eine von 5 richtig geraten
    • der angestrebte Korridor

Das Lernermodell, gemessen an seinen Zielen

Wie genau der Dienst einem Kind folgt, wie gut er die Aufgaben in Reichweite hält, wie sicher er ein Thema als gemeistert erklärt und was das Kind spät in einem Durchlauf zu sehen bekommt. Die Zahlen stammen vom Prüfstand mit simulierten Kindern und sind aus dem Code berechnet, aus dem diese Website gebaut ist.

Commit 534aaea3f1ce · 1.000 Kinder × 200 Antworten Seed 20261001

Die Studie beschreibt die Regel so, wie sie beim Commit 52ce86908135 stand, mit dem ihre Zahlen berechnet wurden. Diese Seite folgt dem Dienst, wie er jetzt läuft, deshalb unterscheiden sich die beiden.

  • der Dienst jetzt
  • 95 %-Intervall
  • das Ziel
  • die Obergrenze, eine Schätzung, die weiß, wo das Kind steht

Wie die Schätzung einem Kind folgt

  1. Der Rückstand hinter einem Kind, das dazulernt

    Logits, weniger ist besser · bestmöglich: 0,00

    Vergleichswert

    Ziel ≤ 0,23

    0,520,50–0,54

  2. Aufgaben im Korridor 70 %–85 %

    ein Kind, das dazulernt · Anteil der Aufgaben, mehr ist besser

    Vergleichswert

    Ziel ≥ 44,2 %Obergrenze 61 %

    38 %37,4 %–38,5 %

  3. Nach einem Sprung nicht aufgeholt

    Anteil der Kinder, weniger ist besser

    Nicht erreicht

    Ziel ≤ 25 %

    54,9 %51,7 %–58 %

Wie ein Thema als gemeistert erklärt wird

  1. Fälschlich als gemeistert erklärt

    Anteil an den als gemeistert erklärten Themen, weniger ist besser

    Erreicht

    Ziel ≤ 20 %

    3,6 %3 %–4,2 %

  2. Fälschlich als gemeistert erklärt, Themen weit auseinander

    Anteil an den als gemeistert erklärten Themen, weniger ist besser

    Erreicht

    Ziel ≤ 20 %

    5,8 %5,2 %–6,5 %

  3. Antworten, bis ein Thema als gemeistert gilt

    Antworten, weniger ist besser

    Vergleichswert

    Ziel ≤ 6,8

    4,54,4–4,7

  4. Antworten, bis ein Thema als gemeistert gilt, Themen weit auseinander

    Antworten, weniger ist besser

    Vergleichswert

    Ziel ≤ 7,2

    4,84,6–4,9

Was das Kind spät in einem Durchlauf siehtAntworten 150–200 · Ziel: höchstens so viel wie bei den Antworten 6–20

  1. Wie weit sich die Wertung bewegt

    Punkte bei den meisten Antworten, weniger ist besser

    Erreicht

    Ziel ≤ 73

    4141–42

  2. Wie oft sich der Rang ändert

    Wechsel pro hundert Antworten, weniger ist besser

    Erreicht

    Ziel ≤ 3,9

    1,71,4–2

  3. Die Wertung bei einem Kind, das dazulernt

    Punkte bei den meisten Antworten, weniger ist besser

    Erreicht

    Ziel ≤ 73

    4140–41

  4. Der Rang bei einem Kind, das dazulernt

    Wechsel pro hundert Antworten, weniger ist besser

    Erreicht

    Ziel ≤ 3,5

    1,51,3–1,7

Zum Vergleich, ohne Ziel

  1. Der Fehler der Schätzung nach 200 Antworten

    ein Kind, das stehen bleibt · Logits, weniger ist besser

    0,480,47–0,49

  2. Aufgaben im Korridor 70 %–85 %

    ein Kind, das stehen bleibt · Anteil der Aufgaben, mehr ist besser

    Obergrenze 60,4 %

    42,6 %42,1 %–43,1 %

Erreicht
Das ganze Intervall liegt auf der besseren Seite des Ziels.
Nicht erreicht
Das ganze Intervall liegt auf der schlechteren Seite des Ziels.
Vergleichswert
Das Ziel ist aus der eigenen Zahl des Dienstes abgeleitet; es ist also die Messlatte für die nächste Regel und kein Test der jetzigen.

Echtdaten

Ob sich die Versprechen des Modells bei echten Kindern erfüllen, Monat für Monat. Die Zahlen stammen aus dem Protokoll der Antworten, ohne Namen und ohne Aufgabentexte.

Demnächst

Versprochen → eingetreten

Eingetreten − versprochen, nach Zahl der Antworten

Anteil richtiger Antworten bei den Aufgaben der Regel

Die Zahlen kommen, sobald ein ganzer Monat gezählt ist, Anfang des folgenden Monats.

Ein Bereich wird nur gezeigt, wenn er mindestens 10 Kinder und mindestens 30 Antworten umfasst, und jede Zahl darin wird auf ein Vielfaches von 5 gerundet. Ein kleinerer Bereich wird weggelassen, statt mit einem anderen zusammengelegt zu werden.

Woher die Ideen der Aufgaben stammen

Ideen sind nicht urheberrechtlich geschützt, Texte schon. Deshalb werden aus einem Buch nur die Idee einer Aufgabe und ihre Antwort übernommen; Wortlaut, Geschichte, Antwortmöglichkeiten und Fallen werden neu geschrieben.

Gemeinfrei Das Urheberrecht an diesen Büchern ist abgelaufen. Die Bücher gehören der Allgemeinheit, und alle dürfen sie kostenlos nutzen.

Insgesamt 705 Referenzaufgaben jede mit einem Lösungsprogramm und einer Falle hinter jeder falschen Antwort

  1. 200 · Klassen 1–2
  2. 250 · Klassen 3–4
  3. 255 · Klassen 5–6

Der Stil folgt den sowjetischen Aufgabensammlungen. Ideen, und die Art der Aufgabe hinter vielen Referenzaufgaben, stammen auch aus russischsprachigen Sammlungen von Mathezirkeln und Olympiaden, gelesen in der Aufgabendatenbank problems.ru; ihre Texte sind geschützt, deshalb wird auch von dort nur eine Idee oder eine Art der Aufgabe übernommen, nie ein Text. Eine Referenzaufgabe hat kein Feld für ihre Quelle, deshalb lässt sich nicht sagen, von wem die Idee einer Aufgabe stammt.

Die ganze Studie

Methoden, Tabellen, Protokolle, Grenzen und Ethik der Studie, auf Englisch.

PDF öffnenCode auf GitHub