Was vollständig ankommt und was nur als Name

Retrieval hat zwei Aufgaben. Das richtige Wissen auszuwählen ist die bekannte. Zu entscheiden, wie viel Platz jeder ausgewählte Eintrag bekommt, ist die, an der sich entscheidet, ob die gute Antwort überhaupt hineinpasst.

Ein einfacheres Design beantwortet die zweite Frage mit einer einzigen Regel: Alles, was in der Priorisierung auftaucht, geht als vollständiger Inhalt raus, in der Reihenfolge der Priorität, bis der Platz aufgebraucht ist. Der Eintrag auf Platz acht wird genauso behandelt wie der auf Platz eins, und der nächste bekommt gar nichts, selbst wenn er relevant ist. Relevanz bestimmt die Reihenfolge und sonst nichts.

In Pathrule bestimmt Relevanz die Form.

Drei Formen, eine Priorisierung

• Die wenigen nächstliegenden Einträge kommen als vollständiger Inhalt. Der Assistent liest sie und handelt, ohne separaten Abruf und ohne Roundtrip.
• Alles andere Relevante kommt als Name, ID und eine Zeile. Das reicht, damit der Assistent den Eintrag erkennt und den Inhalt abruft, wenn er sich als wichtig herausstellt.
• Skills kommen nur namentlich, egal wie hoch ihre Priorität ist. Mehr dazu weiter unten.

Die entscheidende Eigenschaft steht am Ende der Liste: Ein relevanter Eintrag wird nicht aus Platzmangel verworfen. Was nicht ins Budget pro Prompt passt, wird mit seinem Titel aufgeführt, und erst die günstige Form macht das bezahlbar.

Wie viele Einträge vollständig ankommen, ist so gewählt, dass die stärksten Treffer komplett bleiben und das Ganze trotzdem weniger kostet, als jeden priorisierten Eintrag vollständig zu schicken. Das genaue Budget ist Teil der Engine von Pathrule und kann sich zwischen Releases ändern.

Warum ein Skill nie mitgeschickt wird

Eine Memory ist ein Fakt. Eine Regel ist eine Vorgabe. Beides sollte ein Assistent bei der Arbeit einfach wissen, deshalb kann beides als Inhalt ankommen.

Ein Skill ist eine Prozedur. Wer eine Prozedur in den Kontext eines Turns legt, der nicht danach gefragt hat, informiert den Assistenten nicht, sondern gibt ihm Anweisungen, und ein Assistent, dem man eine Checkliste in die Hand drückt, arbeitet sie in der Regel auch ab. Skills werden deshalb namentlich angeboten, und der Assistent greift zu einem, wenn die Arbeit tatsächlich die ist, die der Skill beschreibt. Ruft er ihn auf, etwa mit ::skill-name, kommt der vollständige Inhalt dazu. Was ein Skill sein soll, steht unter Skills schreiben.

Auch Regeln müssen sich ihren Platz verdienen

Würden Regeln den Relevanztest überspringen, könnte eine Vorgabe zu Datenbankmigrationen die Memory verdrängen, die eine Frage zu einem Button beantwortet hätte. Regeln durchlaufen deshalb denselben Relevanztest wie alles andere, und eine fachfremde Regel kommt als Name an, statt einen vollen Platz zu belegen.

Die Ausnahme ist gewollt: Eine als strikt markierte Regel behält ihren Inhalt, denn eine harte Vorgabe, deren Verletzung eine Regression verursacht, ist nichts, woran man sparen sollte. Siehe Regeln als Leitplanken.

Erst die Herabstufung macht Relevanz beobachtbar

Es gibt einen zweiten Grund, warum die günstige Form wichtig ist, und dabei geht es ums Lernen statt um Kosten.

Wenn jeder priorisierte Eintrag als Inhalt mitgeschickt wird, erfährt die Schicht nie, ob einer davon gewollt war. Ein Inhalt, der ungefragt ankommt, liefert in keine Richtung einen Beleg. Bei einem angebotenen Namen ist das anders: Der Assistent ruft ihn ab oder eben nicht, und ein Abruf ist eine bewusste Handlung derjenigen Partei, die weiß, was die Arbeit gebraucht hat.

Dieser Abruf ist ein nützliches Relevanzsignal, und ein Eintrag, der immer wieder abgerufen wird, kommt beim nächsten Mal eher vollständig an. Das passt in den größeren Kreislauf, der unter Wie Retrieval das richtige Wissen findet beschrieben ist: Die Schicht misst, was sie ausgeliefert hat, statt den Assistenten um Rückmeldung zu bitten.

Die Schwelle muss in jeder Sprache tragen

Ob ein Eintrag überhaupt geschickt wird, hängt von einer Relevanzschwelle ab, und diese Schwelle kann unbemerkt von der Sprache abhängen. Dieselbe Memory kann gegenüber einem englischen Prompt auf eine Weise abschneiden und gegenüber einer treuen Übersetzung desselben Prompts schlechter, weil bedeutungsbasierter Abgleich für dieselbe Idee nicht in allen Sprachen identische Ergebnisse liefert. Eine Schwelle, die nur an englischen Prompts abgestimmt ist, würde die anderen Sprachen abschneiden, ohne dass es jemand merkt, und das Symptom wäre kein Fehler. Es wäre ein Team, das seine Prompts auf Türkisch schreibt und weniger Kontext bekommt als ein Team, das dieselben Prompts auf Englisch schreibt.

Deshalb liegt die Schwelle dort, wo sie über Sprachen hinweg trägt, und Pathrule prüft das mit Prompts in mehreren Sprachen, statt es einfach anzunehmen. Wie solche Aussagen geprüft werden, beschreibt Wie Pathrule harte Aussagen belegt.

Ein Prompt mit zwei Fragen bekommt Wissen für beide

Bei einer einzelnen Frage funktioniert bedeutungsbasierter Abgleich gut. Bei zwei Fragen in derselben Nachricht hat er ein strukturelles Problem: Die Anfrage wird zu einem einzigen Durchschnitt zweier verschiedener Ideen, und ein Durchschnitt aus zwei Dingen liegt oft keinem von beiden nahe. Der Eintrag, der deine erste Frage beantwortet, und der, der deine zweite beantwortet, können beide an einer Schwelle scheitern, die jeder für sich allein locker genommen hätte.

Pathrule liest eine mehrteilige Anfrage als ihre einzelnen Teile. Jeder Teil wird separat abgeglichen und die Ergebnisse werden zusammengeführt, sodass eine zweiteilige Frage Wissen für beide Teile bekommt, während eine einteilige Frage wie bisher abgeglichen wird.

Der verfügbare Platz wächst mit der Frage, nicht mit dem Workspace. Zwei Dinge zu fragen kostet etwas mehr als eines. Zehntausend Memories statt hundert zu haben kostet gleich viel.

Weiterlesen

• Wie Retrieval das richtige Wissen findet zur Auswahl, auf der dieses Auslieferungsmodell aufsetzt.
• So funktionieren Hooks dazu, wie der ausgewählte Ausschnitt den Assistenten vor seinem ersten Tool-Aufruf erreicht.
• Wie Pathrule harte Aussagen belegt dazu, wie Aussagen wie das sprachübergreifende Verhalten getestet werden.