MIT Researchers Introduzieren ‘SEAL’: Ein Wendepunkt in der Entwicklung selbstverbessernder KI

MIT-Forscher haben SEAL (Self-Adapting Language Models) vorgestellt, ein Framework, das großen Sprachmodellen ermöglicht, ihre eigenen Trainingsdaten zu generieren und ihre eigenen Gewichte durch verstärkungsbasiertes selbstgesteuertes Editieren zu aktualisieren. Das in dieser Woche erschienene Papier erscheint inmitten einer breiteren Welle der selbstverbessernden KI-Forschung und einer intensiven Debatte über rekursive Systeme. Es bietet konkrete Methodik und messbare Ergebnisse statt Spekulation.

Eilig? Hier ist das Wesentliche:

• 🚀 Testen Sie SEAL zunächst bei einer engen, hochwertigen Aufgabe, bevor Sie skalieren.
• 🧭 Verfolgen Sie die Downstream-Metriken für Belohnungen, nicht Stellvertreterwerte.
• 🧱 Isolieren Sie Updates mit Versionierung, um Rückschritte zu vermeiden.
• 🛡️ Fügen Sie Schutzmaßnahmen für Datenqualität und katastrophales Vergessen hinzu.

Wie MITs SEAL funktioniert: Verstärkungsbasiertes selbstgesteuertes Editieren für selbstverbessernde KI

Das zentrale Prinzip von SEAL ist einfach zu formulieren, aber schwer umzusetzen: Lassen Sie ein Sprachmodell strukturierte „Selbst-Edits“ (SEs) erzeugen – synthetische Trainingsbeispiele und Aktualisierungsanweisungen –, wenden Sie diese Edits durch Feintuning an und verbessern Sie die Policy, die die Edits generiert, mithilfe von Verstärkungslernen. Die Wirksamkeit eines Selbst-Edits wird anhand der Downstream-Leistung des Modells bei einer festgelegten Evaluationsaufgabe beurteilt, womit das Lernen direkt an Ergebnisse gebunden wird und nicht an Stellvertreterwerte.

SEAL kann als zwei Schleifen verstanden werden. Die äußere Schleife ist eine RL-Policy, die Kandidaten für Selbst-Edits bedingt durch eine Aufgabeninstanz (Kontext C, Bewertung τ) vorschlägt. Die innere Schleife führt ein kleines überwachtes Feintuning durch und erzeugt θ′ aus θ mit dem generierten Selbst-Edit. Nach der Bewertung an τ aktualisiert die beobachtete Belohnung die äußere Policy. Diese Darstellung entspricht dem Meta-Learning, da das System eine Strategie zum Erstellen eigener Trainingsdaten erlernt, die verlässliche Verbesserungen bringt.

Das Team berichtet, dass Standard-Online-RL-Methoden wie GRPO und PPO für dieses Problem instabil waren. Stattdessen verwenden sie ReST^EM, einen filterbasierten Ansatz, inspiriert von früherer Arbeit von DeepMind. Konzeptuell generiert der E-Schritt Kandidaten-Edits aus der aktuellen Policy; der M-Schritt wendet überwachte Updates nur für Edits an, die eine Leistungsschwelle überschreiten. Dieses „Ernte die guten Beispiele“-Rezept vermeidet Oszillation und Zusammenbruch und ist vergleichsweise einfach zu implementieren.

Warum SEALs Zwei-Schleifen-Design das Update-Spiel verändert

Traditionelle Post-Training-Pipelines verlassen sich auf kuratierte Daten und manuelle Überwachung. SEAL ersetzt einen Teil dieser Pipeline durch selbstgenerierte, aufgabenspezifische Daten, die von der Aufgabe selbst validiert werden. Die Vorteile sind am stärksten, wenn die Aufgabe häufige, verlässliche Feedbacksignale liefert – beispielsweise das Beantworten von Fragen zu einem neuen Artikel oder das Lösen eines eng definierten Problems. Indem Belohnungen an die Leistung des aktualisierten Modells gekoppelt werden, entmutigt SEAL oberflächliche Edits und belohnt Edits, die generalisieren.

• 🧠 Meta-Learning-Effekt: Das Modell lernt, welche Trainingsbeispiele ihm helfen zu verbessern.
• 🔁 Schnelle Anpassung: Kleine, häufige Updates mit relevanten Daten erhalten die Dynamik.
• 🧪 Eingebaute Validierung: Nur Edits, die Scores verbessern, werden verstärkt.
• 🧯 Stabilität durch ReST^EM: Filterung verhindert riskante Policy-Updates.

Aus Systemperspektive spielt SEAL auch gut mit einem Ökosystem von KI-Tools zusammen. Hardware von NVIDIA beschleunigt die häufigen Updates in der inneren Schleife. Plattformen zur Versuchsverfolgung können Editqualität und Belohnungsverläufe protokollieren. Und während das Papier ein Modell verwendet, um Edits sowohl zu generieren als auch anzuwenden, ist eine Lehrer-Schüler-Aufteilung möglich: Ein Modell schlägt Edits vor, ein kleineres Modell wendet sie an, und eine dritte Komponente prüft die Ergebnisse.

Da Edits anhand von aufgabenbasierten Ergebnissen gemessen werden, fokussiert SEAL das Lernen dort, wo es zählt, und tut dies wiederholt, wodurch die Behauptung „selbstverbessernd“ konkret statt spekulativ wird.

Vorteile und Anwendungsfälle: SEAL in Wissensintegration und Few-Shot Learning

SEAL wurde in zwei Domänen umgesetzt: Wissensintegration (Einarbeitung frischer Fakten in Gewichte) und Few-Shot-Learning (schnelle Anpassung anhand weniger Beispiele). Obwohl dies akademisch klingt, sind die Implikationen äußerst praxisnah. Betrachten wir eine Support-Plattform für den Mittelmarkt – nennen wir sie NovaSupport –, die Hilfeantworten stets mit täglichen Produktänderungen in Einklang bringen muss. Lange Kontexte können fragil und teuer sein; Neustart des Trainings ist langsam. SEAL bietet einen dritten Weg: Erzeugen Sie kleine, gezielte Selbst-Edits aus neuer Dokumentation, führen Sie ein schnelles Update durch und validieren Sie mit aufgabenspezifischen Abfragen.

Wissensintegration ist wichtig, wenn neue Informationen schneller eintreffen als Release-Zyklen. Eine Nachrichtenredaktion kann Hintergrundinformationen vor Interviews einpflegen; Compliance-Teams neue Richtlinien einfließen lassen; ein Gesundheitsanbieter neue Triage-Richtlinien einprogrammieren. Jeder Fall beruht auf vertrauenswürdiger Assimilation von Informationen in die interne Modellrepräsentation, nicht nur auf deren Abruf zur Inferenzzeit. SEAL liefert diese Gewichtsanpassung und koppelt deren Akzeptanz an messbare Verbesserungen bei Evaluationsfragen.

Few-Shot-Anpassung passt gut zu Workflows, bei denen ständig neue Formate oder Schemata auftauchen. Ein EdTech-Unternehmen, das ständig Nischenfächer pilotiert, kann SEAL verwenden, um Tutoring-Stile mit kleinen Anweisungsbeispielen zu starten und die Anpassung mit kurzen Tests zu validieren. Ein Code-Assistent kann sich auf projektspezifische Besonderheiten einstellen – Fehlermeldungen, Logging-Stile, Unit-Test-Konventionen – mit kleinen Edits, die repositoriumsbezogene Aufgaben verbessern.

• 📰 Dynamische Inhalte: Frische Artikel, FAQs und Richtlinien in Stunden, nicht Wochen integrieren.
• 🧩 Schemaverschiebung: Klassifikation, Extraktion oder SQL-Erzeugung an sich entwickelnde Schemata anpassen.
• 🧑‍⚕️ Protokolländerungen: Neue Checklisten oder Triage-Flows mit validierten Fragestellungen kodieren.
• 🧑‍💻 Codebasis-Anpassung: Repositoriumsspezifische Idiome via zielgerichtete, selbstgenerierte Beispiele lehren.

Der breitere Industrie-Kontext unterstützt diese Richtungen. Gruppen bei Google AI und Microsoft Research haben separat Strategien zur kontinuierlichen Anpassung untersucht; IBM Watson hat Pionierarbeit bei Enterprise-Wissensintegration geleistet; Anthropic betont konstitutionelle Signale für sichere Verfeinerung; OpenAI hat Verstärkungs- und Präferenzlernen in großem Maßstab popularisiert. SEALs Beitrag ist ein operationelles Rezept, das RL-gesteuerte Selbst-Edit-Generierung an diese Linie anfügt und mit direkten Baselines demonstriert.

Und Robotik oder eingebettete Agenten? Obwohl SEAL für Sprachmodelle präsentiert wird, stimmt das Design des Verstärkungssignals mit der Herangehensweise von Teams bei Tesla und anderen überein, die On-Policy-Updates für Wahrnehmung und Steuerung entwickeln. In multimodalen Pipelines könnte SEAL-ähnliche Edit-Generierung synthetische Sprach-Bild-Paare vorschlagen, die an Belohnungen für nachgelagerte Aufgaben gekoppelt sind, und so die von DeepMind untersuchten Policies im RL aus menschlichem Feedback und auto-generierten Curricula ergänzen.

Das verbindende Thema ist Verantwortung. Indem jedes Update seine Wirksamkeit anhand von Aufgabenmetriken beweisen muss, erhalten Teams einen nachvollziehbaren Weg zu schneller Iteration, ohne die Qualitätskontrolle aufzugeben.

Was die Experimente zeigen: Zahlen, Baselines und schnelle Verbesserung

SEALs Evaluation umfasst zwei Testumgebungen – Few-Shot-Learning an einem kleineren instruction-tuned Modell und Wissensintegration an einem größeren Basismodell. Im Few-Shot-Setting mit Llama‑3.2‑1B‑Instruct steigerte SEAL die Anpassungserfolge auf 72,5%, verglichen mit 20% für eine naive Selbst-Edit-Baseline ohne Verstärkung und 0% ohne Anpassung. Die absoluten Zahlen variieren je nach Aufgabe, aber der relative Unterschied ist entscheidend: Belohnte Edit-Generierung entdeckt Trainingsschnipsel, die tatsächlich den Unterschied machen.

Für Wissensintegration nutzte das Team Qwen2.5‑7B, um neue Fakten aus SQuAD-artigen Passagen aufzunehmen. Selbst synthetische Daten, die vom Basismodell generiert wurden, verbesserten die Genauigkeit; die Anwendung der ReST^EM-Trainingsschleife steigerte sie weiter. Auffällig stieg die Leistung schnell über externe RL-Iterationen – oft übertraf sie Pipelines, die auf extern produzierten Daten basieren (z. B. GPT‑4.1-Ausgaben) nach nur wenigen Durchgängen. Qualitative Beispiele zeigen, wie die Edit-Entwürfe mit fortschreitendem Training spezifischer und besser an die Anforderungen der Evaluatormodelle angepasst werden.

Warum beschleunigt SEAL? Das Modell passt nicht einfach beliebige Daten an – es passt Daten an, von denen es glaubt, dass sie helfen, und dieser Glaube wird durch eine Belohnung überprüft. Dadurch schließt sich die Schleife zwischen Hypothese und Feedback. Im Gegensatz dazu verlassen sich statische synthetische Datenansätze auf feste Heuristiken oder vorgelagerte Modelle, die die Eigenheiten der Zielaufgabe nicht vollständig erfassen. Der RL-gesteuerte Generator internalisiert diese Eigenheiten durch das Sehen der Auszahlungen.

• 📈 Große relative Gewinne bei Few-Shot-Aufgaben betonen den Wert gelernter Edit-Policies.
• ⏱️ Schnelle Verbesserung über RL-Iterationen deutet auf kumulative Renditen durch bessere Edits hin.
• 🧪 Qualitative Angleichung der Edits an Aufgabenanforderungen nimmt mit der Zeit zu.
• 🧯 Stabilität durch ReST^EM vermeidet die Volatilität, die bei PPO-ähnlichen Methoden beobachtet wird.

Begrenzungen werden offen diskutiert. Katastrophales Vergessen kann auftreten, wenn viele Edits sich auf einen engen Wissensbereich konzentrieren; dies erfordert regelmäßige Retention-Checks. Die Rechenkosten steigen mit den Feintuning-Schritten in der inneren Schleife, weshalb sorgfältiges Batching und NVIDIA-Beschleuniger empfohlen werden. Und da Belohnungen kontextabhängig sind, kann Evaluation-Drift das Lernen verzerren, wenn τ nicht stabil ist. Abhilfen umfassen gemischte Replay-Puffer, eingefrorene Anker und Cross-Split-Audits.

SEAL im Ökosystem 2025: Wie es sich zu anderen selbstverbessernden KI-Bemühungen verhält

Der Zeitpunkt von SEAL fällt mit einer Welle von Arbeiten zusammen, die KI erforschen, die lernen, sich selbst zu verbessern. Jüngere Beispiele umfassen Sakana AI und die „Darwin‑Gödel-Maschine“ der University of British Columbia, „Self‑Rewarding Training (SRT)“ von CMU, „MM‑UPT“ für multimodales kontinuierliches Lernen von der Shanghai Jiao Tong University und „UI‑Genie“ von CUHK/vivo. Parallel dazu hat die Führung von OpenAI Ideen über rekursiv selbstverbessernde Systeme in die öffentliche Diskussion gebracht, einschließlich weitreichender Visionen für automatisierte Lieferketten und Fabriken.

SEALs Nische ist pragmatisch. Es beansprucht keine umfassende Selbstmodifikation oder Code-Neuschreibung. Stattdessen zielgerichtet es auf die Daten, die das Modell aktualisieren und lernt, Edits zu komponieren, die haften bleiben und helfen. In diesem Sinne harmoniert es mit Unternehmensanliegen, die Teams bei Microsoft Research, Google AI, IBM Watson und Anthropic vertraut sind: Leistung muss an Ergebnisse geknüpft sein, Sicherheit muss messbare Schranken haben, und Updates müssen kontrolliert und reversibel sein. Der ReST^EM-Kern ist auch ein Hinweis auf Stabilität und spiegelt Lektionen von DeepMind zu den Gefahren aggressiver Policy-Gradienten wider.

Der Vergleich macht klar, wo SEAL heute steht. DGM erforscht theoretische rekursive Verbesserung, SRT reduziert menschliche Labels durch selbstgenerierte Belohnungen, MM‑UPT arbeitet modalitätenübergreifend mit kontinuierlichen Updates, und UI‑Genie fokussiert auf interface-gestützte Selbstverbesserung. SEAL schlägt einen pragmatischen Kurs ein: Selbst-Edit-Generierung + inneres Feintuning + RL-Filterung.

• 🧭 Umfang: SEAL ist auf Aufgaben verankert und arbeitet auf Gewichtsebene, kein freilaufender Agent.
• 🧱 Schutzmaßnahmen: Belohnungen und Filterung begrenzen das Lernen auf verifizierte Verbesserungen.
• 🧰 Portabilität: Kompatibel mit Standard-LLM-Feintuning-Stacks.
• 🔍 Auditierbarkeit: Jeder akzeptierte Edit entspricht einer messbaren Verbesserung.

Ein Grund für die Diskussionen um das SEAL-Papier ist, dass es das „Wie“ hinter Selbstverbesserung beschreibt und nicht das „Ob“. Es zeigt konkrete positive Unterschiede, bietet eine umsetzbare Schleife und benennt Einschränkungen. Ein maßvoller, testbarer Mechanismus ist wichtig, während die Ideen zur Autonomie ambitionierter werden.

Das Fazit lautet: Die Aufmerksamkeit richtet sich auf das Praktische – wo hilft Selbst-Editieren, welche Signale sind verlässlich, und wie skaliert man bei eingebauter Sicherheit und Verantwortung?

Vom Labor zum Stack: Praktische Schritte zum Pilotieren von SEAL in einem Team

Teams, die SEAL ausprobieren wollen, sollten mit einer engen, bewertbaren Aufgabe starten. Die offiziellen Ressourcen – das Paper, die Projektseite und das GitHub-Repo – beschreiben den Trainingsablauf klar. Ein minimaler Pilot kann auf einem kleineren instruction-tuned Modell laufen, wobei NVIDIA-GPUs die inneren Updates beschleunigen. Wenn ein Team strenge Datengrenzen hat, isoliert eine Lehrer-Schüler-Architektur die Edit-Generierung von den Gewichts-Updates und erlaubt einem Auditor die unabhängige Verifizierung der Verbesserungen.

Definieren Sie zuerst die Aufgabeninstanz (C, τ): Der Kontext C kann beispielsweise aktuelle Release-Notes, ein Richtliniendokument oder einige wenige Beispiele umfassen; die Evaluation τ sollte eine Menge von zurückgehaltenen Abfragen oder Prompts sein, deren Antworten die tatsächliche Kompetenz enthüllen. Konfigurieren Sie dann die äußere Policy, um Kandidaten-Edits zu erzeugen, die innere Schleife, um kleine SFT-Schritte anzuwenden, und einen ReST^EM</strong-ähnlichen Filter, der nur Edits akzeptiert, die die Scores erhöhen.

Versionierung und Beobachtbarkeit sind entscheidend. Jeder akzeptierte Edit sollte mit Metadaten – Prompt, Begründung, Belohnungswert und resultierenden Metriken – aufgezeichnet werden, so dass Rollbacks einfach sind. Um katastrophales Vergessen zu vermeiden, führen Sie Retention-Tests an repräsentativen Benchmarks durch und pflegen Sie einen Replay-Puffer alten Wissens. Kombinieren Sie SEAL mit Retrieval, um zu begrenzen, wie viel Selbsterinnerung nötig ist; in vielen Unternehmenssystemen ist eine Hybride aus Retrieval-Augmented Generation (RAG) und Gewichtsdaten-Tuning robust und effizient.

• 🧪 Klein anfangen: eine Domäne, eine Metrik, eine Modellgröße.
• 📊 Belohnungen verlässlich machen: verwenden Sie aufgabenbasierte Fragen, keine Proxy-Scores.
• 🧯 Gegen Rückschritte schützen: Retention-Tests und Shadow-Deployments.
• 🔐 Governance: Edit-Herkunft für Audits und Sicherheitschecks protokollieren.

Pipelineschritt 🧱	Optionen 🛠️	Hinweise 📎
Modellbasis	Llama, Qwen, Mistral oder API-gestützt via OpenAI/Anthropic-Wrapper	Lokale Gewichte erleichtern Versionierung; APIs benötigen sorgfältige Edit-Anwendung 🔐
Edit-Generierung	Single-Modell oder Lehrer-Schüler	Lehrer schlägt vor; Schüler wendet an; Auditor validiert ✅
Optimierung	ReST^EM-Filterung	Stabil, einfach; vermeidet PPO-Instabilität 🛟
Hardware	NVIDIA GPUs; gemischte Präzision	Batching der inneren Updates für Durchsatz ⚡
Sicherheit & Evaluation	Policy-Checks; Red-Team-Prompts	Übernehmen Sie Playbooks von Google AI, Microsoft Research, IBM Watson 🛡️

Integrationsmuster variieren. Ein Such-produktintensives Produkt kann SEAL-Updates nachts aus einem Digest geänderter Dokumente planen. Ein Entwicklerwerkzeug kann sie bei gemergten Pull Requests triggern und Repositoriumtests als τ nutzen. Ein kundenseitiger Assistent kann Updates zunächst im Shadow-Modus laufen lassen und erst nach Erreichen von Belohnungsschwellen fördern. Für Organisationen mit strengen Sicherheitsprofilen kann ein externes Politikmodell (oder ein Regelwerk ähnlich dem konstitutionellen Ansatz von Anthropic) Edits ablehnen, die geschützte Verhaltensweisen ändern.

Was die Skalierung betrifft, ist der Weg inkrementell. Beginnen Sie mit einem 1B–7B Modell, zeigen Sie Verbesserungen bei einer bewertbaren Aufgabe und skalieren Sie selektiv. Man kann sich zukünftige Integrationen vorstellen, bei denen OpenAI oder Anthropic-Endpoints strukturierte Self-Edit-APIs bereitstellen; wo NVIDIA-Hardware die inneren Schleifen automatisiert und Agentenplattformen von Google AI oder Microsoft Research SEAL-ähnliche Policies für kontinuierliche Anpassung einbinden. Der „Nordstern“ bleibt derselbe: Edits, die sich durch reale Metrikverbesserungen behaupten, nicht nur durch das Bestehen von Heuristiken.

Die praktische Lehre ist konservativ, aber optimistisch: Bauen Sie eine Schleife, der Sie vertrauen können, und lassen Sie sie dann laufen.

{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”Was genau ist ein Selbst-Edit in SEAL?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Ein Selbst-Edit ist ein strukturiertes, modellgeneriertes Trainingsschnipsel (und zugehörige Anweisungen), das das Modell verwendet, um sich selbst feinzutunen. SEAL belohnt nur diejenigen Edits, die die Downstream-Leistung bei der Aufgabe verbessern, wodurch sichergestellt wird, dass akzeptierte Edits nachweislich helfen.”}},{“@type”:”Question”,”name”:”Wodurch unterscheidet sich SEAL vom Standard-Feintuning?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Standard-Feintuning beruht auf extern kuratierten Datensätzen. SEAL erzeugt Kandidatendaten spontan und nutzt Verstärkungslernen (mittels ReST^EM), um nur Edits zu filtern und zu verstärken, die die Aufgabenmetriken verbessern, wodurch eine geschlossene Schleife zwischen Hypothese und Belohnung entsteht.”}},{“@type”:”Question”,”name”:”Erhöht SEAL das Risiko katastrophalen Vergessens?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Das kann passieren, wenn Updates zu stark auf einen engen Wissensbereich fokussiert sind. Es wird empfohlen, Retention-Tests durchzuführen, Replay-Puffer zu verwenden, alte und neue Daten zu mischen und SEAL mit Retrieval zu kombinieren, damit nicht alles Wissen gespeichert werden muss.”}},{“@type”:”Question”,”name”:”Kann SEAL mit API-only-Modellen wie OpenAI oder Anthropic verwendet werden?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Direkte Gewichts-Updates erfordern lokale Modelle. Teams können jedoch die Schleife nachahmen, indem ein API-Modell Edits vorschlägt und diese auf ein lokales Studentenmodell angewendet werden, oder indem API-Endpunkte genutzt werden, die parameter-effizientes Feintuning unterstützen, sofern verfügbar.”}},{“@type”:”Question”,”name”:”Welche Ressourcen werden benötigt, um SEAL auszuprobieren?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Eine bescheidene GPU-Ausstattung (z. B. mit NVIDIA-Beschleunigern), ein kleines instruction-tuned Basismodell, aufgabenbasierte Evaluationsabfragen (τ) und die SEAL-Trainingsschleife aus dem öffentlichen GitHub-Repository reichen für einen Pilotversuch aus.”}}]}

Was genau ist ein Selbst-Edit in SEAL?

Ein Selbst-Edit ist ein strukturiertes, modellgeneriertes Trainingsschnipsel (und zugehörige Anweisungen), das das Modell verwendet, um sich selbst feinzutunen. SEAL belohnt nur diejenigen Edits, die die Downstream-Leistung bei der Aufgabe verbessern, wodurch sichergestellt wird, dass akzeptierte Edits nachweislich helfen.

Wodurch unterscheidet sich SEAL vom Standard-Feintuning?

Standard-Feintuning beruht auf extern kuratierten Datensätzen. SEAL erzeugt Kandidatendaten spontan und nutzt Verstärkungslernen (mittels ReST^EM), um nur Edits zu filtern und zu verstärken, die die Aufgabenmetriken verbessern, wodurch eine geschlossene Schleife zwischen Hypothese und Belohnung entsteht.

Erhöht SEAL das Risiko katastrophalen Vergessens?

Das kann passieren, wenn Updates zu stark auf einen engen Wissensbereich fokussiert sind. Es wird empfohlen, Retention-Tests durchzuführen, Replay-Puffer zu verwenden, alte und neue Daten zu mischen und SEAL mit Retrieval zu kombinieren, damit nicht alles Wissen gespeichert werden muss.

Kann SEAL mit API-only-Modellen wie OpenAI oder Anthropic verwendet werden?

Direkte Gewichts-Updates erfordern lokale Modelle. Teams können jedoch die Schleife nachahmen, indem ein API-Modell Edits vorschlägt und diese auf ein lokales Studentenmodell angewendet werden, oder indem API-Endpunkte genutzt werden, die parameter-effizientes Feintuning unterstützen, sofern verfügbar.

Welche Ressourcen werden benötigt, um SEAL auszuprobieren?

Eine bescheidene GPU-Ausstattung (z. B. mit NVIDIA-Beschleunigern), ein kleines instruction-tuned Basismodell, aufgabenbasierte Evaluationsabfragen (τ), und die SEAL-Trainingsschleife aus dem öffentlichen GitHub-Repository reichen für einen Pilotversuch aus.

Jordan Pierce