Modelos de IA
Investigadores del MIT presentan ‘SEAL’: un cambio radical en la evolución de la IA auto-mejorable
Investigadores del MIT han presentado SEAL (Modelos de Lenguaje Auto-Adapatativos), un marco que permite a los grandes modelos de lenguaje generar sus propios datos de entrenamiento y actualizar sus propios pesos mediante auto-ediciones aprendidas por refuerzo. El artículo, publicado esta semana, surge en medio de una ola más amplia de investigación en IA que se mejora a sí misma y un intenso debate sobre sistemas recursivos. Ofrece una metodología concreta y resultados medidos en lugar de especulaciones.
¿Tiene prisa? Esto es lo que importa:
| Punto clave 🔑 | Por qué importa 📌 |
|---|---|
| SEAL entrena con sus propias ediciones ✍️ | Los modelos pueden mejorar sin nuevas etiquetas humanas, reduciendo costos de iteración. |
| El aprendizaje por refuerzo guía las actualizaciones 🎯 | Las auto-ediciones son recompensadas solo cuando el rendimiento downstream aumenta. |
| Funciona en dos dominios hoy 🧪 | Integración de conocimiento y aprendizaje con pocos ejemplos muestran ganancias medibles. |
| Receta práctica de entrenamiento 🛠️ | Usa ReST^EM para aprendizaje estable; código y artículo son públicos. |
- 🚀 Pruebe SEAL en una tarea estrecha y de alta señal antes de escalar.
- 🧭 Controle métricas downstream para recompensas, no puntuaciones proxy.
- 🧱 Aísle las actualizaciones con versionado para evitar regresiones.
- 🛡️ Añada barreras para la calidad de datos y el olvido catastrófico.
Cómo funciona SEAL de MIT: Auto-ediciones aprendidas por refuerzo para una IA auto-mejorable
La premisa central de SEAL es simple de enunciar y no trivial de ejecutar: dejar que un modelo de lenguaje produzca “auto-ediciones” (SEs) estructuradas—ejemplos sintéticos de entrenamiento y directrices de actualización—, aplicar esas ediciones mediante ajuste fino y usar aprendizaje por refuerzo para mejorar la política que genera las ediciones. La efectividad de una auto-edición se juzga por el rendimiento downstream del modelo en una tarea de evaluación específica, ligando el aprendizaje directamente a los resultados en lugar de a proxies.
SEAL puede entenderse como dos bucles. El bucle externo es una política RL que propone auto-ediciones candidatas condicionadas a una instancia de tarea (contexto C, evaluación τ). El bucle interno realiza una pequeña actualización de ajuste fino supervisado, produciendo θ′ a partir de θ usando la auto-edición generada. Tras la evaluación en τ, la recompensa observada actualiza la política externa. Este encuadre se alinea con el meta-aprendizaje, porque el sistema aprende una estrategia para crear sus propios datos de entrenamiento que producen mejoras fiables.
El equipo reporta que los métodos estándar de RL en línea—como GRPO y PPO—fueron inestables para este problema. En su lugar, adoptan ReST^EM, un enfoque basado en filtrado inspirado en trabajos previos de DeepMind. Conceptualmente, el paso E genera ediciones candidatas desde la política actual; el paso M realiza actualizaciones supervisadas solo con ediciones que superan un umbral de rendimiento. Esta receta de “cosechar las buenas muestras” evita oscilación y colapso, y es relativamente fácil de implementar.
Por qué el diseño de dos bucles de SEAL cambia el juego de la actualización
Las tuberías tradicionales post-entrenamiento se basan en datos curados y supervisión manual. SEAL reemplaza parte de esta tubería con datos auto-generados y acotados a la tarea que son validados por la propia tarea. Los beneficios son más fuertes cuando la tarea proporciona señales frecuentes y fiables de retroalimentación, por ejemplo, responder preguntas sobre un artículo nuevo o resolver un problema definido de forma estrecha. Al vincular recompensas al rendimiento del modelo actualizado, SEAL desalienta ediciones superficiales e incentiva ediciones que generalizan.
- 🧠 Efecto de meta-aprendizaje: el modelo aprende qué tipos de ejemplos de entrenamiento le ayudan a mejorar.
- 🔁 Adaptación rápida: actualizaciones pequeñas y frecuentes en datos relevantes mantienen el impulso.
- 🧪 Validación incorporada: solo se refuerzan ediciones que elevan las puntuaciones.
- 🧯 Estabilidad vía ReST^EM: el filtrado evita actualizaciones de política riesgosas.
Desde la perspectiva de sistemas, SEAL también funciona bien con un ecosistema de herramientas de IA. El hardware de NVIDIA acelera las frecuentes actualizaciones del bucle interno. Plataformas de seguimiento de experimentos pueden registrar la calidad de las ediciones y las trayectorias de recompensas. Y aunque el artículo usa un modelo para generar y consumir ediciones, es factible un división profesor–estudiante: un modelo propone ediciones, un modelo más pequeño las aplica y un tercer componente audita resultados.
| Componente ⚙️ | Rol 🧭 | Señal 🎯 |
|---|---|---|
| Política RL externa | Genera auto-ediciones desde el contexto C | Recompensa por rendimiento en τ ✅ |
| Actualización interna | Aplica SE vía SFT (θ → θ′) | Gradiente desde ejemplos SE 📈 |
| Filtro ReST^EM | Refuerza solo ediciones útiles | Solo muestras con recompensa positiva 🧪 |
| Profesor–estudiante (opcional) | Separa propuesta y aplicación | Auditado por modelo evaluador 🔍 |
Dado que las ediciones se miden contra resultados anclados a la tarea, SEAL enfoca el aprendizaje donde importa y lo hace repetidamente, haciendo que la afirmación de “auto-mejora” sea concreta y no especulativa.
Beneficios y casos de uso: SEAL en integración de conocimiento y aprendizaje con pocos ejemplos
SEAL fue implementado en dos dominios: integración de conocimiento (incorporando hechos nuevos en los pesos) y aprendizaje con pocos ejemplos (adaptándose rápidamente a partir de unos pocos ejemplos). Aunque suenen académicos, las implicaciones son completamente prácticas. Considere una plataforma de soporte para mercados medios—llámela NovaSupport—que necesita mantener las respuestas alineadas con cada cambio diario de producto. Alimentar con contextos largos puede ser frágil y costoso; reentrenar desde cero es lento. SEAL ofrece una tercera vía: generar auto-ediciones pequeñas y dirigidas desde documentación nueva, aplicar una actualización rápida y validar con consultas específicas de la tarea.
La integración de conocimiento importa cuando la información nueva llega más rápido que los ciclos de lanzamiento. Una sala de redacción puede absorber antecedentes antes de entrevistas; los equipos de cumplimiento pueden integrar políticas frescas; un proveedor de salud puede codificar nuevas guías de triaje. Cada caso depende de la asimilación confiable de la información en la representación interna del modelo, no solo de recuperarla en tiempo de inferencia. SEAL aporta ese ajuste a nivel peso mientras vincula la aceptación a ganancias medibles en preguntas de evaluación.
La adaptación con pocos ejemplos encaja bien con flujos de trabajo donde nuevos formatos o esquemas aparecen continuamente. Una empresa edtech que continuamente prueba materias de nicho puede usar SEAL para arrancar estilos de tutoría con pequeños fragmentos de instrucciones, validando la adaptación con cuestionarios breves. Un asistente de codificación puede sintonizar con los patrones idiosincráticos de un proyecto—mensajes de error, estilo de registro, convenciones de pruebas unitarias—con pequeñas ediciones que mejoran tareas específicas del repositorio.
- 📰 Contenido dinámico: integrando artículos frescos, FAQs y notas de políticas en horas, no semanas.
- 🧩 Desplazamiento de esquemas: mantener clasificación, extracción o generación SQL alineados con esquemas en evolución.
- 🧑⚕️ Cambios de protocolo: codificar nuevas listas de verificación o flujos de triaje con conjuntos de preguntas validadas.
- 🧑💻 Adaptación de código: enseñar modismos de repositorio vía ejemplos dirigidos y autogenerados.
El contexto más amplio de la industria apoya estas direcciones. Grupos en Google AI y Microsoft Research han explorado estrategias de adaptación continua; IBM Watson fue pionero en integración empresarial de conocimiento; Anthropic enfatiza señales constitucionales para refinamiento seguro; OpenAI ha popularizado el aprendizaje por refuerzo y preferencia a escala. La contribución de SEAL es una receta operativa que injerta generación de auto-ediciones impulsada por RL en esa línea y la demuestra con comparativas directas.
| Escenario 🧭 | Movimiento SEAL 🛠️ | Beneficio 💡 |
|---|---|---|
| Actualización de documentos de soporte 📚 | Generar auto-ediciones de nuevas notas de lanzamiento | Menos alucinaciones; renovación de respuestas más rápida ✅ |
| Cambio de regla de cumplimiento 🏛️ | Ediciones dirigidas a deltas de políticas | Actualizaciones trazables vinculadas a preguntas de auditoría 🔍 |
| Módulo edtech 🎓 | Ejemplares few-shot como auto-ediciones | Adaptación rápida de estilo con recompensas basadas en quizzes 🧪 |
| Herramientas de desarrollo 🧑💻 | Fragmentos adaptados al repositorio como ediciones | Precisión específica del proyecto; menor carga de revisión 🧰 |
¿Qué hay de la robótica o agentes incorporados? Aunque SEAL se presenta para modelos de lenguaje, el diseño de la señal de refuerzo se alinea con cómo los equipos de Tesla y otros plantean actualizaciones on-policy para percepción y control. En tuberías multimodales, la generación de ediciones estilo SEAL podría proponer pares sintéticos lenguaje-visión anclados a recompensas de tareas downstream, complementando políticas estudiadas por DeepMind en aprendizaje por refuerzo con retroalimentación humana y currículos autogenerados.
El tema unificador es la responsabilidad. Al forzar que cada actualización demuestre su valor en métricas de tarea, los equipos obtienen un camino defendible para iteración rápida sin ceder el control de calidad.
Lo que muestran los experimentos: números, líneas base y mejora rápida
La evaluación de SEAL abarca dos entornos—aprendizaje few-shot en un modelo pequeño ajustado por instrucciones y la integración de conocimiento en un modelo base más grande. En el entorno few-shot con Llama‑3.2‑1B‑Instruct, SEAL elevó el éxito de adaptación a 72.5%, en comparación con 20% para una línea base ingenua de auto-edición sin refuerzo y 0% sin adaptación. Los números absolutos varían según la tarea, pero el delta relativo es la historia: la generación de ediciones recompensadas descubre fragmentos de entrenamiento que realmente mueven la aguja.
Para la integración de conocimiento, el equipo usó Qwen2.5‑7B para absorber nuevos hechos de pasajes al estilo SQuAD. Incluso los datos sintéticos generados por el modelo base mejoraron la precisión; aplicar el bucle de entrenamiento ReST^EM la impulsó más. Notablemente, el rendimiento subió rápido a lo largo de las iteraciones externas de RL, superando a menudo a tuberías basadas en datos producidos externamente (por ejemplo, salidas de GPT‑4.1) tras solo un par de rondas. Los ejemplos cualitativos muestran que los borradores de ediciones se vuelven más específicos y mejor alineados con las demandas del evaluador a medida que avanza el entrenamiento.
¿Por qué SEAL acelera? El modelo no solo ajusta datos cualquiera—ajusta datos que cree que ayudarán, y esa creencia se prueba contra una recompensa. Esto cierra un ciclo entre hipótesis y retroalimentación. En contraste, los enfoques estáticos de datos sintéticos dependen de heurísticas fijas o modelos previos que pueden no captar completamente las particularidades de la tarea objetivo. El generador guiado por RL internaliza esas peculiaridades al ver su recompensa.
- 📈 Grandes ganancias relativas en tareas few-shot subrayan el valor de políticas aprendidas de edición.
- ⏱️ Mejora rápida a lo largo de iteraciones RL sugiere rendimientos compuestos por mejores ediciones.
- 🧪 Alineación cualitativa de ediciones con demandas de tarea aumenta con el tiempo.
- 🧯 Estabilidad vía ReST^EM evita la volatilidad vista en métodos tipo PPO.
| Configuración 🔬 | Método 🧪 | Resultado 📊 | Conclusión 💬 |
|---|---|---|---|
| Few-shot (Llama‑3.2‑1B) | Sin adaptación | 0% ✅ | La capacidad base es débil sin actualizaciones |
| Few-shot | Auto-ediciones sin RL | 20% 📉 | La generación de ediciones sin aprendizaje es inconsistente |
| Few-shot | SEAL (RL + ReST^EM) | 72.5% 🚀 | Las ediciones recompensadas impulsan verdadera adaptación |
| Integración de conocimiento (Qwen2.5‑7B) | Datos sintéticos base | Mejora sobre línea base 📈 | Incluso datos sintéticos ingenuos ayudan |
| Integración de conocimiento | Iteraciones RL SEAL | Ganancias rápidas; a menudo > datos GPT‑4.1 tras 2 rondas 🥇 | RL refina calidad de ediciones a lo largo de rondas |
Las limitaciones se discuten con franqueza. El olvido catastrófico puede ocurrir si muchas ediciones se enfocan en un segmento estrecho de conocimiento; esto requiere comprobaciones periódicas de retención. El cálculo aumenta con los ajustes finos del bucle interno, recomendando un batching cuidadoso y aceleradores NVIDIA. Y dado que las recompensas son dependientes del contexto, la deriva en la evaluación puede sesgar el aprendizaje si τ no es estable. Las mitigaciones incluyen buffers mixtos de reproducción, anclas congeladas y auditorías cruzadas.
SEAL en el ecosistema 2025: cómo se compara con otros esfuerzos de IA auto-mejorable
El momento de SEAL coincide con una ola de trabajos que exploran IA que aprende a mejorarse a sí misma. Ejemplos recientes incluyen Sakana AI y la “Máquina Darwin‑Gödel” de la Universidad de British Columbia, “Entrenamiento con Auto-recompensa (SRT)” de CMU, “MM‑UPT” de Shanghai Jiao Tong University para aprendizaje continuo multimodal, y “UI‑Genie” de CUHK/vivo. En paralelo, líderes como OpenAI han difundido ideas sobre sistemas recursivos auto-mejorables en el discurso público, incluyendo visiones amplias para cadenas de suministro y fábricas automatizadas.
El nicho de SEAL es pragmático. No pretende una autonomía amplia para auto-modificación o reescritura de código. En cambio, apunta a los datos que actualizan el modelo, aprendiendo a componer ediciones que perduren y ayuden. En ese sentido, armoniza con preocupaciones empresariales conocidas por equipos de Microsoft Research, Google AI, IBM Watson y Anthropic: el rendimiento debe vincularse a resultados, la seguridad debe tener puertas medibles y las actualizaciones deben ser controladas y reversibles. El núcleo ReST^EM es también una señal de estabilidad, evocando lecciones de DeepMind sobre los riesgos de gradientes de política agresivos.
El marco comparativo aclara dónde está SEAL hoy. DGM explora mejora recursiva teórica, SRT reduce algunas etiquetas humanas mediante bootstrapping de recompensas, MM‑UPT trabaja a través de modalidades con actualizaciones continuas y UI‑Genie se centra en auto-mejora anclada a interfaces. SEAL traza un camino con una receta compacta: generación de auto-ediciones + ajuste fino en bucle interno + filtrado por RL.
- 🧭 Alcance: SEAL está anclado a tareas y a nivel de pesos, no es un agente de libre desplazamiento.
- 🧱 Barreras: recompensas y filtrado limitan el aprendizaje a ganancias verificadas.
- 🧰 Portabilidad: compatible con pilas estándar de ajuste fino de LLM.
- 🔍 Auditable: cada edición aceptada corresponde a una mejora medible.
| Marco 🧪 | Idea central 💡 | Fuente de datos 🗂️ | Método de política 🧭 | Dónde destaca ✨ |
|---|---|---|---|---|
| SEAL (MIT) | Auto-ediciones aprendidas con RL | Generado por modelo ✍️ | Filtro ReST^EM ✅ | Integración de conocimiento, few-shot 📚 |
| DGM | Auto-evolución recursiva | Mixto | Varía | Exploración teórica 🧠 |
| SRT | Entrenamiento con auto-recompensa | Auto-etiquetado | Bootstrapped | Reducción de etiquetas humanas 🤝 |
| MM‑UPT | Actualizaciones continuas multimodales | Multimodal | Específico de tarea | Tuberías visión-lenguaje 🖼️ |
| UI‑Genie | Auto-mejora anclada a interfaz | Registros de interacción | Política + heurísticas | Uso de herramientas y flujos UI 🧩 |
Una razón por la que el artículo de SEAL ha generado discusión es que habla sobre el “cómo” detrás de la auto-mejora más que el “si”. Muestra deltas positivos concretos, ofrece un bucle implementable y reconoce limitaciones. Un mecanismo medido y testeable es lo que el campo necesita a medida que las ideas sobre autonomía se vuelven más ambiciosas.
Como resultado, las audiencias pueden enfocarse en lo práctico: dónde ayuda la auto-edición, qué señales son confiables y cómo escalar con seguridad y responsabilidad incorporadas.
Del laboratorio a la pila: pasos prácticos para pilotar SEAL en un equipo
Los equipos interesados en probar SEAL deberían comenzar con un problema estrecho y evaluable. Los recursos oficiales—el artículo, la página del proyecto y el repositorio GitHub—describen claramente el bucle de entrenamiento. Un piloto mínimo puede ejecutarse en un modelo modesto ajustado por instrucciones, con GPUs NVIDIA acelerando las actualizaciones del bucle interno. Si un equipo tiene límites estrictos de datos, un despliegue profesor–estudiante aísla la generación de ediciones de las actualizaciones de pesos y permite que un auditor verifique las ganancias independientemente.
Comience definiendo la instancia de tarea (C, τ): el contexto C puede ser notas de lanzamiento recientes, un documento de políticas o un puñado de ejemplares; la evaluación τ debe ser un conjunto de consultas o prompts retenidos cuyos respuestas revelen verdadera competencia. Luego configure la política del bucle externo para producir ediciones candidatas, el bucle interno para aplicar pasos pequeños de SFT, y un filtro al estilo ReST^EM para aceptar solo las ediciones que elevan las puntuaciones.
El versionado y la observabilidad son vitales. Cada edición aceptada debe registrarse con metadatos—prompt, justificación, valor de recompensa y métricas resultantes—para facilitar los retrocesos. Para manejar el olvido catastrófico, introduzca pruebas de retención en benchmarks representativos y mantenga un buffer de reproducción del conocimiento previo. Combine SEAL con recuperación para limitar cuánto debe memorizarse; en muchos sistemas empresariales, un híbrido de generación aumentada por recuperación (RAG) y ajuste fino a nivel peso es robusto y eficiente.
- 🧪 Empiece pequeño: un dominio, una métrica, un tamaño de modelo.
- 📊 Haga las recompensas confiables: use preguntas ancladas a la tarea, no puntuaciones proxy.
- 🧯 Proteja contra regresiones: pruebas de retención y despliegues en sombra.
- 🔐 Gobernanza: registre la procedencia de ediciones para auditorías y controles de seguridad.
| Etapa de la tubería 🧱 | Opciones 🛠️ | Notas 📎 |
|---|---|---|
| Base del modelo | Llama, Qwen, Mistral o API vía wrappers de OpenAI/Anthropic | Los pesos locales facilitan el versionado; las APIs requieren aplicación cuidadosa de ediciones 🔐 |
| Generación de ediciones | Modelo único o profesor–estudiante | El profesor propone; el estudiante aplica; el auditor valida ✅ |
| Optimización | Filtrado ReST^EM | Estable, simple; evita inestabilidad PPO 🛟 |
| Hardware | GPUs NVIDIA; precisión mixta | Agrupar actualizaciones del bucle interno para rendimiento ⚡ |
| Seguridad y evaluación | Controles de políticas; prompts de red-team | Use libros de jugadas de Google AI, Microsoft Research, IBM Watson 🛡️ |
Los patrones de integración varían. Un producto con búsquedas intensivas puede programar actualizaciones SEAL cada noche con un resumen de documentos cambiados. Una herramienta de desarrollo puede activarlas con pull requests fusionados, usando pruebas del repositorio como τ. Un asistente para clientes podría ejecutar actualizaciones en modo sombra primero, promoviendo solo tras alcanzar umbrales de recompensa. Para organizaciones con perfiles estrictos de seguridad, un modelo de política externo (o reglas tipo enfoque constitucional de Anthropic) puede vetar ediciones que alteren comportamientos protegidos.
En cuanto a escala, el camino es incremental. Comience con un modelo de 1B–7B, demuestre mejoras en una tarea puntuable y luego escale selectivamente. Se pueden imaginar futuras integraciones donde endpoints de OpenAI o Anthropic proporcionen APIs estructuradas para auto-edición; donde hardware de NVIDIA automatice la programación del bucle interno; y donde plataformas de agente de Google AI o Microsoft Research introduzcan políticas estilo SEAL para adaptación continua. La estrella guía sigue siendo la misma: ediciones que ganan su lugar moviendo métricas reales, no solo pasando heurísticas.
La lección práctica es conservadora pero optimista: construya un bucle en el que pueda confiar, luego deje que ese bucle funcione.
{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”¿Qué es exactamente una auto-edición en SEAL?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Una auto-edición es un fragmento de entrenamiento estructurado y generado por el modelo (y las instrucciones asociadas) que el modelo usa para afinarse a sí mismo. SEAL recompensa solo aquellas ediciones que mejoran el rendimiento de la tarea downstream, asegurando que las ediciones aceptadas realmente ayuden.”}},{“@type”:”Question”,”name”:”¿Cómo se diferencia SEAL del ajuste fino estándar?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”El ajuste fino estándar se basa en conjuntos de datos curados externamente. SEAL genera datos candidatos en tiempo real y usa aprendizaje por refuerzo (mediante ReST^EM) para filtrar y reforzar solo ediciones que aumentan las métricas de la tarea, creando un ciclo cerrado entre hipótesis y recompensa.”}},{“@type”:”Question”,”name”:”¿Aumenta SEAL el riesgo de olvido catastrófico?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Puede ocurrir si las actualizaciones se centran excesivamente en un segmento estrecho de conocimiento. La mitigación incluye realizar pruebas de retención, usar buffers de reproducción, mezclar datos antiguos y nuevos, y combinar SEAL con recuperación para que no todo el conocimiento deba memorizarse.”}},{“@type”:”Question”,”name”:”¿Se puede usar SEAL con modelos solo API como OpenAI o Anthropic?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Las actualizaciones directas de pesos requieren modelos locales. Sin embargo, los equipos pueden simular el ciclo haciendo que un modelo API proponga ediciones y aplicándolas a un modelo estudiante local, o usando endpoints API que admitan ajuste fino eficiente en parámetros cuando estén disponibles.”}},{“@type”:”Question”,”name”:”¿Qué recursos se necesitan para probar SEAL?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Un setup modesto con GPU (por ejemplo, con aceleradores NVIDIA), un modelo base pequeño afinado por instrucciones, consultas de evaluación ancladas a la tarea (τ) y el bucle de entrenamiento SEAL del repositorio público GitHub son suficientes para un piloto.”}}]}¿Qué es exactamente una auto-edición en SEAL?
Una auto-edición es un fragmento de entrenamiento estructurado y generado por el modelo (y las instrucciones asociadas) que el modelo usa para afinarse a sí mismo. SEAL recompensa solo aquellas ediciones que mejoran el rendimiento de la tarea downstream, asegurando que las ediciones aceptadas realmente ayuden.
¿Cómo se diferencia SEAL del ajuste fino estándar?
El ajuste fino estándar se basa en conjuntos de datos curados externamente. SEAL genera datos candidatos en tiempo real y usa aprendizaje por refuerzo (mediante ReST^EM) para filtrar y reforzar solo ediciones que aumentan las métricas de la tarea, creando un ciclo cerrado entre hipótesis y recompensa.
¿Aumenta SEAL el riesgo de olvido catastrófico?
Puede ocurrir si las actualizaciones se centran excesivamente en un segmento estrecho de conocimiento. La mitigación incluye realizar pruebas de retención, usar buffers de reproducción, mezclar datos antiguos y nuevos, y combinar SEAL con recuperación para que no todo el conocimiento deba memorizarse.
¿Se puede usar SEAL con modelos solo API como OpenAI o Anthropic?
Las actualizaciones directas de pesos requieren modelos locales. Sin embargo, los equipos pueden simular el ciclo haciendo que un modelo API proponga ediciones y aplicándolas a un modelo estudiante local, o usando endpoints API que admitan ajuste fino eficiente en parámetros cuando estén disponibles.
¿Qué recursos se necesitan para probar SEAL?
Un setup modesto con GPU (por ejemplo, con aceleradores NVIDIA), un modelo base pequeño afinado por instrucciones, consultas de evaluación ancladas a la tarea (τ), y el bucle de entrenamiento SEAL del repositorio público GitHub son suficientes para un piloto.
-
Open Ai1 week agoDesbloqueando el Poder de los Plugins de ChatGPT: Mejora Tu Experiencia en 2025
-
Open Ai6 days agoDominando la Fine-Tuning de GPT: Una guía para personalizar eficazmente tus modelos en 2025
-
Open Ai7 days agoComparando ChatGPT de OpenAI, Claude de Anthropic y Bard de Google: ¿Qué herramienta de IA generativa reinará suprema en 2025?
-
Open Ai6 days agoPrecios de ChatGPT en 2025: Todo lo que necesitas saber sobre tarifas y suscripciones
-
Open Ai7 days agoLa eliminación progresiva de los modelos GPT: qué pueden esperar los usuarios en 2025
-
Modelos de IA6 days agoModelos GPT-4: Cómo la inteligencia artificial está transformando 2025