Posts

Showing posts with the label prompts

Hablemos en profundidad sobre LLM (GEN AI): hardware y software necesarios. ¿Y el futuro?

Image
 Hablemos en profundidad sobre LLM (GEN AI): hardware y software necesarios. ¿Y el futuro? Mg. en Ing. Carlos Gerardo Said Hoy tuve la oportunidad de escuchar una conversación sobre la IA Generativa. No deja de sorprenderme la casi trivialidad con la cual se trata el tema. Ello me llevó a presentar estas notas que tenía en borrador, para que de alguna forma se perciba la 'sobre simplificación' que se hace del tema.  No pretendo que se tornen en expertos, pero si que comprendan que detrás de esas simplificaciones, hay ciencia pensando y creando.  Empecemos:     Ejecutar grandes modelos de lenguaje (LLMs), como GPT-4, requiere una combinación de hardware avanzado y software optimizado para gestionar de manera eficiente tanto los procesos de entrenamiento como de inferencia. Exploremos esto en detalle, incluyendo el panorama actual y el futuro del hardware y software para LLMs. Requisitos de hardware Los LLMs son computacionalmente intensivos y demandan recursos de...

Vamos a hablar de los "prompts" en la IA Generativa. ¿Qué es el filtrado previo y posterior en las consultas?

Image
  Vamos a hablar de los "prompts" en  la IA Generativa.  ¿Qué es el filtrado previo y posterior en las consultas?  Mg. en Ing. Carlos Gerardo Said   En el contexto de la compresión de los "prompts", el filtrado previo y posterior son técnicas que se utilizan para mejorar la eficiencia y relevancia de las indicaciones proporcionadas a modelos como GPT-4 y otros.  Veamos un desglose de cada concepto: Prefiltrado El pre-filtrado implica procesar los datos de entrada antes de introducirlos en el modelo. Esto puede incluir varias estrategias para garantizar que la información sea limpia, relevante y manejable en tamaño.  El objetivo del pre-filtrado es reducir el ruido y la información irrelevante, permitiendo que el modelo se centre en las partes más pertinentes de la entrada. Las técnicas clave incluyen: Limpieza de datos: eliminación de datos irrelevantes, redundantes o ruidosos. Extracción de palabras clave: identificar y retener términos clave q...

We are going to talk about AI prompts. What is Prefiltering and Postfiltering in query prompts?

Image
  We are going to talk about AI prompts.  What is  Prefiltering and Postfiltering in query prompts?  Mg. en Ing. Carlos Gerardo Said    In the context of prompt compression, prefiltering and postfiltering are techniques used to enhance the efficiency and relevance of the prompts provided to models like GPT-4. Here's a breakdown of each concept: Prefiltering Prefiltering involves processing the input data before it is fed into the model. This can include various strategies to ensure that the input is clean, relevant, and manageable in size. The goal of prefiltering is to reduce noise and irrelevant information, allowing the model to focus on the most pertinent parts of the input. Key techniques include: Data Cleaning : Removing irrelevant, redundant, or noisy data. Keyword Extraction : Identifying and retaining key terms that are critical for understanding the context. Stop-word Removal : Eliminating common but uninformative words (e.g., "the," "is," "at...