Posts

Showing posts with the label gpt

Hablemos en profundidad sobre LLM (GEN AI): hardware y software necesarios. ¿Y el futuro?

Image
 Hablemos en profundidad sobre LLM (GEN AI): hardware y software necesarios. ¿Y el futuro? Mg. en Ing. Carlos Gerardo Said Hoy tuve la oportunidad de escuchar una conversación sobre la IA Generativa. No deja de sorprenderme la casi trivialidad con la cual se trata el tema. Ello me llevó a presentar estas notas que tenía en borrador, para que de alguna forma se perciba la 'sobre simplificación' que se hace del tema.  No pretendo que se tornen en expertos, pero si que comprendan que detrás de esas simplificaciones, hay ciencia pensando y creando.  Empecemos:     Ejecutar grandes modelos de lenguaje (LLMs), como GPT-4, requiere una combinación de hardware avanzado y software optimizado para gestionar de manera eficiente tanto los procesos de entrenamiento como de inferencia. Exploremos esto en detalle, incluyendo el panorama actual y el futuro del hardware y software para LLMs. Requisitos de hardware Los LLMs son computacionalmente intensivos y demandan recursos de...

Talk en deep about LLMs (GEN AI) - Hardware and Software needed. An the future?

Image
 Talk en deep  about LLMs (GEN AI) - Hardware and Software needed. An the future?   Mg. en Ing. Carlos Gerardo Said  Running large language models (LLMs) like GPT-4 requires a combination of advanced hardware and optimized software to efficiently manage both training and inference processes. Let's explore this in-depth, including the current landscape and the future of LLM hardware and software. 1. Hardware Requirements LLMs are computationally intensive and demand significant hardware resources, especially during the training phase. Here's a breakdown of the main hardware components involved: a. GPUs (Graphics Processing Units) GPUs are the cornerstone of LLMs because they can perform the parallel computations required for training deep neural networks. Key characteristics of GPUs for LLMs include: CUDA Cores : These allow for massive parallelism, making them ideal for matrix and tensor operations, which are central to deep learning. High Memory Bandwidth : GPU...

Vamos a hablar de los "prompts" en la IA Generativa. ¿Qué es el filtrado previo y posterior en las consultas?

Image
  Vamos a hablar de los "prompts" en  la IA Generativa.  ¿Qué es el filtrado previo y posterior en las consultas?  Mg. en Ing. Carlos Gerardo Said   En el contexto de la compresión de los "prompts", el filtrado previo y posterior son técnicas que se utilizan para mejorar la eficiencia y relevancia de las indicaciones proporcionadas a modelos como GPT-4 y otros.  Veamos un desglose de cada concepto: Prefiltrado El pre-filtrado implica procesar los datos de entrada antes de introducirlos en el modelo. Esto puede incluir varias estrategias para garantizar que la información sea limpia, relevante y manejable en tamaño.  El objetivo del pre-filtrado es reducir el ruido y la información irrelevante, permitiendo que el modelo se centre en las partes más pertinentes de la entrada. Las técnicas clave incluyen: Limpieza de datos: eliminación de datos irrelevantes, redundantes o ruidosos. Extracción de palabras clave: identificar y retener términos clave q...

¿Será SearchGPT "el comienzo de la declinación" de Google?

Image
  ¿Será SearchGPT "el comienzo de la declinación" de Google? Mg. en Ing. Carlos Geraardo Said  OpenAI ha revelado su motor de búsqueda impulsado por IA, SearchGPT, que funciona con su conjunto de modelos de IA (GPT-3.5, GPT-4 y GPT-4o) y podría convertirse en una amenaza para Google. SearchGPT es similar a ChatGPT: los usuarios escriben una consulta y SearchGPT recorre la web y ofrece información casi en tiempo real (con enlaces a fuentes), lo que permite a los usuarios hacer preguntas de seguimiento. OpenAI lo lanzó inicialmente como un prototipo, disponible para alrededor de 10,000 usuarios y editores de prueba (puede unirse a una lista de espera para probarlo), pero planea integrar sus "mejores funciones" en ChatGPT, después de las pruebas. Está trabajando con terceros, utilizando fuentes de contenido y mejorando “las capacidades de conversación de sus modelos con información en tiempo real de la web” para hacer que las búsquedas web sean más precisas, rápidas y ...