Posts

Showing posts with the label LLM

Qué sabe de la IA? preguntas y respuestas.

Image
  Qué sabe de la IA?   preguntas y respuestas.   Mg. en Ing. Carlos Gerardo Said  ¿Cuál de las siguientes opciones describe mejor cómo se puede crear un modelo de IA utilizando el aprendizaje automático? ✅ El modelo se entrena con datos etiquetados para aprender patrones y relaciones. Este es el principio fundamental del aprendizaje automático. El modelo analiza un gran conjunto de datos donde las salidas deseadas ya se conocen ("datos etiquetados"). Al estudiar estos datos, el modelo identifica patrones y relaciones, lo que le permite hacer predicciones o tomar decisiones basadas en datos nuevos. ¿Cuál de los siguientes es un posible riesgo de utilizar datos de entrenamiento defectuosos para un modelo de IA? ✅ El modelo puede producir resultados inexactos o indeseables. Este es el riesgo más común y significativo. Los modelos de IA aprenden de los datos de entrenamiento proporcionados...

Hablemos en profundidad sobre LLM (GEN AI): hardware y software necesarios. ¿Y el futuro?

Image
 Hablemos en profundidad sobre LLM (GEN AI): hardware y software necesarios. ¿Y el futuro? Mg. en Ing. Carlos Gerardo Said Hoy tuve la oportunidad de escuchar una conversación sobre la IA Generativa. No deja de sorprenderme la casi trivialidad con la cual se trata el tema. Ello me llevó a presentar estas notas que tenía en borrador, para que de alguna forma se perciba la 'sobre simplificación' que se hace del tema.  No pretendo que se tornen en expertos, pero si que comprendan que detrás de esas simplificaciones, hay ciencia pensando y creando.  Empecemos:     Ejecutar grandes modelos de lenguaje (LLMs), como GPT-4, requiere una combinación de hardware avanzado y software optimizado para gestionar de manera eficiente tanto los procesos de entrenamiento como de inferencia. Exploremos esto en detalle, incluyendo el panorama actual y el futuro del hardware y software para LLMs. Requisitos de hardware Los LLMs son computacionalmente intensivos y demandan recursos de...

Talk en deep about LLMs (GEN AI) - Hardware and Software needed. An the future?

Image
 Talk en deep  about LLMs (GEN AI) - Hardware and Software needed. An the future?   Mg. en Ing. Carlos Gerardo Said  Running large language models (LLMs) like GPT-4 requires a combination of advanced hardware and optimized software to efficiently manage both training and inference processes. Let's explore this in-depth, including the current landscape and the future of LLM hardware and software. 1. Hardware Requirements LLMs are computationally intensive and demand significant hardware resources, especially during the training phase. Here's a breakdown of the main hardware components involved: a. GPUs (Graphics Processing Units) GPUs are the cornerstone of LLMs because they can perform the parallel computations required for training deep neural networks. Key characteristics of GPUs for LLMs include: CUDA Cores : These allow for massive parallelism, making them ideal for matrix and tensor operations, which are central to deep learning. High Memory Bandwidth : GPU...