Posts

Showing posts with the label AI chips

Hablemos en profundidad sobre LLM (GEN AI): hardware y software necesarios. ¿Y el futuro?

Image
 Hablemos en profundidad sobre LLM (GEN AI): hardware y software necesarios. ¿Y el futuro? Mg. en Ing. Carlos Gerardo Said Hoy tuve la oportunidad de escuchar una conversación sobre la IA Generativa. No deja de sorprenderme la casi trivialidad con la cual se trata el tema. Ello me llevó a presentar estas notas que tenía en borrador, para que de alguna forma se perciba la 'sobre simplificación' que se hace del tema.  No pretendo que se tornen en expertos, pero si que comprendan que detrás de esas simplificaciones, hay ciencia pensando y creando.  Empecemos:     Ejecutar grandes modelos de lenguaje (LLMs), como GPT-4, requiere una combinación de hardware avanzado y software optimizado para gestionar de manera eficiente tanto los procesos de entrenamiento como de inferencia. Exploremos esto en detalle, incluyendo el panorama actual y el futuro del hardware y software para LLMs. Requisitos de hardware Los LLMs son computacionalmente intensivos y demandan recursos de...

Talk en deep about LLMs (GEN AI) - Hardware and Software needed. An the future?

Image
 Talk en deep  about LLMs (GEN AI) - Hardware and Software needed. An the future?   Mg. en Ing. Carlos Gerardo Said  Running large language models (LLMs) like GPT-4 requires a combination of advanced hardware and optimized software to efficiently manage both training and inference processes. Let's explore this in-depth, including the current landscape and the future of LLM hardware and software. 1. Hardware Requirements LLMs are computationally intensive and demand significant hardware resources, especially during the training phase. Here's a breakdown of the main hardware components involved: a. GPUs (Graphics Processing Units) GPUs are the cornerstone of LLMs because they can perform the parallel computations required for training deep neural networks. Key characteristics of GPUs for LLMs include: CUDA Cores : These allow for massive parallelism, making them ideal for matrix and tensor operations, which are central to deep learning. High Memory Bandwidth : GPU...

AI Hypercomputer

Image
  AI Hypercomputer Mg. en Ing. Carlos Gerardo Said  El AI Hypercomputer de Google es una avanzada infraestructura de computación en la nube diseñada específicamente para tareas de inteligencia artificial (IA). Anunciado a finales de 2023, este sistema representa un salto significativo en el rendimiento y eficiencia para entrenar, ajustar y servir modelos de IA, especialmente aquellos de gran tamaño como los modelos de lenguaje generativo. Características principales: TPU v5p : Este hypercomputer utiliza la última versión de las Tensor Processing Units (TPUs) de Google, la TPU v5p, que ofrece un rendimiento significativamente superior a sus predecesoras. Con 8,960 chips por pod, estas TPUs permiten entrenar modelos de IA hasta tres veces más rápido que la generación anterior. Arquitectura optimizada : El hypercomputer de Google está diseñado con un enfoque en la co-diseño a nivel de sistema, lo que significa que hardware, software y redes están integrados de manera que maximic...

NVIDIA and audio/video AI GEN

Image
  NVIDIA and audio/video AI GEN  Mg. en Ing. Carlos Gerardo Said  Nvidia has benefitted the most from the AI wave so far. So much so, in fact, that the U.S. Department of Justice is investigating complaints that the chipmaker is engaging in anticompetitive behavior. The company’s chips do apparently have a weakness when it comes to a growing field of AI research: video generation. The main issue is that Nvidia’s graphics processing units, even its popular H100s, don’t have enough memory to handle the immense amount of video data needed to train these models. "Training data [for video generation models] can scale into petabytes pretty easily, as opposed to a few hundred terabytes for language-only models,” said a cofounder at video generation startup Luma AI. To give you a sense of the magnitude of that—a petabyte is equivalent to a whopping 1.000 terabytes, or around 500.000 hours of video. Another bottleneck for AI video startups is when GPU...

La arquitectura Blackwell de NVIDIA - AI CHIP

Image
 La arquitectura Blackwell de NVIDIA - AI CHIP  Mg. en Ing. Carlos Gerardo Said  La arquitectura Blackwell de NVIDIA representa un avance significativo en la tecnología GPU, diseñada específicamente para IA generativa y computación de alto rendimiento. Esta arquitectura, que lleva el nombre del matemático David Harold Blackwell, es la sucesora de la arquitectura Hopper de NVIDIA. Presenta varias innovaciones clave que lo diferencian de generaciones anteriores. La GPU Blackwell está construida con 208 mil millones de transistores y emplea una configuración de doble matriz conectada por una interconexión de 10 terabytes por segundo, lo que le permite superar los límites tradicionales de retícula en la fabricación de chips. Esta configuración da como resultado una GPU con rendimiento y eficiencia no vistas previamente, logrando una eficiencia energética hasta 25 veces mejor en comparación con sus predecesoras.. Las innovaciones clave en la arquitectura de Blackwell incluyen:...

NVIDIA's Blackwell architecture - AI Chip - GPU

Image
 NVIDIA's Blackwell architecture - AI Chip - GPU  Mg. en Ing. Carlos Gerardo Said  NVIDIA's Blackwell architecture represents a significant advancement in GPU technology, designed specifically for datacenter-scale generative AI and high-performance computing. Named after the esteemed statistician and mathematician David Harold Blackwell, this architecture is the successor to NVIDIA's Hopper architecture. It features several key innovations that set it apart from previous generations. The Blackwell GPU is constructed with 208 billion transistors and employs a dual-die configuration connected by a 10 terabyte per second interconnect, which allows it to overcome traditional reticle limits in chip manufacturing. This setup results in a GPU with exceptional performance and efficiency, achieving up to 25 times better energy efficiency compared to its predecessors​ ( NVIDIA ) ​​ ( All About Circuits ) ​. Key innovations in the Blackwell architecture include: Second-Generation ...

Chips Nvidia AI retrasados: chips Blackwell AI de próxima generación de Nvidia

Image
 Chips Nvidia AI retrasados: chips Blackwell AI de próxima generación de Nvidia Mg. en Ing. Carlos Gerardo Said  Según se informa, los chips Blackwell AI de próxima generación de Nvidia se retrasarán debido a un defecto de diseño , lo que podría afectar a Microsoft, Alphabet, matriz de Google, Meta Platforms y otros grandes compradores. Nvidia dijo a Microsoft y a otro cliente clave de la nube que sus chips de inteligencia artificial Blackwell se retrasarán al menos tres meses debido a fallas de diseño. Eso podría afectar los esfuerzos de IA de Microsoft, Google, Meta y más. Un retraso en el chip de próxima generación de Nvidia podría tener un impacto significativo en los ingresos en los próximos meses. También podría proporcionar un retraso para los micro dispositivos avanzados, que se quedarían atrás en el rendimiento del chip Nvidia. Según se informa, Nvidia está retrasando sus chips de inteligencia artificial de próxima generación al menos tres meses. Es posible que los en...

Nvidia AI Chips Delayed - Nvidia's next-generation Blackwell AI chips

Image
  Nvidia AI Chips Delayed Mg. en Ing. Carlos Gerado Said  Nvidia's next-generation Blackwell AI chips  reportedly will be delayed due to a design flaw, potentially affecting  Microsoft , Google-parent  Alphabet ,  Meta Platforms    and other big buyers. Nvidia told Microsoft and another key cloud customer that its Blackwell artificial intelligence chips will be delayed by at least three months due to design flaws.  That could affect the AI efforts for Microsoft, Google, Meta and more. An Nvidia next-gen chip delay could have a significant impact on revenue in the coming months. It could also provide a boost for  Advanced Micro Devices , which was set to fall behind Nvidia chip performance again. Nvidia reportedly is delaying its next-generation artificial intelligence chips by at least three months. Mass shipments may not take place until early 2025. Nvidia told  Microsoft  and another key cloud customer that its Blackwel...