Posts

Showing posts with the label GTP

Hablemos en profundidad sobre LLM (GEN AI): hardware y software necesarios. ¿Y el futuro?

Image
 Hablemos en profundidad sobre LLM (GEN AI): hardware y software necesarios. ¿Y el futuro? Mg. en Ing. Carlos Gerardo Said Hoy tuve la oportunidad de escuchar una conversación sobre la IA Generativa. No deja de sorprenderme la casi trivialidad con la cual se trata el tema. Ello me llevó a presentar estas notas que tenía en borrador, para que de alguna forma se perciba la 'sobre simplificación' que se hace del tema.  No pretendo que se tornen en expertos, pero si que comprendan que detrás de esas simplificaciones, hay ciencia pensando y creando.  Empecemos:     Ejecutar grandes modelos de lenguaje (LLMs), como GPT-4, requiere una combinación de hardware avanzado y software optimizado para gestionar de manera eficiente tanto los procesos de entrenamiento como de inferencia. Exploremos esto en detalle, incluyendo el panorama actual y el futuro del hardware y software para LLMs. Requisitos de hardware Los LLMs son computacionalmente intensivos y demandan recursos de...

Talk en deep about LLMs (GEN AI) - Hardware and Software needed. An the future?

Image
 Talk en deep  about LLMs (GEN AI) - Hardware and Software needed. An the future?   Mg. en Ing. Carlos Gerardo Said  Running large language models (LLMs) like GPT-4 requires a combination of advanced hardware and optimized software to efficiently manage both training and inference processes. Let's explore this in-depth, including the current landscape and the future of LLM hardware and software. 1. Hardware Requirements LLMs are computationally intensive and demand significant hardware resources, especially during the training phase. Here's a breakdown of the main hardware components involved: a. GPUs (Graphics Processing Units) GPUs are the cornerstone of LLMs because they can perform the parallel computations required for training deep neural networks. Key characteristics of GPUs for LLMs include: CUDA Cores : These allow for massive parallelism, making them ideal for matrix and tensor operations, which are central to deep learning. High Memory Bandwidth : GPU...

Vamos a hablar de los "prompts" en la IA Generativa. ¿Qué es el filtrado previo y posterior en las consultas?

Image
  Vamos a hablar de los "prompts" en  la IA Generativa.  ¿Qué es el filtrado previo y posterior en las consultas?  Mg. en Ing. Carlos Gerardo Said   En el contexto de la compresión de los "prompts", el filtrado previo y posterior son técnicas que se utilizan para mejorar la eficiencia y relevancia de las indicaciones proporcionadas a modelos como GPT-4 y otros.  Veamos un desglose de cada concepto: Prefiltrado El pre-filtrado implica procesar los datos de entrada antes de introducirlos en el modelo. Esto puede incluir varias estrategias para garantizar que la información sea limpia, relevante y manejable en tamaño.  El objetivo del pre-filtrado es reducir el ruido y la información irrelevante, permitiendo que el modelo se centre en las partes más pertinentes de la entrada. Las técnicas clave incluyen: Limpieza de datos: eliminación de datos irrelevantes, redundantes o ruidosos. Extracción de palabras clave: identificar y retener términos clave q...

We are going to talk about AI prompts. What is Prefiltering and Postfiltering in query prompts?

Image
  We are going to talk about AI prompts.  What is  Prefiltering and Postfiltering in query prompts?  Mg. en Ing. Carlos Gerardo Said    In the context of prompt compression, prefiltering and postfiltering are techniques used to enhance the efficiency and relevance of the prompts provided to models like GPT-4. Here's a breakdown of each concept: Prefiltering Prefiltering involves processing the input data before it is fed into the model. This can include various strategies to ensure that the input is clean, relevant, and manageable in size. The goal of prefiltering is to reduce noise and irrelevant information, allowing the model to focus on the most pertinent parts of the input. Key techniques include: Data Cleaning : Removing irrelevant, redundant, or noisy data. Keyword Extraction : Identifying and retaining key terms that are critical for understanding the context. Stop-word Removal : Eliminating common but uninformative words (e.g., "the," "is," "at...

Validity of the European AI Law and established Risk Levels

Image
Validity of the European AI Law and established Risk Levels Mg. en Ing. Carlos Gerardo Said  On August 1, the European Union Artificial Intelligence (AI) Regulation came into force, a regulation that regulates the market introduction, commissioning and use of AI systems in the European Union.  Its main objective is to promote the development and safe use of AI in the EU, as well as to ensure a high level of protection of health, safety and fundamental rights. In recent years, artificial intelligence has advanced by leaps and bounds, transforming society and generating great opportunities for companies and citizens. However, these advances have also brought with them concerns about privacy, security, and ethics. The proliferation of AI applications without adequate oversight has exposed vulnerabilities, such as algorithmic bias, discrimination, and lack of transparency. Apart from ethical and moral aspects, non-compliance with the European AI Law will lead to financial sanction...

Vigencia de la Ley de IA Europea y Niveles de Riesgo establecidos

Image
 Vigencia de la Ley de IA Europea y Niveles de Riesgo establecidos  Mg. en Ing. Carlos Gerardo Said  El 1 de agosto entró en vigor el  Reglamento de Inteligencia Artificial (IA)  de la Unión Europea, una normativa que regula la introducción en el mercado, la puesta en servicio y la utilización de sistemas de IA en la Unión Europea.  Su principal objetivo es fomentar el desarrollo y la utilización segura de la IA en la UE, así como garantizar un alto nivel de protección de la salud, la seguridad y los derechos fundamentales. En los últimos años, la inteligencia artificial ha avanzado a pasos agigantados, transformando la sociedad y generando grandes oportunidades para las empresas y los ciudadanos. Sin embargo, estos avances también han traído consigo preocupaciones sobre la privacidad, la seguridad y la ética. La proliferación de aplicaciones de IA sin una supervisión adecuada ha expuesto vulnerabilidades, como el sesgo algorítmico, la discriminación y la f...

Will SearchGPT be the "decline" of Google?

Image
  Will SearchGPT be the "decline" of Google? Mg. en Ing. Carlos Gerardo Said  OpenAI has revealed its anticipated AI-powered search engine—SearchGPT—which is powered by its suite of AI models (GPT-3.5, GPT-4 and GPT-4o) and could become a threat to Google. SearchGPT is similar to ChatGPT: users type in a query, and SearchGPT scours the web and delivers near-real-time information (with links to sources) allowing users to ask follow-up questions. OpenAI has initially launched this as a prototype—available to around 10,000 test users and publishers (you can join a waitlist to test it)—but plans to integrate its “best features” into ChatGPT, after testing. It’s working with third parties, using content feeds, and enhancing “the conversational capabilities of its models with real-time information from the web” to make web searches more accurate, faster, and easier. The launch of SearchGPT ( https://searchgpt.net/)  comes at a time when AI search tools—like Google AI Overviews,...