Crear un ChatBot simple con Flowise

DESPLIEGUE E INTERCONEXIÓN DE CAJAS

1. En el menú izquierdo hacemos click en «ChatFlows».
2. En el panel derecho hacemos click en el botón azul de «Add New».
3. Hacemos click en botón circular azul que aparece a la izquierda con el símbolo «+».
4. Desplegamos «Chat Models».
5. Arrastramos «ChatOllama» al ChatFlow.
6. Volvemos a hacer click en botón circular azul que aparece a la izquierda con el símbolo «+».
7. Desplegamos «Chains».
8. Arrastramos «Conversation Chain» al ChatFlow.
9. En la caja de «ChatOllama» enlazamos el punto de abajo a la derecha, llamado «ChatOllama» con el punto llamado «Chat Model» de la caja «Conversation Chain».
10. Volvemos a hacer click en botón circular azul que aparece a la izquierda con el símbolo «+».
11. Desplegamos «Memory».
12. Arrastramos «Buffer Memory» al ChatFlow.
13. Enlazamos el punto «BufferMemory», de abajo a la derecha de la caja «Buffer Memory» con el punto «Memory», de la caja «Conversation Chain».

CONFIGURACIÓN DE CAJAS/NODOS

En la caja «ChatOllama» configuramos como base URL, la IP y el puerto donde está respondiendo la API de Ollama. También le indicamos el modelo al que tiene que preguntar. Por ejemplo: llama3.1:8b-instruct-q8_0.

NOTA: Si estamos ejecutando Flowise en un contenedor Docker pero Ollama lo estamos ejecutando en el host, la consulta a la API de Ollama nos dará error de Fetch. Para que Flowise se conecte con Ollama, en ese caso, deberemos reemplazar localhost con host.docker.internal, que es el nombre que el daemon de docker pone a disposición de todos los contenedores para que éstos se puedan comunicar directamente con el host y con los servicios alojados en éste.

GUARDADO DEL CHATFLOW

Al finalizar la edición del flujo, guardamos con el botón del diskette de arriba a la derecha dándole al flujo un nombre característico relacionado con la acción que ejecuta.

EJECUCIÓN DEL CHATFLOW

En la ventana principal, hacemos click en el ChatFlow que acabamos de crear. Al entrar en el flujo de trabajo, cargamos un archivo de texto en la caja «Text file» y le damos al botón de chat de arriba a la derecha.

EXTRA: AGREGADO DE CACHE

1. Volvemos a hacer click en botón circular azul que aparece a la izquierda con el símbolo «+».
2. Desplegamos «Cache».
3. Arrastramos «InMemory Cache» al ChatFlow.
4. Conectamos el punto «InMemoryCache», de la caja «InMemory Cache» con el punto «Cache» de la caja «Chat Ollama».
5. Guardamos el ChatFlow y lo volvemos a ejecutar.

Beneficios de usar un nodo de caché en Flowise:

• Evitar respuestas repetitivas innecesarias: Si el usuario hace preguntas similares en una conversación, el caché permite devolver respuestas previamente generadas sin volver a ejecutar el modelo en ChatOllama.
• Mejora el rendimiento y la velocidad: El almacenamiento en caché evita que el nodo de ChatOllama tenga que procesar repetidamente las mismas consultas, lo que reduce la latencia en las respuestas.
• Ahorro de recursos computacionales: ChatOllama consume CPU/GPU cada vez que genera respuestas. Con un caché, se reduce el número de llamadas al modelo, optimizando el consumo de cómputo.
• Mitigación de tasas límite (rate limits): Si ChatOllama estuviera detrás de una API con restricciones de uso, el caché evitaría llamadas repetitivas y ayudaría a cumplir con los límites.
• Persistencia de contexto en sesiones activas: Si el usuario reenvía una consulta dentro de la misma sesión, puede recibir una respuesta inmediata en lugar de esperar el procesamiento.
• Reducción de carga en modelos grandes: Modelos más pesados pueden tardar varios segundos en responder. El caché mejora la fluidez de la conversación al entregar respuestas previas instantáneamente.
• Flexibilidad en la estrategia de almacenamiento: Se puede configurar la caché para almacenar respuestas durante un tiempo determinado o hasta que la sesión de usuario finalice.