Realizar consultas a la API de Ollama desde la terminal

UTILIZANDO POWERSHELL

(Invoke-WebRequest -method POST -Body '{"model":"llama3.1:8b-instruct-q8_0", "prompt":"Hola, que tal?", "stream": false}' -uri http://localhost:11434/api/generate ).Content | ConvertFrom-json

O, para obtener sólo la respuesta:

((Invoke-WebRequest -method POST -Body '{"model":"llama3.1:8b-instruct-q8_0", "prompt":"Hola, que tal?", "stream": false}' -uri http://localhost:11434/api/generate).Content | ConvertFrom-json).response

UTILIZANDO BASH

curl http://localhost:11434/api/generate -d '{ "model": "llama3.1:8b-instruct-q8_0", "prompt": "Hola, qué tal?", "stream": false }'

O, para obtener el JSON completo:

curl -s http://localhost:11434/api/generate -d '{ "model": "llama3.1:8b-instruct-q8_0", "prompt": "Hola, qué tal?", "stream": false }' | jq

O, para obtener sólo la respuesta del JSON:

curl -s http://localhost:11434/api/generate -d '{ "model": "llama3.1:8b-instruct-q8_0", "prompt": "Hola, qué tal?", "stream": false }' | jq .response

Si no queremos que que la respuesta nos marque los saltos de línea como \n y queremos que efectivamente nos muestre la salida con el texto línea a línea, podemos hacer:

curl -s http://localhost:11434/api/generate -d '{ "model": "llama3.1:8b-instruct-q8_0", "prompt": "Hola, qué tal?", "stream": false }' | jq -r .response

Si queremos crear un script en bash al que le pasemos consulta como parámetro, deberemos hacerlo de la siguiente forma:

curl -s http://localhost:11434/api/generate -d '{ "model": "llama3.1:8b-instruct-q8_0", "prompt": "'"$1"'", "stream": false }' | jq .response

NOTA: Debemos recordar que si queremos que Ollama escuche en todas las direcciones IP, y no sólo en la interfaz loopbask, deberemos hacer este cambio.