Aprenda a configurar e usar modelos LLM localmente com LangChain e Ollama. Passo a passo com ambiente digital, instalação e exemplo prático.
O Ollama permite rodar LLMs localmente com efficiency otimizada, sem necessidade de conexão com a nuvem. No artigo anterior, aprendemos a como executar um modelo de IA no PC com Ollama. Neste artigo vamos continuar o projeto configurando um ambiente digital Python e instalar a biblioteca langchain-ollama para utilizar com o modelo de IA native, nosso Ollama. Antes de continuar é importante que seu modelo esteja já executando localmente, acesse o artigo anterior para rodar seu modelo.
Os comandos apresentados abaixo foram executados em um diretório criado para o projeto by way of terminal utilizando o Visible Studio Code no Home windows.
Passo 1: Criar o ambiente digital
Primeiramente, crie um ambiente digital para isolar as dependências do projeto:
[python -m venv venv]
Passo 2: Ativar o ambiente digital
No PowerShell (Home windows), ative o ambiente com o comando:
[.venvScriptsActivate.ps1]
Passo 3: Instalar a biblioteca langchain-ollama
Instale a biblioteca que integra o LangChain com modelos servidos by way of Ollama:
[pip install -U langchain-ollama]
Exemplo de código: Consultando um modelo native by way of Ollama
Após a instalação, podemos fazer perguntas a um modelo LLM rodando localmente. No exemplo abaixo, usamos o modelo dolphin3, mas você pode substituí-lo por qualquer outro modelo disponível no Ollama, como mistral, gemma, llama3, entre outros.
Se o exemplo acima não carregar clique aqui.
Observe que para inicializar o modelo use o trecho de código abaixo no qual ‘seu-modelo’ é o nome do modelo listado no ollama e a url é padrão caso não tenha alterado:
[model = OllamaLLM(model=”seu-modelo”, base_url=”http://localhost:11434″)]
Para listar os modelos disponíveis localmente em sua máquina make the most of o comando:
[ollama list]
Se ficou curioso, a saída da execução do código acima foi:
[Resposta do modelo:
LLM significa “Language Model”, que é um tipo de modelo de inteligência artificial treinado para gerar texto baseado em entradas de texto fornecidas por usuários. Ele pode entender e responder a perguntas, criar histórias e realizar tarefas linguísticas complexas com base no seu conhecimento acumulado durante o treinamento.]
Agora que entendeu o básico, você pode utilizar a criatividade para programar seus projetos.
