Como baixar e instalar ollama para rodar modelos de IA sem censura e privados
O Ollama é uma ferramenta que permite rodar modelos de inteligência synthetic localmente no seu computador. Ele é supreme para quem deseja utilizar modelos de linguagem sem depender da nuvem, garantindo maior privacidade e controle.
Primeiramente, acesse Ollama e faça o obtain da ferramenta conforme seu sistema operacional (Home windows, Linux ou macOS). Em seguida, notice o processo de instalação padrão.
Após instalar, abra seu navegador e acesse: http://localhost:11434/. Se a instalação ocorreu corretamente, você verá a mensagem “Ollama is working”.
Agora, visite a página Ollama Fashions e escolha um modelo. Para esta instalação, usaremos o dolphin3, que ocupará cerca de 5GB no HD.
O dolphin3 é um modelo de inteligência synthetic baseado em grandes modelos de linguagem (LLMs), projetado para fornecer respostas rápidas e precisas em diversos contextos sem censura.
Se desejar alterar o native onde os modelos são armazenados, siga estes passos no Home windows:
- Finalize o Ollama e acesse as Variáveis de Ambiente do Home windows.
- Em Variáveis do Sistema, defina um nome para a variável.
- Depois defina um novo caminho para a pasta onde deseja armazenar os modelos.
- Salve as alterações e reinicie o Ollama.
- Verifique se a pasta escolhida contém uma subpasta chamada blobs, indicando que a configuração foi aplicada corretamente.
Agora, abra o terminal (ou immediate de comando no Home windows) e digite o comando abaixo para baixar e rodar o modelo escolhido:
[ollama run dolphin3]
Isso iniciará o modelo dolphin3, permitindo que você interaja com ele diretamente pelo terminal.
Com isso, sua instalação e configuração do Ollama estão concluídas! Agora você pode explorar diferentes modelos e utilizar a IA localmente no seu computador.
Para utilizar sua IA com uma interface semelhante ao ChatGPT, você precisará utilizar o Open WebUI.
O Open WebUI é uma interface gráfica de código aberto para modelos de IA locais. Ele permite uma experiência interativa semelhante ao ChatGPT, facilitando a comunicação com os modelos sem necessidade de usar o terminal.
Antes de instalar o Open WebUI, instale o Docker acessando Docker e seguindo o processo de instalação conforme seu sistema operacional.
Com o Docker em execução, abra o terminal e execute o seguinte comando:
No Linux:
[docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://localhost:11434/ -v open-webui:/app/backend/data –name open-webui –restart always ghcr.io/open-webui/open-webui:main]
No Home windows:
[docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://host.docker.internal:11434/ -v open-webui:/app/backend/data –name open-webui –restart always ghcr.io/open-webui/open-webui:main]
Quando a instalação for concluída, você verá que a aplicação já está funcionando no endereço http://localhost:3000.
No Open WebUI, vá até a seção de modelos e adicione o modelo escolhido à lista de modelos disponíveis. Pronto! Agora você tem uma IA disponível offline, sem restrições, acessível por uma interface gráfica intuitiva.
Dicas:
Caso use GPU, make the most of o comando abaixo:
No Linux (antes instale o NVIDIA container, saiba mais clicando aqui):
[docker run -d -p 3000:8080 –gpus all -e OLLAMA_BASE_URL=http://localhost:11434/ -v open-webui:/app/backend/data –name open-webui –restart always ghcr.io/open-webui/open-webui:cuda]
No Home windows (certifique de possuir os drivers da NVIDIA atualizado):
[docker run -d -p 3000:8080 –gpus all -e OLLAMA_BASE_URL=http://host.docker.internal:11434/ -v open-webui:/app/backend/data –name open-webui –restart always ghcr.io/open-webui/open-webui:cuda]
Caso o modelo não apareça na interface no Linux, make the most of “–network=host” no lugar de “-p 3000:8080” . Então acesse a página da interface through localhost:8080. Exemplo:
[docker run -d –network=host –gpus all -e OLLAMA_BASE_URL=http://localhost:11434/ -v open-webui:/app/backend/data –name open-webui –restart always ghcr.io/open-webui/open-webui:cuda]
Para manter seu OpenWebUI sempre atualizado, execute o comando abaixo para ficar verificando por nova versão a cada 5 minutos (remova a flag “–gpus all” caso não use GPU):
[docker run -d –gpus all –name watchtower –volume /var/run/docker.sock:/var/run/docker.sock containrrr/watchtower -i 300 open-webui]
