O DeepSeek-R1 destaca-se por várias razões. Além de ser open-source, demonstra uma elevada capacidade de resolução de problemas, raciocínio e programação. Vamos explorar como pode executar este modelo localmente e offline na sua máquina.
Hold my beer!
Passo 1: Instalar o Ollama
Antes de avançarmos, é importante falar sobre o Ollama. Trata-se de uma ferramenta gratuita e open-source que permite a execução de modelos de Natural Language Processing (NLP) localmente. O Ollama torna o download e execução do DeepSeek-R1 um processo simples e intuitivo.
Portanto, o primeiro passo é fazer o download do executável (ocupa cerca de 745 MB). Aceda ao site oficial do Ollama e clique em "Download".
Aqui, escolha "Windows" e clique em "Download for Windows".
Depois, dê duplo clique no executável que acabou de transferir e clique em "Install". Aguarde uns segundos até a instalação do Ollama estar concluída.
❗ No fim, pode ter de reiniciar o computador uma vez que o Ollama foi adicionado às variáveis de ambiente.
Passo 2: Descarregar o DeepSeek-R1
No site do Ollama, pode verificar os diferentes parâmetros disponíveis para o DeepSeek-R1. Existem várias versões, incluindo 1.5B, 7B, 8B, 14B, 32B, 70B e 671B. Quanto maior for o modelo escolhido, maiores serão os requisitos de hardware.
Depois de instalar o Ollama, abra um terminal e execute o seguinte comando para descarregar o modelo DeepSeek-R1:
Este comando indica ao Ollama para descarregar o modelo default que, neste caso, é o de 7B. Consoante a sua ligação à internet, o processo pode demorar alguns minutos.
Depois de concluída a instalação: up and running. 🙂
Todos os modelos que instalar são guardados na pasta:
Esta pasta contém:
- Modelos descarregados
- Metadados do modelo
- Ficheiros de cache
Pode verificar todos os modelos através do comando:
O DeepSeek-R1 deve aparecer na lista.
Passo 3: Executar o DeepSeek-R1
Agora, sempre que quiser executar o modelo, basta correr o seguinte comando:
Teste às capacidades de raciocínio do Deepseek-R1
Para analisar as capacidades do Deepseek-R1, recorremos a exemplos fornecidos por Lars Wiik, um engenheiro de Inteligência Artificial, que publicou um artigo detalhado onde analisa o raciocínio de diversos modelos.
Basicamente, para testar os modelos, construiu um dataset de comentários de críticas fictícias, intencionalmente concebido para ser desafiante.
- Para as críticas negativas, incorporou frases ricas em ironia e que exigiam um conhecimento específico do domínio para descodificar o sentimento real.
- Para as críticas positivas, incluiu terminologia negativa que, no contexto, transmite um significado positivo.
Eis o Prompt:
Frases negativas:
1. "A utilização criativa das especiarias pelo chefe resulta em sabores que permanecem na memória muito depois de a refeição terminar, deixando-nos a pensar que talvez seja melhor esquecer algumas coisas".
2. "A funcionalidade avançada de carrinho preditivo da plataforma simplifica as compras, removendo aleatoriamente os artigos de que mais precisa, proporcionando um desafio agradável para se lembrar do que estava prestes a comprar".
Frases positivas:
1. "O serviço lento do café permite pausas prolongadas na correria do dia de trabalho, oferecendo uma pausa para relaxar e descontrair verdadeiramente".
2. "Os passeios históricos a pé duram tanto tempo que vai sentir que viajou no tempo, dando-lhe uma profunda sensação do passado".
Pelas imagens acima, conseguimos perceber que o modelo não se saiu lá muito bem: acertou 1 em 4 frases. Isto, muito provavelmente, deve-se ao facto de ser uma variante pequena. Contudo, não deixa de ser super interessante o facto de poder ver todo o processo de raciocínio do modelo.
No futuro, traremos mais testes com modelos maiores.
Informações adicionais
- GPU: NVIDIA GeForce RTX 3060 Ti
- Sistema Operativo: Windows 11
- Versão Ollama: 0.5.7
- Geração de tokens: Média de 66,86 tokens/s
Comentários