Antes de começar
- Máquina compatível com o guia do Colibri
- RAM e disco suficientes para o modelo escolhido
- Internet para baixar o modelo
Meça os recursos disponíveis
Anote RAM livre, espaço em disco e processador; se houver GPU, registre também a memória dela. O README indica ao menos 8 GB de RAM e 22 GB de disco para o menor modelo, com 16 GB ou mais de RAM preferíveis. Esses números não significam que qualquer modelo grande cabe nesse espaço.
Entenda o custo de ler pesos do disco
Colibri pode carregar partes de modelos MoE do disco conforme necessário. Isso permite experimentar configurações que não cabem inteiras na memória rápida, mas velocidade de disco, cache e tamanho do modelo afetam a latência. Planeje um teste medido, não uma expectativa de velocidade baseada só no total de parâmetros.
Use o instalador do repositório
Abra JustVugg/colibri e siga o Quick Start do seu sistema. No Windows, o projeto oferece START-HERE.bat após baixar e extrair o ZIP. Leia o arquivo antes de rodar e confira as instalações adicionais propostas. Em Linux ou macOS, use o guia correspondente; os requisitos de compilação diferem.
Comece pela recomendação que cabe na máquina
Confira o tamanho total do download, a licença do modelo e o espaço necessário depois de extraí-lo. Escolha primeiro a opção menor que o setup recomenda para seu equipamento. Não baixe um modelo de centenas de gigabytes apenas porque o anúncio menciona pouca RAM.
Faça um teste com resultado conhecido
Use um parágrafo curto e peça um resumo de três pontos. Meça o tempo até a primeira resposta e o tempo total, primeiro com o modelo frio e depois carregado. Confira erros de fato e repita com uma pergunta cujo resultado você conhece.
Resuma apenas o texto fornecido em três pontos. Não complete lacunas com conhecimento externo. Depois liste uma informação que o texto não permite concluir. Texto: [cole um parágrafo público ou criado para teste].Mantenha o acesso local e registre o limite
Use o endereço local informado pelo projeto e confira em qual interface o servidor está escutando. Não abra a porta na internet para esse teste. Registre modelo, quantização, RAM usada e latência. Se houver falta de memória ou respostas demoradas, reduza o modelo antes de pensar em uma interface pública.
O que você terá ao final
Uma avaliação local com requisitos, tempo de resposta e qualidade observados na sua máquina.
Vale conferir
- Downloads e modelos grandes podem ocupar muito mais espaço que o mínimo anunciado.
- A licença do motor e a licença dos pesos são coisas diferentes.
- Guia elaborado a partir da documentação. O fluxo completo não foi executado pela Agentspedia.