Una lista útil de las mejores herramientas para ejecutar potentes LLM de forma totalmente gratuita y local en su computadora portátil. Actualmente es la tendencia número uno en GitHub.

1.

Cualquier cosaLLM

Espacio de trabajo todo en uno para chatear con documentos y crear agentes

http://github.com/Mintplex-Labs/anything-llm

2.

KoboldCpp

Herramienta liviana, especialmente buena para escritura creativa y guiones basados en personajes.

http://github.com/LostRuins/koboldcpp

3.

llama.cpp

Motor básico. Muy eficiente y se ejecuta en casi cualquier hardware.

http://github.com/ggml-org/llama.cpp

4.

Abrir interfaz de usuario web

Conveniente interfaz web estilo ChatGPT, funciona muy bien con Ollama

http://github.com/open-webui/open-webui

5.

GPT4Todos

Una aplicación de escritorio sencilla con chat de documentos integrado

http://github.com/nomic-ai/gpt4all

6.

IA local

API compatible con OpenAI que funciona en diferentes hardware y admite muchos backends

http://github.com/mudler/LocalAI

7.

vllm

Motor de inferencia rápido cuando necesita respuestas más rápidas y trabajar a escala

http://github.com/vllm-project/vllm

@análisis_datos_ml