AI & Otomasyon
10 dakika okuma
Ollama ile Lokal LLM: Kendi Bilgisayarınızda GPT-4 Kalitesinde Model
Ollama kullanarak Llama 3.1, Mistral ve Qwen2.5 modellerini internet bağlantısı olmadan çalıştırın.
E
Emre Cihan
## Neden Lokal LLM?
- **Gizlilik:** Verileriniz dışarı çıkmaz
- **Maliyet:** API ücreti yok
- **Hız:** Ağ gecikmesi yok
- **Offline:** İnternet bağlantısı gerekmez
## Kurulum
macOS ve Linux için tek satır kurulum komutu mevcuttur. Windows için resmi siteden indirici kullanılır.
## Popüler Modeller
ollama pull komutuyla modeller indirilebilir.
- llama3.1: Genel amaçlı, 4.7GB disk alanı
- mistral: Hızlı ve verimli, 4.1GB
- qwen2.5-coder: Kod yazma odaklı, 4.7GB
- deepseek-r1:7b: Akıl yürütme odaklı
## REST API
Ollama localhost 11434 portunda REST API sunar. JSON formatında model adı ve prompt gönderilir, yanıt response alanında döner.
## PHP Entegrasyonu
OllamaClient sınıfı oluşturulur. generate metodu file_get_contents ve stream_context_create kullanarak POST isteği atar. json_decode ile yanıt parse edilir.
## Benchmark: Apple Silicon M3
| Model | Hız (tok/s) | VRAM | Kalite |
|-------|------------|------|--------|
| Llama 3.1 8B | 78 | 5GB | Yüksek |
| Mistral 7B | 92 | 4GB | Yüksek |
| Qwen2.5 Coder 7B | 85 | 4GB | Çok Yüksek |
| DeepSeek R1 7B | 71 | 5GB | Çok Yüksek |
M3 Pro ile Qwen2.5 Coder, kod yazma görevlerinde GPT-4o ya yakın kalite sunuyor.
- **Gizlilik:** Verileriniz dışarı çıkmaz
- **Maliyet:** API ücreti yok
- **Hız:** Ağ gecikmesi yok
- **Offline:** İnternet bağlantısı gerekmez
## Kurulum
macOS ve Linux için tek satır kurulum komutu mevcuttur. Windows için resmi siteden indirici kullanılır.
## Popüler Modeller
ollama pull komutuyla modeller indirilebilir.
- llama3.1: Genel amaçlı, 4.7GB disk alanı
- mistral: Hızlı ve verimli, 4.1GB
- qwen2.5-coder: Kod yazma odaklı, 4.7GB
- deepseek-r1:7b: Akıl yürütme odaklı
## REST API
Ollama localhost 11434 portunda REST API sunar. JSON formatında model adı ve prompt gönderilir, yanıt response alanında döner.
## PHP Entegrasyonu
OllamaClient sınıfı oluşturulur. generate metodu file_get_contents ve stream_context_create kullanarak POST isteği atar. json_decode ile yanıt parse edilir.
## Benchmark: Apple Silicon M3
| Model | Hız (tok/s) | VRAM | Kalite |
|-------|------------|------|--------|
| Llama 3.1 8B | 78 | 5GB | Yüksek |
| Mistral 7B | 92 | 4GB | Yüksek |
| Qwen2.5 Coder 7B | 85 | 4GB | Çok Yüksek |
| DeepSeek R1 7B | 71 | 5GB | Çok Yüksek |
M3 Pro ile Qwen2.5 Coder, kod yazma görevlerinde GPT-4o ya yakın kalite sunuyor.
Paylaş:
Twitter / X
E
Emre Cihan
Hardware & Software Engineer