AI & Otomasyon 10 dakika okuma

Ollama ile Lokal LLM: Kendi Bilgisayarınızda GPT-4 Kalitesinde Model

Ollama kullanarak Llama 3.1, Mistral ve Qwen2.5 modellerini internet bağlantısı olmadan çalıştırın.

E
Emre Cihan
· · 317 görüntüleme
## Neden Lokal LLM?

- **Gizlilik:** Verileriniz dışarı çıkmaz
- **Maliyet:** API ücreti yok
- **Hız:** Ağ gecikmesi yok
- **Offline:** İnternet bağlantısı gerekmez

## Kurulum

macOS ve Linux için tek satır kurulum komutu mevcuttur. Windows için resmi siteden indirici kullanılır.

## Popüler Modeller

ollama pull komutuyla modeller indirilebilir.

- llama3.1: Genel amaçlı, 4.7GB disk alanı
- mistral: Hızlı ve verimli, 4.1GB
- qwen2.5-coder: Kod yazma odaklı, 4.7GB
- deepseek-r1:7b: Akıl yürütme odaklı

## REST API

Ollama localhost 11434 portunda REST API sunar. JSON formatında model adı ve prompt gönderilir, yanıt response alanında döner.

## PHP Entegrasyonu

OllamaClient sınıfı oluşturulur. generate metodu file_get_contents ve stream_context_create kullanarak POST isteği atar. json_decode ile yanıt parse edilir.

## Benchmark: Apple Silicon M3

| Model | Hız (tok/s) | VRAM | Kalite |
|-------|------------|------|--------|
| Llama 3.1 8B | 78 | 5GB | Yüksek |
| Mistral 7B | 92 | 4GB | Yüksek |
| Qwen2.5 Coder 7B | 85 | 4GB | Çok Yüksek |
| DeepSeek R1 7B | 71 | 5GB | Çok Yüksek |

M3 Pro ile Qwen2.5 Coder, kod yazma görevlerinde GPT-4o ya yakın kalite sunuyor.
Etiketler: #AI #LLM #Ollama
Paylaş: Twitter / X
E
Emre Cihan
Hardware & Software Engineer