dnf install ollama 

Mój przykład to uruchomienie na laptopie HP Victus z kartą graficzną NVIDIA GeForce RTX 3050.

Na jednej sesji terminala:

export HIP_VISIBLE_DEVICES=
export CUDA_VISIBLE_DEVICES=0
export OLLAMA_LLM_LIBRARY=cuda
ollama serve

Na innej sesji terminala:

Pobranie modelu np llama3:8b i to polecenie wykonujemy tylko raz.

ollama push llama3:8b

Uruchomienie pobranego modelu

ollama run llama3:8b

Pobranie qwen

ollama pull qwen2.5-coder:7b

ollama list
NAME                   ID              SIZE      MODIFIED      
qwen2.5-coder:7b       dae161e27b0e    4.7 GB    2 hours ago      
deepseek-coder:6.7b    ce298d984115    3.8 GB    10 months ago    
llama3:8b              365c0bd3c000    4.7 GB    10 months ago    
deepseek-coder:1.3b    3ddd2d3fc8d2    776 MB    10 months ago  

Aby po ponownym uruchomieniu modelu nie zaczynać od początku to po zakończeniu pracy zanim wykonamy polecenie /bye należy wykonać /save nazwa_sesji. Jeżeli będziemy chcieli do niej powrócić to nie wykonujemy polecenia ollama run qwen2.5-coder:7b tylko ollama run nazwa_sesji. Jeżeli przed zakończeniem sesji ponownie wykonamy /save nazwa_sesji to konwersacja zostanie dołączona do poprzedniej.