Date First Available December 21, 2016 Price $4,348.99
Ensure that your BIOS has „Above 4GB Decoding“ – affects the amount of RAM allocated at a time for the processor to work with video memory is enabled
root@ra-ubuntu24:~# apt-get update -y
root@ra-ubuntu24:~# apt-get upgrade -y
root@ra-ubuntu24:~# apt-get install build-essential
root@ra-ubuntu24:~# lspci | grep -i nvidia
05:00.0 VGA compatible controller: NVIDIA Corporation GM107GL [Tesla M10] (rev a2)
06:00.0 VGA compatible controller: NVIDIA Corporation GM107GL [Tesla M10] (rev a2)
07:00.0 VGA compatible controller: NVIDIA Corporation GM107GL [Tesla M10] (rev a2)
08:00.0 VGA compatible controller: NVIDIA Corporation GM107GL [Tesla M10] (rev a2)
root@ra-ubuntu24:~#
root@ra-ubuntu24:~# apt-get install nvidia-driver-535
root@ra-ubuntu24:~# nvidia-smi
Sun Feb 9 11:31:26 2025
+—————————————————————————————+
| NVIDIA-SMI 535.183.01 Driver Version: 535.183.01 CUDA Version: 12.2 |
|—————————————–+———————-+———————-+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=================================================
| 0 Tesla M10 Off | 00000000:05:00.0 Off | N/A |
| N/A 62C P8 8W / 53W | 4MiB / 8192MiB | 0% Default |
| | | N/A |
+—————————————–+———————-+———————-+
| 1 Tesla M10 Off | 00000000:06:00.0 Off | N/A |
| N/A 71C P8 8W / 53W | 4MiB / 8192MiB | 0% Default |
| | | N/A |
+—————————————–+———————-+———————-+
| 2 Tesla M10 Off | 00000000:07:00.0 Off | N/A |
| N/A 53C P8 8W / 53W | 4MiB / 8192MiB | 0% Default |
| | | N/A |
+—————————————–+———————-+———————-+
| 3 Tesla M10 Off | 00000000:08:00.0 Off | N/A |
| N/A 68C P8 8W / 53W | 4MiB / 8192MiB | 0% Default |
| | | N/A |
+—————————————–+———————-+———————-+
+—————————————————————————————+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|================================================
| 0 N/A N/A 1455 G /usr/lib/xorg/Xorg 2MiB |
| 1 N/A N/A 1455 G /usr/lib/xorg/Xorg 2MiB |
| 2 N/A N/A 1455 G /usr/lib/xorg/Xorg 2MiB |
| 3 N/A N/A 1455 G /usr/lib/xorg/Xorg 2MiB |
+—————————————————————————————+
root@ra-ubuntu24:~#
root@ra-ubuntu24:~# curl -fsSL https://ollama.com/install.sh | sh
>>> Installing ollama to /usr/local
>>> Downloading Linux amd64 bundle
########################################### 100.0%
>>> Creating ollama user…
>>> Adding ollama user to render group…
>>> Adding ollama user to video group…
>>> Adding current user to ollama group…
>>> Creating ollama systemd service…
>>> Enabling and starting ollama service…
Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.
>>> NVIDIA GPU installed.
root@ra-ubuntu24:~# ollama run –verbose llama3.2
>>> Schreibe einen Text über die Geschichte des Eiffelturms in deutsch in 500 Worten
Der Eiffelturm ist einer der bekanntesten und ikonischsten Bauwerke der Welt. Er wurde zwischen 1887 und 1889 in Paris, Frankreich, errichtet, um zur
Ausstellung Weltausstellung 1889 zu dienen. Die Geschichte des Eiffelturms ist eng mit dem Leben von Gustave Eiffel, einem französischen Ingenieur und Erfinder, verbunden.
Gustave Eiffel war ein bekannter Konstrukteur und Ingenieur seiner Zeit. Er hatte bereits Erfolge in der Verbindung von Metall mit anderen Materialien wie Holz und Stein. 1884 gewann er den ersten Preis bei einem Wettbewerb für die Erstellung eines Hochhaupts für die Weltausstellung 1889 in Paris. Der Wettbewerb fand an der Universität von Paris statt und Eiffel war einer der drei Gewinner.
Für die Ausstellung sollte ein höherer Turm errichtet werden, um zu zeigen, dass man die Technik und Materialien besser verstand als seine Konkurrenten. Die Idee kam Eiffel aus seiner Erfahrung bei dem Ersten Weltkrieg, wo er für den französischen König Albert I. gearbeitet hatte und den Turm für die Pariser Ausstellung konzipiert hatte.
Die Pläne für den Eiffelturm wurden von Gauthier, einem Architekten der École des Beaux-Arts, übernommen. Die Stahlkonstruktion sollte 300 Meter hoch sein und mit einer Krone aus Metall bedeckt werden. Der Turm sollte als Symbol für Frankreich dienen und die Weltausstellung beeindruckend abschließen.
Der Bau des Eiffelturms begann im Frühjahr 1887 und nahm mehrere Jahre in Anspruch. Die Errichtung war nicht ohne Herausforderungen: Es gab Probleme mit der Stahlprozession, die für den Turm benötigt wurde, sowie mit den Materialien und der Konstruktion selbst. Eines der größten Probleme waren die Länge der Stahnähte, da sie in der Lage waren, mehrere Meter hoch aufzustehen.
Am 31. März 1889 war der Eiffelturm fertiggestellt. Der Turm wurde von einer Krone mit zwei Metallspitzen überdacht und diente als Aussichtsturm für die Besucher der Weltausstellung. Die Ausstellung fand vom Mai bis September 1889 statt und brachte Millionen von Besuchern in Paris. Viele von ihnen waren beeindruckt von dem Eiffelturm und seine Höhe.
Nach der Ausstellung wurde der Turm als Nationaldenkmal Frankreichs übernommen und diente als Aussichtsturm für die Stadt. Die Firma Gustave Eiffel baute einen weiteren Turm in den Niederlanden, der heutige Antwerpsch-Atom-Turm ist aber nur etwa halb so hoch wie der berühmte Pariser Turm.
Heute ist der Eiffelturm eines der bekanntesten und beliebtesten Sehenswürdigkeiten der Welt. Er wird von über 7 Millionen Besuchern pro Jahr besucht und hat eine Länge von 324 Metern, einem Durchmesser von 125 Metern und einer Höhe von 300 Metern. Der Turm ist ein Symbol für Paris und Frankreich und wird auch jährlich als Symbol der französischen Kultur präsentiert.
Zusammenfassend lässt sich sagen, dass der Eiffelturm eine beeindruckende Geschichte hat, die mit Gustave Eiffel verbunden ist. Er wurde als Symbol für Frankreich und Paris errichtet und dient heute als Aussichtsturm für Besucher aus aller Welt.
total duration: 1m38.422054724s
load duration: 50.613591ms
prompt eval count: 46 token(s)
prompt eval duration: 7ms
prompt eval rate: 6571.43 tokens/s
eval count: 827 token(s)
eval duration: 1m38.362s
eval rate: 8.41 tokens/s
>>> bye
root@ra-ubuntu24:~#
root@ra-ubuntu24:~# ollama run –verbose phi4
root@ra-ubuntu24:~# nvidia-smi
Sun Feb 9 12:16:38 2025
+—————————————————————————————+
| NVIDIA-SMI 535.183.01 Driver Version: 535.183.01 CUDA Version: 12.2 |
|—————————————–+———————-+———————-+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|====================================================|
| 0 Tesla M10 Off | 00000000:05:00.0 Off | N/A |
| N/A 67C P0 19W / 53W | 4297MiB / 8192MiB | 43% Default |
| | | N/A |
+—————————————–+———————-+———————-+
| 1 Tesla M10 Off | 00000000:06:00.0 Off | N/A |
| N/A 74C P0 22W / 53W | 3979MiB / 8192MiB | 42% Default |
| | | N/A |
+—————————————–+———————-+———————-+
| 2 Tesla M10 Off | 00000000:07:00.0 Off | N/A |
| N/A 58C P0 35W / 53W | 3979MiB / 8192MiB | 1% Default |
| | | N/A |
+—————————————–+———————-+———————-+
| 3 Tesla M10 Off | 00000000:08:00.0 Off | N/A |
| N/A 72C P0 24W / 53W | 4244MiB / 8192MiB | 29% Default |
| | | N/A |
+—————————————–+———————-+———————-+
+—————————————————————————————+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|====================================================|
| 0 N/A N/A 2720 G /usr/lib/xorg/Xorg 2MiB |
| 0 N/A N/A 4638 C …rs/cuda_v11_avx/ollama_llama_server 4290MiB |
| 1 N/A N/A 2720 G /usr/lib/xorg/Xorg 2MiB |
| 1 N/A N/A 4638 C …rs/cuda_v11_avx/ollama_llama_server 3972MiB |
| 2 N/A N/A 2720 G /usr/lib/xorg/Xorg 2MiB |
| 2 N/A N/A 4638 C …rs/cuda_v11_avx/ollama_llama_server 3972MiB |
| 3 N/A N/A 2720 G /usr/lib/xorg/Xorg 2MiB |
| 3 N/A N/A 4638 C …rs/cuda_v11_avx/ollama_llama_server 4237MiB |
+—————————————————————————————+
root@ra-ubuntu24:~#
root@ra-ubuntu24:~# ollama ps
NAME ID SIZE PROCESSOR UNTIL
phi4:latest ac896e5b8b34 17 GB 100% GPU 4 minutes from now
root@ra-ubuntu24:~#
If you do not want to keep past traces of the looped call in the console history
root@ra-ubuntu24:~# watch -n0.1 nvidia-smi
root@ra-ubuntu24:~# docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=http://192.168.1.171:11434 -v open-webui:/app/backend/data –name open-webui –restart always ghcr.io/open-webui/open-webui:main
Unable to find image ‚ghcr.io/open-webui/open-webui:main‘ locally
main: Pulling from open-webui/open-webui
c29f5b76f736: Pull complete
73c4bbda278d: Pull complete
acc53c3e87ac: Pull complete
ad3b14759e4f: Pull complete
b874b4974f13: Pull complete
4f4fb700ef54: Pull complete
dfcf69fcbc2b: Pull complete
e8bfaf4ee0e0: Pull complete
17b8c991f4f9: Pull complete
2d1f3e8f8037: Pull complete
9bc058e9f913: Pull complete
4ec78f0a5387: Pull complete
8362126344e9: Pull complete
8fbadd293f58: Pull complete
00f8bd1845fc: Pull complete
Digest: sha256:1623214ac0c180cc1f527df3c2cb2be69bd0911016a565edc15e91b4e6ab99dd
Status: Downloaded newer image for ghcr.io/open-webui/open-webui:main
8deec58b28079869932e15e779e66d26895b526b4780194e6de75a8802d01066
root@ra-ubuntu24:~#
root@ra-ubuntu24:~# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
8deec58b2807 ghcr.io/open-webui/open-webui:main „bash start.sh“ 19 seconds ago Up 17 seconds (health: starting) 0.0.0.0:3000->8080/tcp, [::]:3000->8080/tcp open-webui
root@ra-ubuntu24:~#
