• Menu

0 recente resultaten

Weg van Big Tech stap 5: AI-assistenten en chatbots

Weg van Big Tech: het lijkt in eerste instantie misschien niet altijd even makkelijk. Waar begin je en wat is daadwerkelijk een goed alternatief? Om je op weg te helpen, bieden we je graag een stappenplan met alternatieven aan. Hier vind je alle stappen.

AI-assistenten zijn bijna niet meer weg te denken in onze online-omgeving. Nadat ChatGPT werd gelanceerd in 2022, buitelde iedereen over elkaar heen met voorspellingen: het onderwijs zou rigoureus veranderen, 'dom' werk zou ophouden te bestaan en/of AI zou bewustzijn krijgen en de hele samenleving ontwrichten.

Naast zulke grootse voorspellingen is het interessant dat het businessmodel van Large Language Models (LLMs), zoals ChatGPT, helemaal niet zo baanbrekend is. Deze modellen achter AI-assistenten worden namelijk getraind op basis van gigantische massa's data die online te vinden zijn, vaak zonder toestemming van gebruikers. Je raadt het al: deze data bevat veel gevoelige persoonsgegevens. Het is daarbij extra kwalijk dat de grootste en meest gebruikte AI-systemen worden ontwikkeld en gehost door Big Tech bedrijven. De gegevens die zij gebruiken om hun AI te trainen, komen dus ook uit andere producten die zij leveren.

Maar niet alleen de afhankelijkheid van Big Tech is kwalijk. Het is ook goed om te beseffen dat mensen worden uitgebuit om generatieve AI mogelijk te maken. AI-trainingsdata moet worden gefilterd en voorzien van labels, wat wordt gedaan onder zeer slechte werkomstandigheden. Daarnaast heeft AI een grote impact op het klimaat. Datacenterparken ter grootte van kleine steden zijn toegewijd aan AI. Ze verbruiken gigantische hoeveelheden elektriciteit wat leidt tot veel CO2-uitstoot.

Ga je alsnog aan de slag met een AI-assistent of chatbot, wees dan altijd kritisch op de antwoorden die eruit komen rollen. Het is steeds moeilijker om te achterhalen hoe een algoritme tot een reactie of besluit komt en wie er verantwoordelijk moet worden gehouden wanneer er een fout antwoord wordt gegeven.

Gelukkig zijn er veilige manieren om met AI te werken. Als je niet wil dat AI wordt getraind op wat jij stuurt en deze informatie niet wordt gedeeld met derden, is het aan te raden AI te kiezen die je lokaal op je apparaat kunt draaien. Je downloadt dan een AI-model. Je uitwisseling met die AI verlaat nooit je apparaat en het werkt lokaal en offline. Dat is meer privé en veiliger. Houd er rekening mee dat sommige AI-modellen meer geheugen in beslag nemen dan anderen. Verwacht verder niet dat ze net zo snel en slim zijn als de modellen bij ChatGPT.

Onze aanbevelingen

Hier lees je de selectiecriteria- en voorwaarden voor onderstaande aanbevelingen.

Jan.ai (desktop)

  • https://www.jan.ai/;
  • Draait AI-modellen lokaal op je apparaat;
  • Traint niet op gebruikersdata;
  • Vereist minimaal 8GB RAM geheugen;
  • Meerdere open-source AI-modellen beschikbaar.

PocketPal (mobiel)

  • Draait AI-modellen lokaal op je apparaat;
  • Traint niet op gebruikersdata;
  • Vereist minimaal 8GB RAM geheugen;
  • Meerdere open-source AI-modellen beschikbaar.

OLMo 2

  • https://allenai.org/olmo
  • Volledig open-source, inclusief de trainingsdata;
  • Heeft geschikte modellen voor desktop en mobiel.

Proton Lumo

  • https://lumo.proton.me
  • Draait op de servers van Proton (stuur dus nooit gevoelige informatie naar Lumo);
  • Traint niet op gebruikersdata;
  • Valt onder strenge Zwitserse privacywetgeving;
  • Werkt in de browser en heeft een mobiele app.

Zo stap je over (desktop)

Voor AI op je mobiel kun kiezen tussen Jan.ai, wat lokaal en offline op je apparaat draait en Proton Lumo.

  • 1

    Download en installeer

    Ga naar https://www.jan.ai/ en download de app. Als de download voltooid is, kun je het installeren op je apparaat.

  • 2

    Kies een model om te gebruiken

    Om een geschikt model te kiezen, moet je opletten hoeveel geheugen je apparaat heeft. Voor een laptop met een geheugen van 8GB zijn doorgaans de '7B' modellen prima te gebruiken. Wij raden OLMo 2 aan, omdat deze volledig open-source is ontwikkeld, inclusief de trainingsdata. Andere interessante modellen zijn Mistral, ontwikkeld door Mistral AI uit Frankrijk of EuroLLM, een taalmodel dat alle Europese talen ondersteund.

    De verschillende versies van deze modellen kun je allemaal terugvinden op Hugging Face, een platform waar AI-modellen, datasets en applicaties worden gedeeld. Zo vind je alle OLMo 2 modellen hier, alle Mistral modellen hier en alle EuroLLM modellen hier.

  • 3

    Download het model in Jan.ai

    Open de app en klik op 'Hub' in het linker menu. Zoek naar het model dat je hebt gekozen in de vorige stap. Krijg je het model niet te zien wanneer je bijvoorbeeld zoekt op 'OLMo-2'? Kopieer dan de naam van het model inclusief ontwikkelaar en plak deze in de zoekbalk; voor OLMo-2 is dat bijvoorbeeld: allenai/OLMo-2-1124-7B-Instruct-GGUF.

    Kies een model met 'instruct' en 'GGUF' in de naam. 'Instruct' betekent dat het model geoptimaliseerd is om mee te chatten. Modellen zonder 'instruct' zijn niet aan te raden. 'GGUF' is een formaat dat Jan.ai gebruikt om de modellen in te laden, wat betekent dat modellen zonder 'GGUF'-formaat niet worden gelezen door de Jan app.

    Voorbeelden voor modellen van Mistral en EuroLLM die geschikt zijn voor in de Jan.ai app:

    • MaziyarPanahi/Mistral-Nemo-Instruct-2407-GGUF
    • utter-project/EuroLLM-9B-Instruct (ondanks de naam is dit wél een GGUF-formaat)

    Selecteer het model dat je zoekt en downloadt deze. Jan.ai zal het model vervolgens gereedmaken.

  • 4

    Gebruik het model in een chat

    Ga naar 'New Chat', selecteer het model dat je zojuist hebt gedownload onder het chatvenster en vraag maar raak!

    Loopt de Jan.ai app vast nadat je iets hebt gevraagd? Dan is de kans groot dat je een taalmodel hebt gekozen dat niet geschikt is voor jouw apparaat. Probeer een lichter model:

    • Gebruikte je OLMo-2 7B? Probeer OLMo-2 1B (allenai/OLMo-2-0425-1B-Instruct-GGUF voor in Jan.ai's hub) of zoek een ander minder zwaar model onder 7B (bijv. 4B).
    • Gebruikte je EuroLLM 9B? Probeer OLMo-2 7B (allenai/OLMo-2-1124-7B-Instruct-GGUF voor in Jan.ai's hub) of zoek een ander minder zwaar model onder 9B (bijv. 7B).
    • Gebruikte je Mistral Nemo? Probeer OLMo-2 7B (allenai/OLMo-2-1124-7B-Instruct-GGUF voor in Jan.ai's hub) of zoek een ander minder zwaar model onder 12B (bijv. 9B).

Zo stap je over (mobiel)

Voor AI op je mobiel kun kiezen tussen PocketPal, wat lokaal en offline op je apparaat draait en Proton Lumo.

  • 1

    Download en installer de app

    Afhankelijk van je besturingssysteem ga je naar de App of Play Store en download je PocketPal om AI lokaal te draaien of de Proton-Lumo-app. Kies je voor de Proton-Lumo-app, dan ben je hierna meteen klaar en kan je aan de slag. Ga je voor een lokale AI, dan moet je de volgende stappen doorlopen.

  • 2

    Kies een model om te gebruiken

    Om een geschikt model te kiezen moet je opletten hoeveel geheugen je apparaat heeft. Voor een mobiele telefoon met 8GB geheugen zijn modellen onder de zeven miljard parameters (7B) geschikt. Wij raden OLMo 2 aan omdat deze volledig open-source is ontwikkeld, inclusief de trainingsdata. Andere interessante modellen zijn Mistral, ontwikkeld door Mistral AI uit Frankrijk.

    De verschillende versies van deze modellen kun je allemaal terugvinden op Hugging Face, een platform waar AI-modellen, datasets en applicaties worden gedeeld. Zo vind je alle OLMo 2 modellen hier en alle Mistral modellen hier.

  • 3

    Download het model in PocketPal

    Open PocketPal, klik op het menu-icoon links bovenin, klik op 'Models' en vervolgens op het plus-icoon rechts-onderin het scherm. Klik op 'Add from Hugging Face'. Zoek naar het model dat je hebt gekozen in de vorige stap. Let erop dat je een model kiest dat 'instruct' in de naam heeft. Dit betekent dat het model geoptimaliseerd is om mee te chatten.

    Zodra je het model hebt gevonden, klik je op de naam. Dan krijg je een pop-up met verschillende versies van het model. Om niet in de technische details te duiken waar elke versie voor staat, kun je zoeken naar de versie die eindigt met '…Q4_K_M.gguf' en deze downloaden. PocketPal zal het model dan gereedmaken.

  • 4

    Gebruik het model in een chat

    Ga naar 'Chat' in het menu. Selecteer het model dat je zojuist hebt gedownload onder het chatvenster en vraag maar raak!

    Loopt de PocketPal app vast nadat je iets hebt gevraagd? Dan is de kans groot dat je een taalmodel hebt gekozen dat niet geschikt is voor jouw apparaat. Probeer een lichter model:

    • Gebruikte je OLMo-2 7B? Probeer OLMo-2 1B of zoek een ander minder zwaar model op Hugging Face (bijv. 4B).
    • Gebruikte je Mistral 7B? Probeer OLMo-2 1B of zoek een ander minder zwaar model op Hugging Face (bijv. 4B).

"AI operaart vaak in een black box, waar je alleen weet wat er in gaat en wat er uitkomt, maar niet weet wat daar tussenin is gebeurd. AI bevat, net als alle technologie, altijd een bias en hallucineert. Je kan AI nooit blindelings vertrouwen. Zorg dat je kunt blijven beantwoorden: welke data is binnen welk algoritme door wie verwerkt, waar komt het resultaat vandaan en klopt dit resultaat? Blijf altijd kritisch op je AI-gebruik."

Martijn

Wauw, goed gedaan!

Je bent nu voor je AI-assistenten en chatbots vrij van Big Tech. Vrij van oncontroleerbare, dominante bedrijven met een onverzadigbare datahonger. Veel plezier met het houden van AI-gesprekken op basis van jouw eigen voorwaarden en niet die van een bedrijf!

Deel deze stap met je netwerk

Om te laten zien dat jij bent overgestapt naar privacyvriendelijke AI-assistenten en chatbots, kun je onderstaande badge en socialemediaposts downloaden. De badge kun je bijvoorbeeld in je e-mailhandtekening zetten. Hopelijk spoor je hiermee anderen aan om ook over te stappen! Wil je dat ook offline doen? Bestel dan de stickerset in onze webshopNaar onze webshop! !

Help mee en steun ons

Door mijn bijdrage ondersteun ik Bits of Freedom, dat kan maandelijks of eenmalig.

Jij bent een officiële supporter van een vrij internet!

Dankjewel voor het steunen en welkom als officiële supporter van een vrij internet.

Je ontvangt de inlogcode voor de donateursomgeving zo snel mogelijk via de mail. Of klik via de knop hieronder om meteen naar de donateursomgeving te gaan.

Naar donateursomgeving

Er ging iets mis tijdens de betaling

Je betaling is niet juist afgehandeld, probeer nog eens.

Support en doneer!

Meer weten over doneren aan ons? Lees er hier alles over.