Getriggerd door deze zin in De Week van Martijn blogpost ;-)

En ik kan niet wachten tot ik grote lokale taalsets op mijn Macbook en iPad kan draaien dit najaar

Ik heb een Macbook Pro M3, inmiddels draai ik hier lokale taalsets op zonder dat de zilveren magiemachine een zweetdruppel laat zien. Lokale AI tools die ik momenteel gebruik:

MacWhisper (Pro): Om audio uit te laten schrijven. Gespreksverslagen, interviews, Youtube video, podcasts. Van Nederlandse bodem!

AnythingLLM en Ollama: Beiden zijn een lokale kloon van de ChatGPT interface, waarmee je lokale taalsets kunt aanroepen. Ik gebruik de taalsets Llama3 en Mistral voornamelijk. Een bijkomend voordeel, deze taalsets zijn vervolgens direct beschikbaar in Obsidian om via AI-plugins als BMO of Smart Connections aan te roepen.

Mijn eerlijke mening: De lokale taalsets zijn nog ver verwijderd van de online orakels/statistische papegaai-praters als Claude en OpenAI. Maar de versnelling in ontwikkeling is overal te vinden en dat vind ik fascinerend. Daarnaast is mijn gebruik van de lokale tools ín Obsidian nog marginaal. Zo nu en dan heb ik wat “gesprekken” met mijn notities, maar ik merk dat ik vaak niet goed weet wát te vragen of te onderzoeken. Net als Martijn heb ik op mijn wensenlijst staan om een goede dataset te maken van al mijn blogposts, boeken, Day One entries, tweets, toots, mail van de afgelopen x jaar. Om daar privé gesprekken mee te voeren en inzichten uit te krijgen.