JARVIS AI Assistant

Proyek AI asisten lokal berbasis Large Language Model yang berjalan sepenuhnya di mesin sendiri tanpa cloud, tanpa biaya API. Dilengkapi kemampuan melihat gambar, mencari internet, membaca dokumen, berbicara, dan mengirim pesan secara otomatis.

Apa itu JARVIS?

JARVIS adalah AI asisten pribadi yang berjalan 100% lokal di komputer sendiri menggunakan model bahasa dari Ollama. Sistem ini dibangun di atas dua server yang bekerja bersamaan: FastAPI sebagai otak utama yang menangani semua proses AI, dan Flask sebagai antarmuka web yang bisa diakses dari browser. Seluruh percakapan, pengetahuan, dan memori tersimpan di dalam mesin sendiri tidak ada data yang keluar ke internet kecuali saat fitur web search sengaja diaktifkan.

Python FastAPI · port 8000 Flask · port 5000 Ollama Local LLM SQLite WebSocket

Otak: Dua Model, Satu Sistem

Jarvis menggunakan dua model Qwen3 yang dipilih secara otomatis tergantung kebutuhan. Model kecil (qwen3:1.7b) dipakai untuk percakapan santai agar respons terasa cepat. Model lebih besar (qwen3:4b) secara otomatis diaktifkan ketika ada gambar yang perlu dianalisis, hasil pencarian web yang perlu dirangkum, atau dokumen yang perlu dipahami kondisi yang membutuhkan reasoning lebih dalam. Sistem membangun system prompt secara dinamis setiap request, menyesuaikan kepribadian, mode, dan data kontekstual yang relevan sebelum dikirim ke model.

qwen3:1.7b → Chat Cepat qwen3:4b → Analisis Mendalam Auto model switching Dynamic system prompt

Mata: Bisa Melihat dan Mengingat Gambar

Jarvis bisa menerima foto dan menganalisisnya menggunakan model Moondream yang berjalan lokal. Setiap gambar di-hash dengan SHA-256 jika gambar yang sama diupload lagi, Jarvis langsung menjawab dari cache tanpa analisis ulang. Jarvis juga bisa diajarkan nama objek atau orang dalam foto: cukup ketik "ini adalah [nama]" dan Jarvis akan menyimpan label tersebut, lalu menggunakannya secara konsisten di percakapan berikutnya.

Moondream Vision Model SHA-256 image cache Teaching / custom label SQLite image_cache

Telinga Dunia: Pencarian Web Real-Time

Dengan menekan tombol globe di input box, Jarvis bisa mencari informasi terkini dari internet secara paralel ke tiga mesin pencari sekaligus Google, Bing, dan DuckDuckGo menggunakan headless browser berbasis Selenium. Hasil terbaik dari ketiga sumber digabung, duplikat dihilangkan, lalu konten setiap artikel dibaca dan dirangkum sebelum dijadikan bahan jawaban. Jarvis juga mendeteksi secara otomatis apakah sebuah pertanyaan memerlukan pencarian berdasarkan kata kunci seperti "berita", "harga", "presiden", atau "cuaca" sehingga tidak semua pertanyaan memicu browsing meski tombol aktif.

Paralel 3 mesin pencari Headless Chrome stealth Intent detection URL deduplication Content scraping

Ingatan: Memori Jangka Pendek dan Panjang

Jarvis memiliki dua lapisan memori. Memori jangka pendek menyimpan seluruh riwayat percakapan di SQLite dan menyertakan beberapa pesan terakhir ke setiap request sehingga Jarvis tidak "lupa" apa yang baru dibicarakan. Memori jangka panjang bekerja lewat sistem RAG: dokumen PDF, TXT, DOCX, atau URL artikel bisa diingest, dipecah menjadi potongan kecil, di-embed menjadi vektor, lalu disimpan di FAISS atau ChromaDB. Saat menerima pertanyaan, sistem mencari potongan dokumen yang paling relevan dan menyertakannya sebagai konteks membuat Jarvis bisa menjawab berdasarkan isi dokumen spesifik milik user.

SQLite short-term memory FAISS vector search ChromaDB long-term MiniLM-L12 embedder PDF / TXT / DOCX / URL AI summary per dokumen

Suara dan Otomasi: Jarvis Bisa Bicara dan Bertindak

Setiap respons Jarvis secara otomatis diubah menjadi audio menggunakan Microsoft Edge TTS dengan suara pria Indonesia (id-ID-ArdiNeural) dan langsung diputar di browser membuat interaksi terasa seperti berbicara dengan asisten sungguhan. Di luar itu, Jarvis bisa diperintah untuk mengirim pesan WhatsApp via PyAutoGUI ke aplikasi WA Desktop, atau mengirim DM Instagram via Selenium dengan profil Chrome yang sudah login. Cukup ketik "kirim wa ke [nama] pesan [isi]" dan Jarvis mengeksekusi semuanya secara otomatis.

Edge TTS · id-ID-ArdiNeural PyAutoGUI → WhatsApp Selenium → Instagram DM Natural language parser Browser audio autoplay

Monitoring: Semua Terlihat dalam Real-Time

Jarvis dilengkapi dashboard telemetri yang terhubung langsung ke server via WebSocket sehingga data CPU, RAM, GPU, dan waktu inferensi terakhir diperbarui setiap detik tanpa lag. Status neural engine (IDLE / BROWSING / ANALYZING / GENERATING) ditampilkan dengan warna berbeda. Ada juga halaman Neural Map yang memvisualisasikan arsitektur jaringan saraf sebagai animasi Canvas dan menampilkan 100 kata paling sering muncul dari seluruh database percakapan sebagai analisis memori.

WebSocket live stream Chart.js real-time graph pynvml GPU monitor Neural Map Canvas Word frequency analysis Auto reconnect

Kesimpulan: Satu Ekosistem AI yang Utuh

JARVIS bukan sekadar chatbot ini adalah ekosistem AI pribadi yang lengkap. Dalam satu sistem yang berjalan di komputer sendiri, tersedia: obrolan natural dengan memori percakapan, analisis gambar, pencarian web real-time, pemahaman dokumen pribadi, respons suara, dan otomasi pesan sosial semuanya berjalan lokal, privat, dan tanpa biaya langganan. Dengan arsitektur modular berbasis FastAPI dan Flask, setiap komponen bisa dikembangkan atau diganti secara independen, menjadikan proyek ini fondasi yang solid untuk membangun asisten AI yang benar-benar personal.

Local · Private · Free Modular Architecture Extensible No cloud dependency Full-stack AI