Asas LLMOps: Menggunakan LLM dengan Jenkins, Docker, dan Kubernetes

Menggunakan Model Bahasa Besar (LLM) ke pengeluaran memerlukan lebih daripada sekadar menulis kod; ia menuntut infrastruktur yang teguh, automasi, dan pemantauan berterusan. Kursus berasaskan teks ini membimbing anda melalui konsep teras LLMOps, membantu anda beralih daripada eksperimen AI tempatan kepada penggunaan berskala dan sedia awan. Anda akan mendapat pemahaman yang mendalam tentang cara mengkontena aplikasi LLM, mengautomasikan saluran paip penggunaan, dan mengekalkan prestasi model dalam pengeluaran. Dengan mengkaji corak penggunaan dunia sebenar, anda akan belajar menguruskan infrastruktur dengan cekap menggunakan alat standard industri dan perkhidmatan awan. Apa yang anda akan pelajari: - Memahami prinsip teras LLMOps, termasuk penyediaan model (model serving), pangkalan data vektor (vector databases), dan seni bina penjanaan dipertingkat perolehan (retrieval-augmented generation - RAG). - Membina dan membungkus aplikasi LLM menggunakan FastAPI dan kontena Docker untuk penggunaan yang konsisten. - Mengautomasikan aliran kerja penghantaran dengan saluran paip Jenkins CI/CD untuk menyelaraskan pengujian dan penggunaan. - Mengatur aplikasi AI berkontena pada skala menggunakan pengurusan kluster Kubernetes. - Mengkonfigurasi pemantauan pengeluaran dan kebolehcerapan (observability) menggunakan Prometheus dan Grafana untuk menjejaki kependaman dan kesihatan model. - Menggunakan model berskala ke persekitaran awan menggunakan infrastruktur AWS dan GCP. Kursus ini bermula dengan definisi asas LLMOps dan pengkontenaan sebelum beralih kepada automasi saluran paip, orkestrasi, dan pemantauan pengeluaran. Anda akan maju langkah demi langkah melalui penjelasan bertulis, pecahan konsep, dan senario konfigurasi praktikal. Kursus ini direka untuk pembangun perisian, saintis data, dan jurutera MLOps yang bercita-cita tinggi yang ingin mempelajari penggunaan pengeluaran. Tiada pengalaman terdahulu dengan DevOps atau infrastruktur awan diperlukan, kerana kami membina daripada konsep asas. Mula membaca hari ini untuk menguasai infrastruktur di sebalik aplikasi AI generatif moden.