使用vLLM部署Lllama3.3 70B模型+RAG功能,並使用UI與其對話此篇文章面向,想部署一個llama模型起來給小範圍(約一百人)簡單使用的人。 在此篇文章中並不會提到分散式節點的部署方式。 在此篇文章預設大家會簡單使用Linux、huggingface、撰寫及執行python程式,理解RAG大概運作原理。Feb 11Feb 11
如何在無網路的情況下於Linux主機安裝NVIDIA Container ToolkitInstall NVIDIA Container Toolkit on offline Linux serverJul 19, 2024Jul 19, 2024
極簡單入門教學!! 免寫程式!! 手把手教你在本地端使用大型語言模型+RAG此篇文章面向,那些可能有敏感性資料,想在自己電腦使用大型語言模型,卻不會寫程式的人們。Jun 19, 20243Jun 19, 20243
ICD Coding from Clinical Text Using Multi-Filter Residual Convolutional Neural Network 閱讀筆記papers with code: https://paperswithcode.com/paper/icd-coding-from-clinical-text-using-multiFeb 5, 2021Feb 5, 2021
Cross-compiler Openssl在Mips 32位元的板子上首先,你得先準備好環境,也就是toolchain的部分,我是用buildroot。Jun 22, 20191Jun 22, 20191