LLama2实战CPU推理大语言模型-C++开发实战

LLama2实战CPU推理大语言模型-C++开发实战
共34节 378人在学 课程详情
  • llama模型下载和推理测试

    • llama课程介绍
    • llama模型分析和训练数据分析
    • git和msys2安装和llama模型下载
    • llama推理测试程序演示
  • llama.cpp源码编译

    • llama.cpp构建环境说明
    • visutal_studio_2022安装
    • cmake windows安装二进制版本
    • llama.cpp构建和项目分析
  • llama模型格式转换和量化

    • ggml格式介绍
    • conda在windows中的安装和使用
    • conda的python环境安装
    • llama的pth格式转换为ggml的bin
    • llama量化模型到Q4_0
  • Chinese-LLaMA-Alpaca 中文模型

    • Chinese-LLaMA-Alpaca模型分析和下载
    • Transformers安装和llama模型格式转换
    • 合并LoRA权重生成全量模型权重
    • 使用Transformer和Web图形界面实现推理
    • 使用llama.cpp量化和推理中文模型
  • 大语言模型参数结合源码分析

    • llama参数ctx-size上下文大小相关代码分析
    • predict和batch-size回复数和推理批次代码分析
    • 增加结果多样性-重复惩罚repeat-penalty
    • 温度改变随机性top-k和top-p算法分析
  • 开源llamaqt 实战开发

    • 开源llamaqt项目分析说明
    • 基于llama.cpp的cmake项目配置和模型加载代码实现
    • 完成了推理预处理prompt代码
    • 完成了推理结果逻辑表采样并输出
    • 完成了精简版的推理示例程序
    • 27xllama接口类图设计说明
    • XGp测试项目和线程启动停止代码完成
    • XGpt用户输入和线程接收和回调反馈完成
    • 完成xllama的推理和反馈接口并测试
    • XGptFac工厂类创建
    • 基于cmake配置了推理QT项目
    • 完成了基于QT的推理交互程序

    订阅失败

    LLama2实战CPU推理大语言模型-C++开发实战
    LLama2实战CPU推理大语言模型-C++开发实战 ...

    订阅列表已满,请先移出部分订阅内容。

    当前章节需购买后观看
    开通超级会员免费看!专家精选系列课程,满足你从入门到精通!更有问答月卡免费送,你的问题有问必答!
    提交答案

    购买课程

    扫码完成付费,可继续学习全部课程内容

    加载中...
    播放页问题反馈
    视频学习中有任何产品建议都可由此反
    馈,我们将及时处理!

    课时介绍

    完成xllama的推理和反馈接口并测试 完成xllama的推理和反馈接口并测试

    课程介绍

    推荐课程

    信息系统项目管理师自考笔记

    李明 · 867人在学

    python从0到1:期货量化交易系统(CTP实战,高频及合成K线数据

    王先生 · 22649人在学

    手把手搭建Java超市管理系统【附源码】(毕设)

    汤小洋 · 4282人在学

    Java毕设springboot外卖点餐系统 毕业设计毕设源码 使用教

    黄菊华 · 824人在学

    基于SSM酒店管理系统(毕设)

    小尼老师 · 890人在学

    java项目实战之购物商城(java毕业设计)

    Long · 5195人在学

    手把手搭建Java求职招聘系统【附源码】(毕设)

    汤小洋 · 1525人在学

    Python Django 深度学习 小程序

    钟翔 · 2390人在学

    城管局门前三包管理系统+微信小程序(vue+springboot)

    赖国荣 · 666人在学

    Vue+Uni-app(uniapp)入门与实战+赠送仿美团点餐小程序

    李杰 · 4067人在学

    正在试验
    后自动删除环境
    课程实验
    本次实验时间已到期 00:00:00
    课件正在飞速打包中,请耐心等待几秒钟~