机器学习Kronos-基于baostock的A股数据拉取
股票5、15、30、60分钟以及日线数据下载工具 (CSV格式)功能说明这个工具用于从baostock下载股票5、15、30、60分钟以及日线的K线数据,并保存为CSV格式,兼容Kronos项目的数据格式要求。主要特性 灵活的股票选择: 支持指定单只或多只股票,也支持下载沪深300全部股票 CSV格式存储: 保存为标准CSV格式,便于后续处理和分析 自定义日期范围: 支持指定任意日期范围进行数据下载 防频率限制: 内置延时机制,避免请求过于频繁 格式兼容: 完全兼容现有Kronos数据格式安装依赖pip install baostock pandas使用方法1. 下载指定股票数据# 进入到data_util目录cd data_util# 下载单只股票 5分钟数据python min5_csv.py --stocks sh.600977# 下载多只股票python min5_csv.py --stocks sh.600977 sz.000001 sh.600519# 指定日期范围## 5分钟数据python min5_csv.py --stocks sh.600977 --start_date 2025-01-01 --end_date 2025-10-31## 15分钟数据python min15_csv.py --stocks sh.600977 --start_date 2025-01-01 --end_date 2025-10-31## 30分钟数据python min30_csv.py --stocks sh.600977 --start_date 2025-01-01 --end_date 2025-10-31## 60分钟数据python min60_csv.py --stocks sh.600977 --start_date 2025-01-01 --end_date 2025-10-31## 日线数据,要下载3年的数据,否则数据量不够,会报错python daily_csv.py --stocks sh.600977 --start_date 2023-01-01 --end_date 2025-10-312. 下载沪深300全部股票# 下载沪深300所有股票(默认最近7天)python min5_csv.py --hs300# 指定日期范围python min5_csv.py --hs300 --start_date 2025-10-01 --end_date 2025-10-313. 命令行参数说明参数 简写 说明 示例--stocks -s 指定股票代码(可多个) sh.600977--start_date -sd 开始日期 (YYYY-MM-DD) 2025-01-01--end_date -ed 结束日期 (YYYY-MM-DD) 2025-01-31--hs300 无 下载沪深300所有股票 -输出文件格式下载的CSV文件将保存在 ../data/ 目录下,文件命名格式为:XSHG_5min_600977.csv # 上海股票XSHE_5min_000001.csv # 深圳股票CSV文件格式timestamps,open,high,low,close,volume,amount2024-06-18 11:15:00,11.27,11.28,11.26,11.27,379.0,427161.02024-06-18 11:20:00,11.27,11.28,11.27,11.27,277.0,312192.0...字段说明:timestamps: 时间戳 (YYYY-MM-DD HH:MM:SS)open: 开盘价high: 最高价low: 最低价close: 收盘价volume: 成交量 (手)amount: 成交额 (千元)使用示例示例1:下载贵州茅台最近一个月数据python min5_csv.py --stocks sh.600519 --start_date 2025-08-18 --end_date 2025-09-18示例2:下载多只知名股票python min5_csv.py --stocks sh.600519 sh.600036 sz.000001 sz.000002示例3:下载沪深300全部股票的2025年1月数据python min5_csv.py --hs300 --start_date 2025-01-01 --end_date 2025-01-31注意事项股票代码格式: 必须使用 sh. 或 sz. 前缀交易时间: 只能下载交易日数据,非交易日会自动跳过数据量限制: 单次下载建议不超过3个月数据,避免数据量过大频率限制: 工具已内置防频率限制机制,请勿修改延时参数存储空间: 沪深300全部股票数据量较大,请确保有足够存储空间错误处理工具包含完善的错误处理机制:自动重试网络请求失败的情况跳过无效或格式错误的数据行处理股票代码格式错误验证日期格式有效性
共3节 21人已学习超级会员免费 免费试学
机器学习Qlib量化投资平台教学
Qlib量化投资平台教学教程计划大纲项目概述Qlib是微软开源的AI导向量化投资平台,旨在通过AI技术实现量化投资的潜力,赋能研究,创造价值。该平台支持多种机器学习建模范式,包括监督学习、市场动态建模和强化学习。教程目标通过本教程,学习者将能够: * 理解量化投资的基本概念和Qlib平台架构 * 掌握Qlib的核心组件和功能模块 * 学会构建完整的量化研究工作流程 * 实践各种量化模型和策略 * 进行回测分析和结果评估 * 开发自定义的量化投资策略 课程结构第一部分:基础入门 (2-3周)第1章:量化投资与Qlib平台介绍 * 1.1 量化投资基础概念 * 量化投资的定义和发展历程 * 量化投资vs传统投资方法 * 量化投资的主要挑战和解决方案 * 1.2 Qlib平台架构解析 * Qlib整体框架设计 * 核心组件介绍(数据层、模型层、策略层、回测层) * 平台优势和特色功能 * 1.3 环境搭建与安装 * Python环境配置 * Qlib安装方法(pip安装 vs 源码安装) * Docker环境部署 * 数据准备和初始化 第2章:数据层深度解析 * 2.1 数据框架设计 * Qlib数据存储格式 * 数据访问接口设计 * 数据缓存机制 * 2.2 数据获取与处理 * 股票数据获取(日频、分钟级) * 数据清洗和预处理 * 特征工程基础 * 数据质量检查 * 2.3 量化数据集介绍 * Alpha158数据集详解 * Alpha360数据集详解 * 自定义数据集构建 * 数据集的评估指标 第二部分:模型与预测 (3-4周)第3章:监督学习模型 * 3.1 传统机器学习模型 * LightGBM模型原理与实践 * XGBoost模型应用 * CatBoost模型使用 * 线性模型和集成方法 * 3.2 深度学习模型 * MLP神经网络模型 * LSTM/GRU时序模型 * Transformer模型应用 * 图神经网络(GATs)模型 * 3.3 高级模型技术 * 注意力机制模型(SFM, ALSTM) * 时间卷积网络(TCN) * 自适应模型(ADARNN, ADD) * 多任务学习模型 第4章:模型训练与优化 * 4.1 模型训练流程 * 数据分割策略 * 特征选择和工程 * 超参数调优 * 模型验证方法 * 4.2 模型评估指标 * IC (Information Coefficient)指标 * ICIR (Information Coefficient Information Ratio) * Rank IC和Rank ICIR * 模型性能对比分析 * 4.3 模型部署与更新 * 模型序列化 * 在线模型更新 * 模型版本管理 * 模型监控和维护 第三部分:策略与回测 (2-3周)第5章:投资策略设计 * 5.1 策略框架介绍 * Qlib策略基类设计 * 策略接口规范 * 策略参数配置 * 策略组合方法 * 5.2 常见策略实现 * 多因子策略 * 动量策略 * 均值回归策略 * 套利策略 * 5.3 高级策略技术 * 嵌套决策框架 * 高频交易策略 * 动态资产配置 * 风险平价策略 第6章:回测系统 * 6.1 回测框架设计 * 回测引擎架构 * 事件驱动机制 * 订单管理系统 * 风险控制模块 * 6.2 回测分析 * 收益率分析 * 风险指标计算 * 交易成本分析 * 绩效归因分析 * 6.3 回测报告生成 * 图形化报告 * 统计指标展示 * 策略对比分析 * 报告导出功能 第四部分:高级功能 (2-3周)第7章:强化学习应用 * 7.1 强化学习基础 * RL在量化投资中的应用 * Qlib RL框架设计 * 环境建模方法 * 奖励函数设计 * 7.2 订单执行优化 * TWAP策略实现 * PPO算法应用 * OPDS策略设计 * 执行成本优化 * 7.3 投资组合优化 * 动态资产配置 * 风险预算管理 * 多目标优化 * 实时决策系统 第8章:市场动态适应 * 8.1 概念漂移检测 * 市场动态性分析 * 漂移检测算法 * 模型自适应更新 * 策略动态调整 * 8.2 元学习方法 * 元学习框架设计 * DDG-DA算法实现 * 快速适应机制 * 知识迁移技术
共29节 20人已学习超级会员免费 免费试学
- 1
henrylin
技术负责人
2005年开始工作,在多家上市公司从事后端开发,大数据开发,算法开发的工作,参与多个银行、证券等金融行业的项目开发
课程数 2 学生数 41