《微观量化百问》第十二期 金融数据的复杂性及数据处理的重要性

  云平台APP官方     |      2024-12-23

  一般而言,量化投资可粗略分为六个环节:收集数据、数据清洗、特征提取、模型开发、组合优化、交易执行。数据收集和处理是量化投资中必不可少的环节,理解金融数据的复杂性及数据处理的重要性,对认识量化投资具备极其重大意义。

  金融数据中噪音比例高,提取有效信号的难度较大,模型如果调整不够得当,就容易学习“噪音”。由于这一特性,量化投资在模型开发和调校时尤其强调避免过拟合,处理金融数据时格外注重逻辑。以A股为例,不同股票具有不一样涨跌停规则,此外新股上市以及复牌等行为都需要特殊处理,故而需要在逻辑的基础上对信息做到合理的挖掘、过滤、组合。

  证券交易数据等时间序列有时序性(时间不可倒流),且金融市场时刻存在博弈,规律具有时变特性。量化投资方法论的目的是用历史数据预测未来,所以一定要避免未来信息的引入,并合理评估历史回测。

  常见的是截面、时间序列等数值类型数据,如交易所原始数据、原始行情及各类衍生出的价格、交易量、K线图等。普通投入资金的人在炒股软件上看的分时图、K线图等数据也都衍生于交易所的原始数据,这些较为干净的被称为“标准化数据”。

  以文本数据为主,包括财经新闻、财经论坛问答、卖方分析师投资报告、第三方机构提供的特殊数据等。这一些数据里低相关非重大信息占比高,相比标准化数据会更复杂一些,所以被称为“非标准化数据”。为应用于量化策略开发,必须先对其进行数据清洗等结构化处理。

  价量数据包括一切能从市场交易行为中提取的信息,不局限于股票及其他资产的价格,以及衍生的各项技术类指标。包括日间量价数据(日K)、日内量价数据(分时数据)、逐笔数据(股票的每笔成交和挂单数据)。其中日内量价数据的体量是日间数据的几百到几千倍,逐笔数据的体量可以是日间量价数据的万倍以上。

  既包括宏观基本面、产业链上下游发展、行业发展的新趋势等,也包括上市公司的财务报表如资产负债表、利润表、现金流量表等。主观投资在获取及处理基本面数据上拥有明显的相对优势,通过深度调研还可获取非公开非结构化信息。

  通过预测市场对特定事件的反应不足或过度反应,判断股票在市场上买卖的金额变化以获取超额回报。在金融领域,“事件”通常指“可能在短期导致投资者预期发生明显的变化、对公司的基本面或其股票在市场上买卖的金额产生重大影响的情况”,比如股票回购和股东增持等。

  另类数据是个相对的概念——当某种另类数据逐渐被市场上大部分参与者所接纳和使用时,就不再“另类”。目前来看,另类数据包括所有投资研究中使用的非传统来源的新型数据,如ESG数据、社会化媒体评论、卫星图像、移动电子设备数据、应用程序使用情况、互联网搜索记录和消费的人交易数据等。

  一般而言,数据点及结构化数据越多,越有利于量化投资进行建模。目前国内主流量化私募的模型中价量因子占比较高,同时持续对基本面因子深入研究。随着量化行业的持续发展,未来各类因子都会提供很重要的贡献。

  另类数据研究在海外已拥有较为成熟的应用。另类投资管理协会(AIMA)与金融科技公司SS&C合作发布的报告数据显示,目前全球活跃的另类数据供应商超过400家,而1990年时只有20家。根据AIMA与美国银行的联合调查,目前约有一半的资管机构已在使用另类数据,且这一数量还在不断增长。

  但在国内,由于金融市场发展阶段的差异性,具体表现为获取难度偏大(高价值数据获取难、易获取数据质量低)、成本相比来说较高,非结构化数据的处理技术还不够成熟等原因,目前另类数据领域仍属蓝海。除了与多家数据第三方保持联动外,不少主流私募也在以较快的速度不断搜集、积累和持续探索另类数据,以寻找多元化、差异化的Alpha来源。

  数据数量和质量将直接影响最终投资组合表现,其中数据的数量则是制约机器学习模型训练和预测准确度的重要的条件。数据清洗和预处理的步骤一般来说包括:缺失值处理、重复值处理、数据去极值、数据中性化(指消除数据中的某些因素对投资策略的影响,从而使策略更具普适性和可靠性。常见的中性化包括市值中性化、行业中性化、风格中性化等)、数据标准化(如日期在大多数情况下要被转换为特定的格式)等。

  根据2024年11月修订的《全国年节及纪念日放假办法》,自2025年1月1日起,全体公民放假的假日增加2天,其中春节、劳动节各增加1天。

  日前,北京现代汽车有限公司根据《缺陷汽车产品召回管理条例》和《缺陷汽车产品召回管理条例实施办法》的要求,向国家市场监督管理总局备案了召回计划。

  越南“好日子”要到头了?“一些在越企业已回迁:说到底,中国的质量要好得多”

  【文/观察者网 齐倩】特朗普第一任期时,一些企业为“降低风险”将部分产能转移至东南亚,越南因此被视为中美贸易争端的“最大受益者”之一。如今,特朗普带着“美国优先”和“保护主义”回来了,并誓言对全世界无差别征税。作为对美贸易顺差第四大经济体,越南的“好日子”要到头了吗?

  随着天气转冷很多小伙伴已经换上大衣把压箱底的羽绒服拿了出来许多网友早早就换好了“装备”第一批换上御寒“装备”的人中有人发现将自己穿过的羽绒服拿去洗没想到洗衣机“爆炸”了!这是怎么回事?其实,这真的不能只怪羽绒服!洗衣机洗羽绒服为何会“爆炸”?这不是羽绒服第一次“爆炸”了。

  在阅读此文之前,麻烦您点击一下“关注”,既方便您进行讨论和分享,又能给您带来不一样的参与感,感谢您的支持。文馨馨编辑馨馨“篮球不只是运动,是生活的一部分。