年度最值得参与的国际大数据与AI赛事之一，第十届CCF大数据与计算智能大赛正式开赛！数元灵科技携手CCF，共建科技盛会，结合最新大数据发展趋势，打造前沿赛题，望与各位数据科学、人工智能爱好者，共同探索未来数据架构最新趋势，更有丰厚奖金、CCF综合奖、就业&孵化、成果应用等多重奖励等你拿！

点击阅读原文

在过去的十年里，人工智能取得了巨大的进步。计算机具备看、听和理解世界的能力，得益于此，许多领域也取得了巨大的进步。这篇文章重点关注促进计算硬件和软件系统进步的原因、机器学习领域的重要应用、如何通过创建更强大的机器学习系统实现创建智能机器的目标。

点击阅读原文

最近湖仓一体的概念非常火，随着数据爆炸式增长及企业业务的发展，更好地利用数据实时性解决业务问题进行业务增值的需求日益强烈，湖仓一体的发展成为了必然。本文将结合湖仓一体架构的关联者及开发逻辑，基于业务应用视角简单阐述湖仓一体在实际业务中能够发挥的作用，帮助您了解湖仓一体的部分适用场景及巨大业务价值。

点击阅读原文

湖仓一体作为新一代大数据技术架构，将逐渐取代单一数据湖和数仓架构，成为大数据架构的演进方向。当前已有 DeltaLake、Iceberg、Hudi 等国外开源的数据湖存储框架。LakeSoul 是数元灵科技研发的，国产唯一的开源数据湖存储框架，并于近期发布了 2.0 升级版本。本文将结合大数据架构的演变历史及业务需求，深度剖析国产唯一开源湖仓一体框架 LakeSoul 带来的现代化数据架构和关键业务价值。

点击阅读原文

DMetaSoul团队于7月初发布了LakeSoul 2.0版本，对1.0版本进行了多方面升级优化，提高了自身架构设计的灵活性，也更好地适应客户未来业务高速发展的需要。

点击阅读原文

数据分析是一个不断变化的领域。了解数据分析及数据架构模式的发展和演变历程能够更好地体会数据架构是如何配合数据分析需求进行迭代的，在如今业务需求飞速变化的背景下，洞悉数据架构与业务间的交错关联具有重要的意义。

在正式开始前，先来看两个定义。

什么是分析? 分析被定义为将数据转化为洞察力的过程。

什么是数据架构? 数据架构是支持数据存储、数据转换、数据利用和数据治理的架构。

分析和支持分析的数据架构具有重要的意义。本文将围绕于此，详细介绍数据增长的起源，并解释当前业务对数据架构新范式的需求。

点击阅读原文

2015年，谷歌开源了TensorFlow，成为现代机器学习生态系统的创造者，而TensorFlow的流行也使得谷歌成为主流AI框架的龙头老大。但现在来看，谷歌已经失去了开发者的青睐，Meta成为了更好的选择。曾经叱咤风云的机器学习工具谷歌TensorFlow早已落后于Meta PyTorch——这个由Facebook开发，并于2017年进行测试、开源的深度学习框架正逐渐成为新的行业领导者。

点击阅读原文

本文将以天池贷款违约数据集[1]为例，在数元灵科技推出的 MetaSpore on AlphaIDE 开发环境中，训练、评估违约预估模型，并根据预估概率给出智能信用评分。在后面的章节中，我们将会围绕着环境使用、问题建模、特征衍生、模型、评分卡等几个主题陆续展开。

点击阅读原文

近日，LakeSoul 研发团队帮助用户解决了一个使用 Hudi 过程中遇到的实际的业务问题，在这里做个总结记录。大体业务流程是上游系统从线上 DB 表中抽取原始数据转换成 json 格式，写入 Kafka ，下游使用 Spark 读取 Kafka 中的消息，原先使用 Hudi 将数据更新聚合后，发送给下游数据库分析。

点击阅读原文

数元灵正式推出 AlphaIDE 产品，提供了一套完整的开发和生产环境。通过容器化的方式，无缝对接国内外主流公有云，能够方便快捷地部署一个数据智能平台，提供 Web IDE 开发界面、数据分析、机器学习训练、在线预测和算法实验应用服务的一键部署运行。

点击阅读原文