当 TiDB 与 Flink 相结合:高效、易用的实时数仓
知乎作为 PingCAP 的合作伙伴,同时也是 Flink 的深度用户,在自己的实践过程中开发了一套 TiDB 与 Flink 交互工具并贡献给了开源社区:pingcap-incubator/TiBigData,主要包括了如下功能:TiDB 作为 Flink Source Connector,用于批式同步数据。
Python 写流处理用 Bytewax,不用起 Flink 集群也能跑实时
先抛结论:如果你的实时需求是「单机或几个节点就能扛住的量」,但你又是个纯 Python 团队,那 Bytewax 大概率比 Flink 香。我们把一个原本跑在 Flink 上的告警聚合任务迁过来之后,运维心智负担直接降了一个量级。
实时流计算框架Apache Flink概述
一、Apache Flink来源Flink早期起源于德国柏林工业大学的一个研究项目Stratosphere,并于2014年4月捐献给Apache软件基金会,同时重新定位品牌为Flink,经过8个月孵化期,在2014年12月成功从Apache软件基金会毕业,成为Apache顶级项目
Flink 第3篇:PyFlink 入门——Python 开发者的流计算之路
系列定位:新手入门期 | 目标:让Python 开发者用熟悉语法写流作业,降低 Flink 学习门槛生活主题:把 PyFlink 比作"翻译耳机"——让说 Python 的人也能指挥 Flink 工厂技术验证:基于 PyFlink 官方文档、PyFlink 架构解析和 2026
第12篇:Flink 与 AI 结合——实时特征工程与模型推理(精修版)
系列定位:L5 前沿拓展期 | 目标:掌握实时特征工程、模型服务、AI 集成架构生活主题:传统 AI = 事后诸葛亮(T+1训练),实时 AI = 现场军师(边打边算)技术验证:基于 Flink ML 集成文档、实时特征工程实践、Kafka+Flink 架构、PyFlink AI
5 年迭代 5 次,抖音推荐系统演进历程
2021 年,字节跳动旗下产品总 MAU 已超过 19 亿。在以抖音、今日头条、西瓜视频等为代表的产品业务背景下,强大的推荐系统显得尤为重要。Flink 提供了非常强大的 SQL 模块和有状态计算模块。
大数据Hadoop之——Flink Table API 和 SQL(单机Kafka)
Table API 和 SQL 集成在同一套 API 中。如果你想实现自定义格式或连接器 用于序列化行或一组用户定义的函数,下面的依赖就足够了,编译出来的 jar 文件可以直接给 SQL Client 使用:【温馨提示】如果需要本地直接运行,得先把scope先注释掉,要不然会报如下错误:Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/flink/table/api/bridge/scala/StreamTableEnvironment$
基于Flink的实时推理与Agent构建
流计算是指将数据产生视为一条持续流动的数据流,数据源不断生成数据,通过流计算方式实现数据的持续消费、处理和分析。
DataWorks 绑定全托管 Flink 计算资源:新手图文教程
如果你希望在 DataWorks 里直接开发、运行 Flink 任务(比如实时流计算或批量计算),就需要先把 DataWorks 和你的“全托管 Flink”计算资源绑定在一起。本文会带你一步步完成这个绑定操作。
基于实时计算Flink的机器学习算法平台及场景介绍
后疫情时代的新社会模式及经济形态必将催生出新的商业模式,在线业务及相关应用场景的流量呈现井喷式发展,常规的离线系统及离线机器学习平台已无法满足业务发展要求。