搜文章
推荐 原创 视频 Java开发 iOS开发 前端开发 JavaScript开发 Android开发 PHP开发 数据库 开发工具 Python开发 Kotlin开发 Ruby开发 .NET开发 服务器运维 开放平台 架构师 大数据 云计算 人工智能 开发语言 其它开发
Lambda在线 > 物联网智慧城市D1net > 如何为物联网构建数据流、人工智能和机器学习平台

如何为物联网构建数据流、人工智能和机器学习平台

物联网智慧城市D1net 2020-09-16

关键讯息,D1时间送达!




当今的IoT用例越来越依赖于对大量设备生成的数据进行分析或实时更新机器学习算法。如果没有实时获取、处理和采取行动,以监控患者、自动驾驶汽车或预测性维护应用的数据,则患者会遭受伤害,车辆坠毁或系统出现故障。


那么,企业如何才能经济高效地构建一个可靠的平台来大规模接收和响应大量数据?企业可以使用基于开放源代码软件堆栈构建的流平台和数据存储系统来做到这一点。


事实证明,当今许多开源解决方案在数千个生产部署中都是可靠的。许多产品都可从商业企业获得企业级支持和咨询服务,这也可能会提供企业级版本的解决方案。这些受支持的解决方案使企业可以通过实施IoT解决方案来实现其数字化转型目标,而无需支付大量的前期费用,同时还为其公司提供可靠的、面向未来的基础设施。


以下是开放源代码解决方案的样本,这些解决方案是当今许多最成功的数字化转型企业的基础。


1. 流数据


诸如Apache Kafka或Apache Flink之类的开源流解决方案用于构建实时数据管道,以在IoT部署中的系统和应用之间移动数据。例如,在患者监控用例中,流传输解决方案会将由连接到患者的IoT传感器收集的数据传递到平台,在平台上可以对数据进行汇总、分析和存储。


Box、LinkedIn、Netflix、Oracle和Twitter使用Kafka。Flink在阿里巴巴、AWS、Capital One、eBay和Lyft的运营中使用。但是,要使流传输解决方案大规模支持实时业务流程,必须将其与其他技术集成,包括分布式内存计算平台、容器管理解决方案以及分析和机器学习功能。


2. 内存计算


Apache Ignite是部署在商品服务器群集上的分布式内存计算平台。它可用作插入现有应用程序和基于磁盘的数据库之间的内存数据网格,也可用作新应用程序的独立内存数据库。Ignite池化了群集的可用CPU和RAM,并将数据和计算分配到各个节点。它可以部署在本地、公共或私有云中或混合环境中。Ignite支持ANSI-99 SQL和ACID事务。


Ignite可以实时摄取大量数据。在所有数据都保留在内存中的情况下,Ignite使用MapReduce在整个分布式群集上执行大规模并行处理(MPP)。利用内存数据缓存和MPP,与使用基于磁盘的数据库的应用相比,Ignite在规模上可将应用性能提高多达1000倍。Ignite用户还可以利用本机Kafka集成来轻松地将流数据从IoT设备提取到内存计算集群中。


正如我在上一篇文章中讨论的那样,Ignite可用于构建数字集成中心(DIH),以聚合和处理来自多个本地数据存储,基于云的数据源和流数据源的数据。作为DIH,Ignite提供了一个高性能的数据访问层,使聚合的数据实时可用于多个业务应用。Apache Ignite已用于美国航空、IBM、ING和24 Hour Fitness的生产中。


3. 集群管理


Kubernetes可以自动执行已在Docker或其他容器解决方案中容器化的应用的部署和管理。容器解决方案创建一个包含应用和虚拟化操作系统的软件包,以使该应用可以在同一硬件上或跨虚拟化硬件(例如在云服务上)运行多个完全独立的应用版本。Kubernetes使管理Docker容器变得更容易,并确保跨服务器群集的一致性,该服务器群集可以部署在任何位置,例如本地、公共或私有云或混合环境。


API使Kubernetes能够管理Apache Ignite和流媒体平台资源,并自动扩展基于IoT内存计算的群集。更高的管理简便性可以大大降低复杂性和错误并减少开发时间。Kubernetes用于Booking.com、Capital One、Box、IBM和Sling的运营中。


4. 分析和机器学习


流平台难题的最后一部分是对数据采取行动的能力。对于分析用例,Apache Spark是一个分布式计算引擎,用于处理和分析大量数据。Spark可以利用Apache Ignite内存计算平台来快速分析通过流传输管道提取的大量数据。Spark还可以将Ignite用作在线数据存储,从而使Spark用户可以将数据追加到其现有的DataFrame或RDD中并重新运行Spark作业。Spark还使在分布式计算环境中为非结构化数据编写简单查询变得容易。Spark已在Amazon、Credit Karma、eBay、NTT Data和Yahoo!等运营中使用。


对于机器学习用例,Apache Ignite包括集成的、完全分布式的机器学习和深度学习库,这些库已针对大规模并行处理进行了优化。这种集成使企业能够创建连续学习应用,其中机器学习或深度学习算法将针对内存中计算集群每个节点上的内存中数据在本地运行。在本地运行算法可允许在模型上不断更新模型,因为新数据已部署在节点上,甚至达到了PB级。


(来源:千家网)


如果您在企业IT、网络、通信行业的某一领域工作,并希望分享观点,欢迎给企业网D1Net投稿如何为物联网构建数据流、人工智能和机器学习平台如何为物联网构建数据流、人工智能和机器学习平台 投稿邮箱:editor@d1net.com

点击蓝色字体关注

企业网D1net旗下信众智是CIO(首席信息官)的智力、资源分享平台,也是国内最大的CIO社交平台。


信众智让CIO为CIO服务,提供产品点评、咨询、培训、猎头、需求对接等服务。也是国内最早的toB共享经济平台。


同时,企业网D1net和超过一半的央企信息部门主管联合成立了中国企业数字化联盟,主要面向各地大型企业,提供数字化转型方面的技术、政策、战略、战术方面的帮助和支撑。

扫描下方“ 二维 ”或点击“ 阅读原文” 可以查看更多详情

版权声明:本站内容全部来自于腾讯微信公众号,属第三方自助推荐收录。《如何为物联网构建数据流、人工智能和机器学习平台》的版权归原作者「物联网智慧城市D1net」所有,文章言论观点不代表Lambda在线的观点, Lambda在线不承担任何法律责任。如需删除可联系QQ:516101458

文章来源: 阅读原文

相关阅读

关注物联网智慧城市D1net微信公众号

物联网智慧城市D1net微信公众号:D1Net01

物联网智慧城市D1net

手机扫描上方二维码即可关注物联网智慧城市D1net微信公众号

物联网智慧城市D1net最新文章

精品公众号随机推荐