几个让我欲罢不能的 GitHub 开源项目!
设为 “星标”,每天带你逛 GitHub!
6 月 12 日,由声网 Agora 与环信联合主办的 “RTE 2021 编程挑战赛” 圆满落幕。 从 200+ 支参赛队伍中冲出重围的 46 支决赛队伍用精彩的答辩为历时 2 个多月的大赛划下了圆满的句号。
今年的 “RTE 2021 创新编程挑战赛” 共分为 2 个赛道:应用创新赛道延续了「使用声网 Agora SDK 开发应用」的赛题;技术创新赛道开发者可以「利用声网云市场插件接口,开发自研插件与功能演示 Demo」。
尽管此次的赛制与赛题对参赛队伍提出了更高的要求,但同时也为大家提供了独有的技术创新空间。相较去年而言,两个赛道的报名队伍及提交作品几乎都是去年的一倍。
本次大赛的决赛和颁奖都是通过 Agora Video Call App 在线上进行的,全程通过 B 站进行了直播。 最终,决赛共诞生了应用创新赛道的一、二、三等奖团队各一名,“环信专项奖” 一名,以及 “优秀奖” 六名;技术创新赛道 “技术创新专项奖” 一名,“优秀奖” 一名。
本次参赛的作品已上传至 GitHub,大家可以在文末戳「阅读原文」直达。
随着智能设备性能提升和网络的快速发展,以音视频为基础的智能硬件也正在蓬勃发展中。跨品牌、跨产品的设备管理也成为萦绕在用户日常使用中绕不开的一个话题。
「Agora Home AI」 系统以智能家居为主题,使用云信令 SDK 实现了 IoT 设备远程控制。同时,通过声网 Agora RTC SDK 实现人与机器的 1V1 视频,将机器人端采集到的视频发送至 PC 控制中心,进行 AI 智能检测,触发事件响应。
系统采用开源了 Yolo V3 算法进行各种视频数据的处理,支持 C#、C++ 调用;Unity 3D、VS 系列开发。目前已支持 Yolo 基础 80 种物体识别、安全帽识别、冰球识别文件等。采用声网提供的云信令 SDK 进行远程设备控制,构建群组房间进行消息实时通信,支持通过自定义协议进行智能硬件的控制。
「Agora Home AI」可以帮助用户实现可穿戴设备、智能家具设备、视频监控设备接入何控制。包括智能灯光、智能门窗、智能门锁、智能安防、智能手环监测、智能家电控制等配套产品,让用户实现多种品牌的智能设备在统一的交互平台内互联互通、统一管理、智能联动。为给用户创造更舒适、更安全、更节能的家居生活环境。
获得第二名的作品「Agora Flow」是一个基于声网 + 环信 SDK 搭建的音视频 Low Code Web 共享编辑器。
「都市探险家」项目是一款利用地图 LBS + 云信令 SDK + 实时音视频构建的社交产品。这款产品为想要寻找共同爱好的新朋友并一起在都市进行旅游、探索的小伙伴而设计。
「忘忧馆」是一个很有温度的作品,希望可以帮助现代生活中的人们通过彼此倾诉忘掉烦恼、解除忧愁,传播正能量。
这是一款陌生人社交 App,包含信息流。结合了几种最常见的社交产品形态,包括文字聊天,通话等等。让一些不方便与亲人和朋友诉说的烦恼,可以在和陌生人交流时找到共鸣与安慰。
「Vchat」利用人脸骨骼识别和云信令 SDK 实现了虚拟 3D 角色的实时通话。使用 tensorflow.js 的 WebGL 引擎作为后端,使用现有开源的人脸识别模型通过摄像头识别人脸的位置以及五官的状态。再通过 Three.js 和 Vrm.js 将人脸数据实时更新到虚拟的 3D 模型上。
「技术创新专项奖」是为 “技术创新赛道” 专门设置的一个奖项。获奖作品是一个在 iOS 平台上使用使用 AgoraEngineKit2 开发接入一个基于 C++ 语言封装的「人脸识别」插件。
作品通过 TYSMExtensionManger 类与对外交互,对内则处理插件实现的相关逻辑。将 IExtensionProvider、IVideoFilter 和自己的开发的 Processer 都放在同一个地方。用 framework 方式对外公开两个文件,既方便开发者查阅,同时也可作为作为参数传递,增强代码可阅读性。
该插件可以支持人脸检测、追踪、以及多脸的追踪识别,对脸部轮廓、眼睛、眉毛、鼻子、嘴巴等识别到的区域以 3D 点状作出反馈。
「Water Mask」项目是 “技术赛道” 中的参赛作品,通过在声网 SDK 的视频采集或者播放环节,在 YUV 域上或者编码后添加图片或文字类型的隐性水印。