今日论文|泊松学习：基于图的低标注半监督策略&开放式教育主题挖掘&自适应黑盒对抗攻击&单声道联合语音学习&终身主题建模&MORE
首先来看 计算机视觉论文：
- [1]提出一种称为 泊松学习（Poisson Learning，PL）的新框架，用于 以极低的标签率进行基于图的半监督学习。泊松学习的动机是在这种情况下解决拉普拉斯半监督学习的退化性。该方法将训练点处的标签值分配替换为source和sink的位置，并在图形上求解所得的泊松方程。结果证明比拉普拉斯学习结果更稳定、信息更丰富。泊松学习是高效且易于实现的，并且研究者进行的数值实验表明，该方法优于其他最近在MNIST、FashionMNIST和Cifar-10上以低标签率进行半监督学习的方法。研究者还提出一种称为Poisson MBO的Poisson学习图割增强方法，该方法具有更高的准确性，并且可以结合相对类规模的先验知识。
自然语言处理方面：
- 近年， 开放式教育资源（Open Educational Resources，OER）被指定为缓解全球对教育日益增长需求的关键。显然，OER具有很强潜力，可以满足许多不同情况下的学习者需求，因为其具有广泛背景。但是，通常OER元数据的质量低，这是缺少诸如搜索和推荐之类的个性化服务的主要原因之一。结果，OER的适用性仍受限制。尽管如此，学习者本质上仍需要有关涵盖主旨（主题）的OER元数据，以建立有效的学习途径实现个人学习目标。因此，[9]报告了一个正在进行的项目， 该项目提出OER主题提取方法，应用到文本挖掘技术以生成有关主题分布的高质量OER元数据。这是通过以下方式完成的：1）收集来自Coursera和Khan Academy的123次关于数据科学相关技能的讲座；2）对所收集的资源应用隐式狄利克雷分配（Latent Dirichlet Allocation，LDA），以提取与这些技能相关的现有主题；3 ）定义特定OER涵盖的主题分布。为评估所提模型，研究者使用来自Youtube的教育资源数据集，并在数据科学领域的3位专家帮助下，将主题分配结果与手动定义的目标主题进行比较。结果，所提模型提取的主题占F1分数的79％。
- 社交媒体网站现在正成为产品促销或市场营销活动的非常重要的平台。因此，人们对于确定一种方法来指导站点在预算有限的情况下对产品做出更积极的响应引起广泛兴趣。然而由于两个原因，现有关于该主题研究的实际意义受到限制。首先，大多数学者都在过于简单的网络中研究该问题，其中一些重要网络特征被忽略。其次，在许多研究中，个人意见都被建模为二分状态（如支持与否），但是对于许多实际情况而言，此设置过于严格。[10]重点研究 社会信任网络（Social Trust Networks，STN），其具有先前研究中忽略的重要特征。研究者 针对STN泛化了一个著名的连续价值意见动态模型（continuous-valued opinion dynamics model），该模型更符合实际情况。随后，研究者将两个新 瓶颈形式化，以解决STN中的问题。此外，针对这两个瓶颈开发了两种基于矩阵的方法，并在现实世界的数据集上进行实验，以证明所提方法的实用性。
- [11]提出一种 结构化方法，可以 为模型建立基准、识别攻击向量并在部署后保护机器学习模型。用于保护每个模型部署后的这种方法称为BAD（即构建Build，攻击Attack，防御Defend）架构。研究者评估BAD架构的两种实现，以量化黑匣子情感分析系统的对抗生命周期。作为一项具有挑战性的诊断，在所提性能工具中，选择Jigsaw Toxic Bias数据集作为基线。该架构的每个实现都将构建基准性能报告，攻击一个常见的弱点，并防御即将到来的攻击。重要说明：这项工作中展示的每个攻击面都是可检测和可预防的。目的是演示一种在生产环境中确保机器学习模型安全的可行方法。
除此之外，本期还有如下看点：
- 最近在NIPS、ICML、ICLR和CVPR等场所发布的 对抗防御方法主要集中在 缓解白盒攻击上。这些防御方法没有正确地考虑自适应对抗攻击。[14] 将这些防御系统的范围扩大到包括自适应黑盒对抗攻击。文章在包括Barrage of Random Transforms、ComDefend、Ensemble Diversity、Feature Distillation、The Odds are Odd、Error Correcting Codes、Distribution Classifier Defense、K-Winner Take All和Buffer Zones，这 九种防御措施上进行了实验评估。文章的实验是使用两个黑盒对抗模型和六个广泛研究的对抗攻击对CIFAR-10和Fashi-MNIST数据集进行的。文章的分析表明，与未设防的网络相比，最新的防御措施在安全性方面只提供了些许改进。基于这些结果，文章提出了新的评价标准，以正确评估针对黑盒对抗攻击的防御措施。
- 最近，终身学习在构建机器学习系统方面引起了人们的关注，该系统的目标是不断积累和迁移知识，以帮助未来的学习。无监督主题建模已被普遍用于从文档集合中发现主题。然而，由于数据的稀疏性，例如，在一个小的（短）文档集合中，话题建模的应用具有挑战性，因此，会产生不连贯的话题和次优的文档表示。为了解决这个问题，[13]提出了一个 神经主题建模的终身学习框架，它 可以持续处理文档集合的数据流，积累主题，并通过来自多个来源的知识迁移来指导未来的主题建模任务，以更好地处理稀疏数据。在终身学习过程中，文章特别研究了以下几个方面：(1)在一生中共享生成性同源性(潜伏主题)以迁移先前的知识，(2)通过新型的选择性数据增强、联合训练和主题正则化方法，最大限度地减少灾难性遗忘以保留过去学习的知识。在给定一个文档集合数据流的情况下，文章应用所提出的终身神经主题建模(LNTM)框架，将三个稀疏文档集合建模为未来任务，并展示了由迷惑性、主题一致性和信息检索任务量化的性能改进。
- 受在线广告和推荐系统应用的启发，[15]考虑了一个 具有延迟奖励和异步、基于报酬的反馈的博弈理论模型。文章专注于具有连续动作空间的多人游戏，并研究了遵循 无悔（No-Regret） 学习策略（但对正在进行的游戏、对手的目标等一无所知）的战略代理的长期行为。为了解释缺乏一致的信息流(例如，奖励可能无序地到达，具有先验无界延迟等)，文章引入了一个 无梯度学习策略，在该策略中，奖励信息在到达时被放置在优先队列中。在这样的背景下，文章推导出了代理后悔的新界限。此外，文章证明了诱导的游戏序列以概率1收敛到纳什均衡。
- 许多机器学习学科的最新研究表明，即使没有显式正则化，标准下降方法也不仅使训练误差最小，而且还表现出隐性偏差。这种偏见通常是针对某个正则化解，并且依赖于学习过程的细节，例如交叉熵损失的使用。[23]表明， 对于具有任意凸性、严格减少损失的线性预测变量，对于经验风险最小化，如果风险未达到其最小值，则 梯度下降路径和与算法无关的正则化路径会收敛于同一方向（无论何时收敛到一个方向）。利用该结果，研究者为广泛使用的指数尾损失（例如指数损失或逻辑损失）提供依据：尽管向指数尾损失方向的收敛必然是在最大利润率方向，其他诸如多项式尾部损失之类的损失可能会导致向收敛性差的方向收敛。
- [28]提出一种 联合模型，用于在 单声道重叠语音上同时进行说话人计数、语音识别和说话人识别。所提模型基于 注意力编-解码器的串行输出训练（Serialized Output Training，SOT），这是最近提出的识别包含任意数量说话人的重叠语音方法。研究者通过引入说话者清单作为辅助输入来扩展SOT模型，以产生说话者标签及多说话者录音。所有模型参数均通过说话者赋予的最大互信息准则进行优化，该准则表示重叠语音识别和说话者识别的联合概率。在LibriSpeech语料库上进行的实验表明，与单独执行重叠语音识别和说话人识别的基线相比，所提方法可取得更好的说话人属性词错误率（speaker-attributed word error rate）结果。
最后，本期还包含1个新构造的 数据集[12]，2篇 综述[26-27]，以及其他技术。
计算机视觉
Computer Vision
[1]
Poisson Learning: Graph Based Semi-Supervised Learning At Very Low Label Rates
Jeff Calder, Brendan Cook, Matthew Thorpe, Dejan Slepcev
摘 要：
原 文：http://arxiv.org/pdf/2006.11184v1
[2]
Attention Mesh: High-fidelity Face Mesh Prediction in Real-time
Ivan Grishchenko, Artsiom Ablavatski, Yury Kartynnik, Karthik Raveendran, Matthias Grundmann
摘 要：
原 文：http://arxiv.org/pdf/2006.10962v1
[3]
V-Dream: Immersive Exploration of Generative Design Solution Space
Mohammad Keshavarzi, Ardavan Bidgoli, Hans Kellner
摘 要：
原 文：http://arxiv.org/pdf/2006.11044v1
[4]
Generative Patch Priors for Practical Compressive Image Recovery
Rushil Anirudh, Suhas Lohit, Pavan Turaga
摘 要：
原 文：http://arxiv.org/pdf/2006.10873v1
资 源：github.com/fastai/imagenette
[5]
Deep Learning-based Single Image Face Depth Data Enhancement
Torsten Schlett, Christian Rathgeb, Christoph Busch
摘 要：
原 文：http://arxiv.org/pdf/2006.11091v1
资 源：github.com/IntelRealSense/librealsense
[6]
Deep Image Translation for Enhancing Simulated Ultrasound Images
Lin Zhang, Tiziano Portenier, Christoph Paulus, Orcun Goksel
摘 要：
原 文：http://arxiv.org/pdf/2006.10850v1
[7]
Concatenated Attention Neural Network for Image Restoration
Tian YingJie, Wang YiQi, Yang LinRui, Qi ZhiQuan
摘 要：
原 文：http://arxiv.org/pdf/2006.11162v1
[8]
Emotion Recognition on large video dataset based on Convolutional Feature Extractor and Recurrent Neural Network
Denis Rangulov, Muhammad Fahim
摘 要：
原 文：http://arxiv.org/pdf/2006.11168v1
自然语言处理
Natural Language Processing
[9]
Extracting Topics from Open Educational Resources
Mohammadreza Molavi, Mohammadreza Tavakoli, Gábor Kismihók
摘 要：
原 文：http://arxiv.org/pdf/2006.11109v1
[10]
Opinion Maximization in Social Trust Networks
Pinghua Xu, Wenbin Hu, Jia Wu, Weiwei Liu
摘 要：
原 文：http://arxiv.org/pdf/2006.10961v1
资 源：github.com/WHU-SNA/OpMaxInSTN
[11]
Systematic Attack Surface Reduction For Deployed Sentiment Analysis Models
Josh Kalin, David Noever, Gerry Dozier
摘 要：
原 文：http://arxiv.org/pdf/2006.11130v1
数据集
Dataset
[12]
Dataset for Automatic Summarization of Russian News
Ilya Gusev
摘 要：
原 文：http://arxiv.org/pdf/2006.11063v1
资 源：github.com/miso-belica/sumy, github.com/IlyaGusev/gazeta, github.com/pytorch/fairseq, github.com/summanlp/textrank
方法论
Methodology
[13]
Neural Topic Modeling with Continual Lifelong Learning
Pankaj Gupta, Yatin Chaudhary, Thomas Runkler, Hinrich Schütze
摘 要：
原 文：http://arxiv.org/pdf/2006.10909v1
[14]
Beware the Black-Box: on the Robustness of Recent Defenses to Adversarial Examples
Kaleel Mahmood, Deniz Gurevin, Marten van Dijk, Phuong Ha Nguyen
摘 要：
原 文：http://arxiv.org/pdf/2006.10876v1
资 源：github.com/Gunjan108/robust-ecoc, github.com/keras-team/keras, github.com/koukl/drn, github.com/jiaxiaojunQAQ/Comdefend, github.com/yk/icml19_public, github.com/P2333/Adaptive-Diversity-Promoting, github.com/a554b554/kWTA-Activation
[15]
Gradient-free Online Learning in Games with Delayed Rewards
Amélie Héliou, Panayotis Mertikopoulos, Zhengyuan Zhou
摘 要：
原 文：http://arxiv.org/pdf/2006.10911v1
[16]
Shop The Look: Building a Large Scale Visual Shopping System at Pinterest
Raymond Shiau, Hao-Yu Wu, Eric Kim, Yue Li Du, Anqi Guo, Zhiyuan Zhang, Eileen Li, Kunlong Gu, Charles Rosenberg, Andrew Zhai
摘 要：
原 文：http://arxiv.org/pdf/2006.10866v1
资 源：github.com/facebookresearch/detectron, github.com/NVIDIA/apex
[17]
An Integer Linear Programming Framework for Mining Constraints from Data
Tao Meng, Kai-Wei Chang
摘 要：
原 文：http://arxiv.org/pdf/2006.10836v1
资 源：github.com/locuslab/SATNet
[18]
Bayesian Optimization with Missing Inputs
Phuc Luong, Dang Nguyen, Sunil Gupta, Santu Rana, Svetha Venkatesh
摘 要：
原 文：http://arxiv.org/pdf/2006.10948v1
[19]
Learning to Prove from Synthetic Theorems
Eser Aygün, Zafarali Ahmed, Ankit Anand, Vlad Firoiu, Xavier Glorot, Laurent Orseau, Doina Precup, Shibl Mourad
摘 要：
原 文：http://arxiv.org/pdf/2006.11259v1
[20]
Deep Transformation-Invariant Clustering
Tom Monnier, Thibault Groueix, Mathieu Aubry
摘 要：
原 文：http://arxiv.org/pdf/2006.11132v1
资 源：github.com/GuHongyang/VaDE-pytorch
[21]
An adversarial algorithm for variational inference with a new role for acetylcholine
Ari S. Benjamin, Konrad P. Kording
摘 要：
原 文：http://arxiv.org/pdf/2006.10811v1
[22]
SOLA: Continual Learning with Second-Order Loss Approximation
Dong Yin, Mehrdad Farajtabar, Ang Li
摘 要：
原 文：http://arxiv.org/pdf/2006.10974v1
神经网络原理
Neural Network Theory
[23]
Gradient descent follows the regularization path for general losses
Ziwei Ji, Miroslav Dudík, Robert E. Schapire, Matus Telgarsky
摘 要：
原 文：http://arxiv.org/pdf/2006.11226v1
[24]
No one-hidden-layer neural network can represent multivariable functions
Masayo Inoue, Mana Futamura, Hirokazu Ninomiya
摘 要：
原 文：http://arxiv.org/pdf/2006.10977v1
[25]
Understanding Recurrent Neural Networks Using Nonequilibrium Response Theory
Soon Hoe Lim
摘 要：
原 文：http://arxiv.org/pdf/2006.11052v1
综述
Survey
[26]
A Survey of Syntactic-Semantic Parsing Based on Constituent and Dependency Structures
Meishan Zhang
摘 要：
原 文：http://arxiv.org/pdf/2006.11056v1
[27]
The EuroSys 2020 Online Conference: Experience and lessons learned
Angelos Bilas, Dejan Kostic, Kostas Magoutis, Evangelos Markatos, Dushyanth Narayanan, Peter Pietzuch, Margo Seltzer
摘 要：
原 文：http://arxiv.org/pdf/2006.11068v1
语音技术
Audio & Speech
[28]
Joint Speaker Counting, Speech Recognition, and Speaker Identification for Overlapped Speech of Any Number of Speakers
Naoyuki Kanda, Yashesh Gaur, Xiaofei Wang, Zhong Meng, Zhuo Chen, Tianyan Zhou, Takuya Yoshioka
摘 要：
原 文：http://arxiv.org/pdf/2006.10930v1
[29]
Efficient Active Learning for Automatic Speech Recognition via Augmented Consistency Regularization
Jihwan Bang, Heesu Kim, YoungJoon Yoo, Jung-Woo Ha
摘 要：
原 文：http://arxiv.org/pdf/2006.11021v1
知识图谱
Knowledge Graph
[30]
HPRA: Hyperedge Prediction using Resource Allocation
Tarun Kumar, K Darwin, Srinivasan Parthasarathy, Balaraman Ravindran
摘 要：
原 文：http://arxiv.org/pdf/2006.11070v1
资 源：github.com/darwk/HyperedgePrediction
强化学习
Reinforcement Learning
[31]
Open Problem: Model Selection for Contextual Bandits
Dylan J. Foster, Akshay Krishnamurthy, Haipeng Luo
摘 要：
原 文：http://arxiv.org/pdf/2006.10940v1
[32]
Cooperative Multi-Agent Reinforcement Learning with Partial Observations
Yan Zhang, Michael M. Zavlanos
摘 要：
原 文：http://arxiv.org/pdf/2006.10822v1
[33]
Efficient Ridesharing Dispatch Using Multi-Agent Reinforcement Learning
Oscar de Lima, Hansal Shah, Ting-Sheng Chu, Brian Fogelson
摘 要：
原 文：http://arxiv.org/pdf/2006.10897v1
推荐系统
Recommendation System
[34]
Feature Interaction Interpretability: A Case for Explaining Ad-Recommendation Systems via Neural Interaction Detection
Michael Tsang, Dehua Cheng, Hanpeng Liu, Xue Feng, Eric Zhou, Yan Liu
摘 要：
原 文：http://arxiv.org/pdf/2006.10966v1
资 源：github.com/marcotcr/lime, github.com/mtsang/interaction_interpretability, github.com/shenweichen/DeepCTR, github.com/shichence/AutoInt, github.com/huggingface/transformers
[35]
Recommendations for Emerging Air Taxi Network Operations based on Online Review Analysis of Helicopter Services
Suchithra Rajendran, Emily Pagel
摘 要：
原 文：http://arxiv.org/pdf/2006.10898v1
[36]
Convolutional Gaussian Embeddings for Personalized Recommendation with Uncertainty
Junyang Jiang, Deqing Yang, Yanghua Xiao, Chenlu Shen
摘 要：
原 文：http://arxiv.org/pdf/2006.10932v1
医疗与健康
Medical Science & Health Care
[37]
Cross-denoising Network against Corrupted Labels in Medical Image Segmentation with Domain Shift
Qinming Zhang, Luyan Liu, Kai Ma, Cheng Zhuo, Yefeng Zheng
摘 要：
原 文：http://arxiv.org/pdf/2006.10990v1
[38]
A Qualitative Evaluation of Language Models on Automatic Question-Answering for COVID-19
David Oniani, Yanshan Wang
摘 要：
原 文：http://arxiv.org/pdf/2006.10964v1
资 源：github.com/google-research/bert, github.com/oniani/covid-19-chatbot, github.com/shawwn/gpt-2, github.com/dmis-lab/biobert
应用
Application
[39]
Keep Your AI-es on the Road: Tackling Distracted Driver Detection with Convolutional Neural Networks and Targetted Data Augmentation
Nikka Mofid, Jasmine Bayrooti, Shreya Ravi
摘 要：
原 文：http://arxiv.org/pdf/2006.10955v1
[40]
A Reinforcement Learning Approach for Transient Control of Liquid Rocket Engines
Günther Waxenegger-Wilfing, Kai Dresia, Jan Christian Deeken, Michael Oschwald
摘 要：
原 文：http://arxiv.org/pdf/2006.11108v1
其他技术
Others
[41]
"And then they died": Using Action Sequences for Data Driven,Context Aware Gameplay Analysis
Erica Kleinman, Sabbir Ahmad, Zhaoqing Teng, Andy Bryant, Truong-Huy D. Nguyen, Casper Harteveld, Magy Seif El-Nasr
摘 要：
原 文：http://arxiv.org/pdf/2006.10823v1
点个在看，再下论文~
（密码：6tvc）