All Test
在这里测试所有功能
大数据案例分析备考
名词解释 101、数据湖数据湖是一个数据存储和管理平台,它允许企业集中存储各种类型和格式的数据,包括结构化数据、非结构化数据和半结构化数据。数据湖通常采用云存储技术,以实现高可扩展性、高吞吐量和低成本的数据存储。
与传统的数据仓库不同,数据湖不会对数据进行转换或规范化,并且不会将数据划分为预定义的模式或模板。相反,数据湖会将数据以原始格式保存,并在需要时通过查询和分析工具进行处理、转换和规范化。
由于其灵活性和高可扩展性,数据湖已成为当今大数据处理和分析领域中的一种重要解决方案。通过使用数据湖,企业可以更轻松地管理和分析大量的数据,以发现隐藏的业务见解、趋势和机会。
2、数据血缘数据血缘是指数据元素之间的关系和来源的追溯。它描述了数据在整个信息系统中从输入到输出的流动和变化过程,以及数据元素之间的依赖关系。
数据血缘可以帮助人们理解数据的来源、转换和用途,提供关于数据质量和可信度的信息。通过追踪数据的血缘,可以回答以下问题:
数据的来源是什么?数据是从哪个系统、哪个表格或哪个数据源中获取的?
数据是如何被处理和转换的?是否经过了加工、整合、清洗或转换等操作?
数据被用于哪些目的?哪些 ...
深度学习的音乐创作综述(part.2)
4 仪器和编排正如我们在第 2 节中提到的,乐器和编排是正在创作的音乐流派中的基本元素,并且可以通过使用特定的乐器或编排作品的方式来代表每个作曲家的特征。一个例子是贝多芬在交响乐中使用的编排,它改变了音乐的创作方式。乐器是研究如何将相似或不同的乐器以不同的数量组合在一起,以创建合奏。编排是对得分相似或不同部分的选择和组合。由此,我们可以将乐器作为作品的颜色,将编排与作品的美学方面联系起来。乐器和编排对我们感知音乐的方式以及音乐的情感部分都有巨大的影响,但是,尽管它们代表了音乐的基本部分,但情感超出了这部作品的范围。
4.1 从复调音乐到多乐器音乐的生成在基于计算机的音乐创作中,我们可以将乐器和编排概念组合在多乐器或多音轨音乐中。然而,用于多仪器生成的基于 DL 的模型并不完全符合这些概念。基于多乐器 DL 的模型为多个乐器生成复调音乐,但是,生成的音乐是否遵循连贯的和声进程?由此产生的编曲在乐器和编排方面是连贯的,还是基于 DL 的模型只是生成多乐器音乐而不考虑每个乐器或编曲的特色?在第 3 节中,我们展示了复调音乐的产生可以创作出具有一定和声感的音乐,但在面对多乐器音乐时,最重要的一 ...
深度学习的音乐创作综述(part.1)
Carlos Hernandez-OlivanJose R. BeltranDepartment of Engineering and Communications, Calle María de Luna, Universidad de Zaragoza
观后简言:
这篇真的只是综述,没有上一篇那么多内容,但是更加通俗易懂。对于目前主流的 GANs、VAEs、Transformers 有了更详细一点的介绍,但是依然没有介绍很详细的实现方式(所以读完两篇之后我最大的感触是人人都在说 MusicVAE 2,但是我仍然不知道它的实现过程与原理)。
我给的意见是类似这种综述类文章我不清楚是否能够发表到很高级的期刊上,但是它给人的参考价值并没有想象中的那么大,反而原文中引用的文章会给人更直观的感受。所以暂时将综述类文章放在一边,我会再读几篇偏技术一点的文章后对他们所引用的论文进行一个整理,找出大家都喜欢引用的几篇(去个重嘛,经典wordcount)读一下。
最后这篇相比第一篇主观上逊色几分,但是通俗易懂,如果读了第一篇忘了或者觉得内容过多引起不适,那么这篇的体量应该刚刚好。
摘要产生一件复杂 ...
音乐生成的人工智能综述:智能体、领域和前景(part.3)
7、人机交互正如我们在引言中所提到的,人机交互技术的重要性是整个人工智能音乐创作的关键概念之一。随着世界各地的活动和竞赛,如人工智能歌曲大赛,将与人工智能共同创作音乐的团队聚集在一起,共同创作变得越来越重要。在本节中,我们将深入研究在音乐生成领域和用户中提出的用户界面。在本节中,我们总结了图中所示的合成工作流的代理。让位于下一节中的评估。
HC 交互中最重要的元素之一是用户界面。随着深度生成模型的最新进展及其在计算机视觉领域的新功能,对现代用户界面的研究正在增加,这推动了人工智能音乐生成新界面的诞生。设计良好的界面不仅给用户带来更好的体验,还允许用户与模型进行不同级别的交互,尤其是在基于 AI 的艺术模型中。在这一部分中,模型通常是一个黑框,用于响应界面中的用户提示。因此,在合成工作流的这一部分中有两个重要的代理:用户和界面。
A.界面界面是用户通常体验到的第一个也是唯一一个部分。具有复杂或基本的界面是取决于要构建的工具或产品的设计决策。完美的界面并不存在,但之前对目标用户的分析以及构建某个产品所用技术的知识可以帮助设计一个好的界面。
Bougueng 和 Ens(2019)的 Apo ...
音乐生成的人工智能综述:智能体、领域和前景(part.2)
6、模型到目前为止,我们已经看到了音乐生成任务中常用的数据集以及可以帮助我们处理它们的软件。但是,哪些方法和神经网络架构被用于生成音乐?当前基于人工智能的模型用于音乐任务是因为它们正确地表示和学习音乐信息,还是仅仅因为它们在其他任务中表现良好?在本节中,我们将介绍音乐生成领域中使用的架构和方法。
机器音乐的产生始于20世纪50年代左右。机器和项目,如1957年的 ILLIAC Suite 、1964年 Koening 的 Project1 、20世纪80年代 David Cope 的 EMI ,以及 Iannis Xe nakis 的 Analogiques A 和 B 。20世纪80年代末,第一个使用神经网络的基于人工智能的模型受到算法合成的启发。 Lewis 在1988年使用了梯度下降法的训练和创造阶段。同样在1988年和1989年,Todd 定义了用于音乐应用的顺序网络。顺序网络使用的内存与已经产生的音符有反馈连接。1994年,Mozer 使用了 Elman 的 CONCERT 网络,该网络在给定可能候选音符的概率的情况下继续了一系列音符。除了这些先前的工作之外,已经提出了几种将 ...
音乐生成的人工智能综述:智能体、领域和前景(part.1)
Carlos Hernandez-Olivan, Javier Hernandez-Olivan, and Jose R. BeltranDepartment of Electronic Engineering and Communications, University of Zaragoza, Calle Mar´ıa de Luna 3 50018, Zaragoza
观后简言:
哇哇哇!终于看完第一篇了,选择这篇作为我的入门论文属于是挑对了又挑得不对:挑得不对是因为这第一篇实在是太长了,从 7 月 8 号开始开新坑到今天已经 8 月 17 号了,足足看了 40 天(虽然中间一度搁置),但是不得不说这一篇反而是最适合新手入门的。基本上不介绍任何硬核技术相关,主要是讲述目前音乐生成领域的发展情况以及做音乐生成的主流思想。有兴趣的一定要重点看下第六节【模型】,涵盖了基本上需要考虑的参数方向。
虽然中间一段时间没看,但是反而是因为自己有些想法所以去尝试实现了,刚巧就在看完第五节的时候。我从自己的角度出发,构思了一个简易的音乐生成流程,并在和 ChatGPT 的对话中不断完善、推理中间的 ...
IEEE参会学习感悟
这两天参加了 The 10th IEEE International Conference on Cyber Security and Cloud Computing(IEEE CSCloud 2023) & The 9th IEEE International Conference on Edge Computing and Scalable Cloud(IEEE EdgeCom 2023) 会议,简称为第十届 IEEE 网络安全与云计算国际会议和第九届 IEEE 边缘计算和可扩展云国际会议。当然不是作为优秀代表或是什么杰出学者参会,而是作为背景板有幸聆听了一些前沿技术。
说来惭愧,一开始还是很认真听得,但是后来就有些力不从心啦,毕竟水平和见识还远远赶不上这些专家,所以记录下我认真听得这几位教授的发言,为我的未来提供一丝可能性。
印象最深的就是第一位来自华中科技大学的讲者金海老师,他主讲:基于数据流的图计算加速器。下面是我对他讲解的一些个人理解和解读(不一定正确,留给未来的我评判)。
首先是大数据时代数据的存储模式,在我大学的学习中,已经初步了解到数据存储到数据库中大体上就是 ...
机器学习
前言:
这不是一篇正儿八经的机器学习文档,完全是应付考试用的。当时6.17考完英语六级之后、6.18过生日;6.19上午8点就是机器学习考试了,所以没有时间做什么很详细的文档。我就是用着这一点PPT提取物做了个不到三千的小文档,不过顺利帮助我在5个小时左右拿下了机器学习(虽然最后只有80分),所以传上来供大家参考。
温馨提示:虽然确实内容不多,但是希望大家对数仓与数挖的文档掌握后再来看机器学习,因为聚类、分类之类的算法掌握一两个之后会比较容易理解机器学习底层的思想。
第一章 绪论1、基本术语
样本(sample)/实例(instance):我们获得的数据集中的一条数据,被称为一个样本/实例,在不存在数据缺失的情况下,所有样本应该具有相同的结构。样本是一个统计学概念,很多时候,一个样本对应一个个体,或者对某个对象的一次观测(observation);
特征(feature)/属性(attribute):记录样本的某种性质或者在某方面的表现的指标或变量,有时候我们直接用原始数据的变量作为特征,而有的时候我们对原始变量施加一个映射,转变为一组新的变量作为特征 ...