大数据,但速度:速度API应用程序和存储之间的联系 灰鸽子远程控制软件

admin

大数据,但速度:速度API应用程序和存储之间的联系 灰鸽子远程控制软件
Alluxio支持Amazon S3存储API的功能,谷歌云存储,OpenStack迅速、EMC,NetApp

Alluxio,最初被称为超光速粒子,给大数据应用快速、统一访问存储数据驻留的地方。
现在在1.0版本,Alluxio提供框架像火花一样,MapReduce,Flink,或者很快提供多种类型的存储系统。
谷歌云存储,云存储提供商Amazon S3和支持OpenStack迅速,NetApp存储厂商EMC和。
从外面,Alluxio可能看起来像一个内存中的缓存系统例如Memcached或复述。
相反,它是一个层,介于应用程序和存储、分布式计算给前者后者通过一个统一的API。
应用程序可以使用Alluxio的API,它提供了最高的速度,或者他们可以使用遗留API(比如一个HDFS实现),慢但更兼容。
本月早些时候发表的一篇博客文章中,英特尔的工程师描述Alluxio如何帮助解决一些常见的问题与大数据框架,如应用程序之间共享数据。
而不是写数据HDFS中并重新阅读它,用户可以写入数据Alluxio的内存存储和阅读它在更大的速度。
同样,JVM的垃圾收集和堆缓存问题,加剧了引发这样的框架,可以通过使用Alluxio得到缓解。
IBM已经声称在速子天,Alluxio超过内存110 x HDFS的写道,“提高实际工作流程的端到端延时4 x”。
Alluxio补充其他解决方案;Apache箭头,例如,加快数据处理,使其可用于应用程序的格式,适合现代的cpu。箭头将请求的数据从存储和获取由Alluxio提供。
超光速粒子化身,Alluxio画了几个大数据项目的支持,其中最主要的火花。
该公司计划继续构建其他大数据项目的支持和存储系统供应商。