全部 大数据新闻动态 大数据技术文章 大数据常见问题 技术问答

• • 

    ReduceTask的工作机制【传智大数据文章】

    Reduce大致分为copy、sort、reduce三个阶段，重点在前两个阶段。Copy阶段，简单地拉取数据。Reduce进程启动一些数据copy线程(Fetcher)，通过HTTP方式请求maptask 获取属于自己的文件。 查看全文>>

    大数据技术文章2021-01-26 |传智教育 |ReduceTask的工作机制

  • 

    开发Scala程序的步骤是什么？

    完成Scala环境和IDEA工具的安装。接下来，就通过打印“Hello World”的例子来演示如何使用IDEA工具开发Scala程序，具体步骤如下。 查看全文>>

    大数据技术文章2021-01-25 |传智教育 |开发Scala程序的步骤

  • 

    Flink中watermark的生成规则及其功能【大数据面经】

    通常，在接收到source的数据后，应该立刻生成watermark；但是，也可以在接收source后，应用简单的map或者filter操作，然后再生成watermark。 查看全文>>

    大数据技术文章2021-01-15 |传智教育 |watermark生成规则及其功能

  • 

    Redis、传统数据库、HBase以及Hive的区别

    关系型数据和Hive都是支持SQL引擎的数据库；Redis和Hbase都是NoSQL 类型的Key/vale数据库，支持简单的行列操作，不支持SQL引擎。 查看全文>>

    大数据技术文章2021-01-15 |传智教育 |Redis,传统数据库,HBase,Hive

  • 

    Hive安装教程——嵌入模式

    嵌入模式下，元数据保存在Derby数据库中，且只允许一个会话连接，若尝试多个会话连接时会报错。下面讲解Hive安装之嵌入模式的配置步骤。 查看全文>>

    大数据技术文章2021-01-15 |传智教育 |Hive安装教程

  • 

    怎样操作Spark SQL性能调优？

    参数默认false。当设为true，parquet会聚合所有parquet文件的schema，否则是直接读取parquet summary文件，或者在没有parquet summary文件时候随机选择一个文件的schema作为最终的schema。 查看全文>>

    大数据技术文章2021-01-14 |传智教育 |Spark SQL性能调优,操作Spark SQLt调优

  • Kafka数据存储【大数据文章】

    Kafka是一个高吞吐量的分布式发布订阅消息系统，它在实时计算系统中有着非常强大的功能。把topic中一个parition大文件分成多个小文件段，通过多个小文件段，就容易定期清除或删除已经消费完文件，减少磁盘占用。 查看全文>>

    大数据技术文章2021-01-12 |传智教育 |Kafka,Kafka数据存储

  • 

    Hadoop实现join的有几种方法？【大数据面试题】

    Hadoop实现join有三种方法，第一种是reduce side join，它是一种最简单的join方式，其主要思想如下： 查看全文>>

    大数据技术文章2021-01-12 |传智教育 |实现join,Hadoop,大数据面试题

  << < 1 2 3 4 5 6 7 8 9 ... 38 > >>