大數據 Hadoop（中）筆記大全收藏加關注

2019-12-31 05:56:00 JackYang1993

五大核心組件：

下述五大組件都是可編程，可以根據用戶需求自行配置

InputFormat 組件
Mapper組件
Partitioner組件
Redcer組件
OutputFormat組件

不是必備的組件：

Combiner

用於優化程序性能，可以在不影響最終業務結果的前提下使用

InputFormat組件

輸入組件：InputForamt組件有兩個功能

數據的切分：按照某種規則將輸入數據切分成若干個Split，確定MapTask個數以及對應的Split
為Mapper提供數據：給定某個Split，將其解析成一個一個的key、value對

（1）什麼是切片？

（2）如何切片？（重點）

使用時本地進行測試所以blockSize 和SplitSize 通通都是32MB

package org.apache.hadoop.mapreduce.lib.input; 包

FileInputFormat 類getSplits 方法221-276行

<code>protected boolean isSplitable(JobContext context, Path filename) {    // 文件默認可以切分  return true;}// 計算切片大小的方法 protected long computeSplitSize(long blockSize, long minSize, long maxSize) {    return Math.max(minSize, Math.min(maxSize, blockSize));      //  本地 32MB          32MB               }public List
 

如下錯誤是因為在虛擬機的環境下沒有Mysql環境（沒有jar）
<code>將 mysql jar 拷貝到/home/hadoop/hadoop-2.6.0/share/hadoop/yarn/ 文件夾即可 /<code>
跨平臺提交
基本和之前保持一致
<code>System.setProperty("HADOOP_USER_NAME", "root");configuration.addResource("conf2/core-site.xml");configuration.addResource("conf2/hdfs-site.xml");configuration.addResource("conf2/mapred-site.xml");configuration.addResource("conf2/yarn-site.xml");configuration.set("mapreduce.app-submission.cross-platform", "true");configuration.set(MRJobConfig.JAR, "F:\\\\大數據\\\\代碼\\\\BigData\\\\Hadoop_Test\\\\target\\\\Hadoop_Test-1.0-SNAPSHOT.jar");/<code>
自定義InputFormat
解決小文件存儲
涉及到的知識點：自定義InputFormat， SequenceFileOutputFormat
<code>思路 ： 首先通過自定義的InputFormat 代碼將數據讀取過來（一次進行處理，將小文件的內容一次性輸出到大文件中），使用SequenceFileOutputFormat輸出文件內容SequenceFile文件是Haadoop用來存儲二進制形式的key-value文件格式key - 文件的路徑+名稱value - 二進制文件的內容 /<code>
<code>package com.baizhi.test05;import com.baizhi.test03.BeanJob;import com.baizhi.test03.BeanMapper;import com.baizhi.test03.BeanReducer;import com.baizhi.test03.FlowBean;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.ByteWritable;import org.apache.hadoop.io.BytesWritable;import org.apache.hadoop.io.NullWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.MRJobConfig;import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;import org.apache.hadoop.mapreduce.lib.output.SequenceFileOutputFormat;import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;public class FileJob {  public static void main(String[] args) throws Exception {    // System.setProperty("HADOOP_USER_NAME", "root");    Configuration conf = new Configuration();/*    conf.addResource("conf2/core-site.xml");    conf.addResource("conf2/hdfs-site.xml");    conf.addResource("conf2/mapred-site.xml");    conf.addResource("conf2/yarn-site.xml");    conf.set("mapreduce.app-submission.cross-platform", "true");    conf.set(MRJobConfig.JAR, "F:\\\\大數據\\\\代碼\\\\BigData\\\\Hadoop_Test\\\\target\\\\Hadoop_Test-1.0-SNAPSHOT.jar");*/    Job job = Job.getInstance(conf);    /*     * 設置類加載器     * */    job.setJarByClass(FileJob.class);    job.setInputFormatClass(OwnInputFormat.class);    job.setOutputFormatClass(SequenceFileOutputFormat.class);    //TextInputFormat.setInputPaths(job, new Path("F:\\\\大數據\\\\筆記\\\\Day02-Hadoop\\\\作業\\\\數據\\\\log.txt"));    OwnInputFormat.setInputPaths(job, new Path("F:\\\\大數據\\\\代碼\\\\BigData\\\\Hadoop_Test\\\\src\\\\main\\\\java\\\\com\\\\baizhi\\\\test05\\\\in"));    //TextOutputFormat.setOutputPath(job, new Path("F:\\\\大數據\\\\筆記\\\\Day02-Hadoop\\\\作業\\\\數據\\\\out1"));    SequenceFileOutputFormat.setOutputPath(job, new Path("F:\\\\大數據\\\\代碼\\\\BigData\\\\Hadoop_Test\\\\src\\\\main\\\\java\\\\com\\\\baizhi\\\\test05\\\\out01"));    job.setMapperClass(FileMapper.class);    job.setReducerClass(FileReducer.class);    job.setMapOutputKeyClass(Text.class);    job.setMapOutputValueClass(BytesWritable.class);    job.setOutputKeyClass(Text.class);    job.setOutputValueClass(BytesWritable.class);    job.waitForCompletion(true);   }}/<code>

 

<code>package com.baizhi.test05;

import org.apache.hadoop.io.ByteWritable;
import org.apache.hadoop.io.BytesWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

public class FileMapper extends Mapper<text> {
    @Override
    protected void map(Text key, BytesWritable value, Context context) throws IOException, InterruptedException {
        context.write(key,value);

    }
}

/<text>/<code>
<code>package com.baizhi.test05;import org.apache.hadoop.io.BytesWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Reducer;import java.io.IOException;public class FileReducer extends Reducer<text> {  @Override  protected void reduce(Text key, Iterable<byteswritable> values, Context context) throws IOException, InterruptedException {    for (BytesWritable value : values) {      context.write(key, value);     }   }}/<byteswritable>/<text>/<code>
<code>package com.baizhi.test05;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.ByteWritable;import org.apache.hadoop.io.BytesWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.InputSplit;import org.apache.hadoop.mapreduce.JobContext;import org.apache.hadoop.mapreduce.RecordReader;import org.apache.hadoop.mapreduce.TaskAttemptContext;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import java.io.IOException;public class OwnInputFormat extends FileInputFormat<text> {  /*  * 是否可以切分？  * */  @Override  protected boolean isSplitable(JobContext context, Path filename) {    return false;   }  public RecordReader<text> createRecordReader(InputSplit inputSplit, TaskAttemptContext taskAttemptContext) throws IOException, InterruptedException {    OwnRecordReader recordReader = new OwnRecordReader();    recordReader.initialize(inputSplit, taskAttemptContext);    return recordReader;   }}/<text>/<text>/<code>
<code>package com.baizhi.test05;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.BytesWritable;import org.apache.hadoop.io.IOUtils;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.InputSplit;import org.apache.hadoop.mapreduce.RecordReader;import org.apache.hadoop.mapreduce.TaskAttemptContext;import org.apache.hadoop.mapreduce.lib.input.FileSplit;import java.io.IOException;public class OwnRecordReader extends RecordReader<text> {  // 定義key  Text key = new Text();  // 定義value  BytesWritable value = new BytesWritable();  FileSplit fileSplit;  Configuration configuration;  boolean isProgress = true;  public void initialize(InputSplit inputSplit, TaskAttemptContext taskAttemptContext) throws IOException, InterruptedException {    // 初始化    fileSplit = (FileSplit) inputSplit;    /*    *通過TaskAttemptContext拿到配置對象    * */    configuration = taskAttemptContext.getConfiguration();   }  /*   * 在nextKeyValue （） 方法中封裝key和value的值   * */  public boolean nextKeyValue() throws IOException, InterruptedException {    if (isProgress) {      /*      * 獲取path對象      * */      Path path = fileSplit.getPath();      /*       * 獲得文件系統對象       * */      FileSystem fileSystem = path.getFileSystem(configuration);      /*       * 這是key Text key       * */      String name = path.toString();      /*      * 封裝key      * */      key.set(new Text(name));      /*       * 當前遍歷到的文件流  這就是value bytes 為value       * */      FSDataInputStream fsDataInputStream = fileSystem.open(path);      /*       * 存放value數據的數組       * */      byte[] bytes = new byte[(int) fileSplit.getLength()];      /*      * IOUtils直接拷貝      * */      IOUtils.readFully(fsDataInputStream, bytes, 0, bytes.length);      /*       * 封裝value中       * */      value.set(bytes, 0, bytes.length);      /*       * 關閉資源       * */      IOUtils.closeStream(fsDataInputStream);      isProgress = false;      return true;     }    return false;   }  public Text getCurrentKey() throws IOException, InterruptedException {    return this.key;   }  public BytesWritable getCurrentValue() throws IOException, InterruptedException {    return this.value;   }  public float getProgress() throws IOException, InterruptedException {    return 0;   }  public void close() throws IOException {   }}/<text>/<code>
小問題？
（1） 能不能通過其他方式解決此問題？
（2） 嘗試讀取 SequenceFile 文件中的內容
CombineTextInputFormat
 
其主要目的就是為了優化小文件的計算
在使用TextInputFormat 情況下 有所少個文件就有多少個切片
<code>job.setInputFormatClass(CombineTextInputFormat.class);  CombineTextInputFormat.setInputPaths(job,new Path("F:\\\\大數據\\\\代碼\\\\BigData\\\\Hadoop_Test\\\\src\\\\main\\\\java\\\\com\\\\baizhi\\\\test05\\\\in"));CombineTextInputFormat.setMinInputSplitSize(job,10240000);/<code>
切片與MapTask的關係
MapTask的併發數據量由切片數量決定 ReduceTask數量的決定是可以手動進行設置 默認值為1
Partitioner 組件
為什麼相同的key會被分配到一起？
package org.apache.hadoop.mapreduce.lib.partition; 包 HashPartitioner 類 getPartition 方法
<code>package com.baizhi.test06;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Partitioner;import java.util.HashMap;public class OwnPartitioner extends Partitioner<text> {  // 設置存儲地區和分區數據的Map  private static HashMap<string> map = new HashMap<string>();  static {     // 存儲數據    map.put("zz", 0);    map.put("bj", 1);    map.put("tj", 2);    map.put("sh", 3);   }  public int getPartition(Text key, Text value, int i) {    // 獲得到地區名稱    String areaName = key.toString();   // 獲得分區數    Integer num = map.get(areaName);    /*     * 如果num 沒有值  為空則返回4  不為空則返回正常的值     * */    return num == null ? 4 : num;   }}/<string>/<string>/<text>/<code>
需求：
<code>package com.baizhi.test06;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Partitioner;import java.util.HashMap;public class OwnPartitioner extends Partitioner<text> {  // 設置存儲地區和分區數據的Map  private static HashMap<string> map = new HashMap<string>();  static {     // 存儲數據    map.put("zz", 0);    map.put("bj", 1);    map.put("tj", 2);    map.put("sh", 3);   }  public int getPartition(Text key, Text value, int i) {    // 獲得到地區名稱    String areaName = key.toString();   // 獲得分區數    Integer num = map.get(areaName);    /*     * 如果num 沒有值  為空則返回4  不為空則返回正常的值     * */    return num == null ? 4 : num;   }}/<string>/<string>/<text>/<code>
總結：
NumReduceTasks的個數 必須大於等於分區的數量（自定義）
在默認情況NumReduceTasks的個數為1 ，經過測試 ，不管如何手動分區，數據都將在一個分區中（也就是說在NumReduceTasks為1 的情況下，手動分區策略是失效） 
另外，我們還觀察到 有多少個NumReduceTasks 就有多少個文件的輸出

<code>package com.baizhi.test06;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Partitioner;import java.util.HashMap;public class OwnPartitioner extends Partitioner<text> {  // 設置存儲地區和分區數據的Map  private static HashMap<string> map = new HashMap<string>();  static {     // 存儲數據    map.put("zz", 0);    map.put("bj", 1);    map.put("tj", 2);    map.put("sh", 3);   }  public int getPartition(Text key, Text value, int i) {    // 獲得到地區名稱    String areaName = key.toString();   // 獲得分區數    Integer num = map.get(areaName);    /*     * 如果num 沒有值  為空則返回4  不為空則返回正常的值     * */    return num == null ? 4 : num;   }}/<string>/<string>/<text>/<code>
<code>package com.baizhi.test06;import com.baizhi.test03.BeanJob;import com.baizhi.test03.BeanMapper;import com.baizhi.test03.BeanReducer;import com.baizhi.test03.FlowBean;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.NullWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.MRJobConfig;import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;public class PJob {  public static void main(String[] args) throws Exception {    //System.setProperty("HADOOP_USER_NAME", "root");    Configuration conf = new Configuration();////     conf.addResource("conf2/core-site.xml");//     conf.addResource("conf2/hdfs-site.xml");//     conf.addResource("conf2/mapred-site.xml");//     conf.addResource("conf2/yarn-site.xml");//     conf.set("mapreduce.app-submission.cross-platform", "true");////     conf.set(MRJobConfig.JAR, "F:\\\\大數據\\\\代碼\\\\BigData\\\\Hadoop_Test\\\\target\\\\Hadoop_Test-1.0-SNAPSHOT.jar");//    Job job = Job.getInstance(conf);    /*     * 設置類加載器     * */    job.setJarByClass(PJob.class);    job.setInputFormatClass(TextInputFormat.class);    job.setOutputFormatClass(TextOutputFormat.class);    /*     * 使用自定義的分區規則     * */    job.setPartitionerClass(OwnPartitioner.class);    // 設置NumReduceTasks 的個數     job.setNumReduceTasks(5);    TextInputFormat.setInputPaths(job, new Path("F:\\\\大數據\\\\筆記\\\\Day02-Hadoop\\\\數據文件\\\\sumFlow.txt"));    //TextInputFormat.setInputPaths(job, new Path("/flow.txt"));    TextOutputFormat.setOutputPath(job, new Path("F:\\\\大數據\\\\筆記\\\\Day02-Hadoop\\\\數據文件\\\\outP1111111"));    //TextOutputFormat.setOutputPath(job, new Path("/out111111"));    job.setMapperClass(PMapper.class);    job.setReducerClass(PReducer.class);    job.setMapOutputKeyClass(Text.class);    job.setMapOutputValueClass(Text.class);    job.setOutputKeyClass(NullWritable.class);    job.setOutputValueClass(Text.class);    job.waitForCompletion(true);   }}/<code>
<code>package com.baizhi.test06;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;/* * * reduceTask的個數和輸出文件的關係 * reduceTask 和 分區 之間的關係 * * */public class PMapper extends Mapper<longwritable> {  @Override  protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {    /*     * key 為地區  value 為流量信息     * */    String areaName = value.toString().split(" ")[4];    context.write(new Text(areaName), value);   }}/<longwritable>/<code>
<code>package com.baizhi.test06;import org.apache.hadoop.io.NullWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Reducer;import java.io.IOException;public class PReducer extends Reducer<text> {  @Override  protected void reduce(Text key, Iterable<text> values, Context context) throws IOException, InterruptedException {    for (Text value : values) {      context.write(NullWritable.get(), value);     }   }}/<text>/<text>/<code>
注意 ：在上述代碼中 我們沒有關注 業務 只是將不同地區的文件 通過自定義分區代碼 輸出到不同的文件中 ，還設置了ReduceTask的個數


 
 

                

            
            
            
            
            
            
            
            
            
            
            
            

            
            
            
                分享到:
                
            
            

            
             閱讀更多  JackYang1993 
                的文章
            
            
            
            關鍵字:
                
                收藏
                
                大數據
                
                Hadoop

Hadoop：MapReduce多路徑輸入與多文件輸出詳解

Hadoop 偽分佈式搭建指南

Hadoop 數據科學

Hadoop DataBase學習筆記

一步一步學習大數據：Hadoop 生態系統與場景

Hadoop 安裝教程

php 操作 Hadoop

第四章 Hadoop 集群搭建

第七章 Hadoop 常用的 shell 命令

第二章 Hadoop 發展背景

不看就虧系列！這裡有完整的 Hadoop 集群搭建教程，和最易懂的 Hadoop 概念！

大數據開發學習，Hadoop-HDFS詳細介紹

03.04 大數據開發學習，Hadoop-HDFS詳細介紹

03.02 看完就能獨自把集群搭起來！Hadoop HDFS完全分佈式環境搭建詳解

03.01 Hadoop HDFS詳細操作

Hbase教程菜鳥教程：Hadoop Hbase入門簡介

Hadoop 3的主要優缺點

FastDFS、Hadoop、TiDB共同點與各自特點

Hadoop YARN：調度性能優化實踐

SQL ON HADOOP 技術框架彙總

Hadoop 數據管理平臺 Apache Falcon

深入淺出 Hadoop YARN

Hadoop、Spark等5種大數據框架對比，你的項目該用哪種？

Hadoop 企業級大數據管理平台CDH 安裝Hadoop組件

Hadoop 基本 Shell命令

揭祕Apache Hadoop YARN，第一部分：集群和YARN基礎

08.28 Hadoop 學習一:jdk配置

最全騰訊等BAT大數據面試99題：hadoop、java、spark、機器算法等

ELK hadoop hbase

系統學習大數據兩大框架 hadoop 和spark

如何系統的學習大數據框架 hadoop 和spark？

大數據計算常用的分布式計算組件——Hadoop、Storm以及Spark

Nutch-Hadoop-MongoDB搭建分佈式爬蟲

好程式設計師：hadoop job 日誌的查看

Hadoop 的主節點如何啓動java程序？

hadoop上運行python——hadoop streaming：搭建數據分析體系79篇

Hadoop 面試，來看這篇就夠了

Hadoop MapReduce v1 系統剖析

Hadoop 之上的數據建模-Data Vault 2.

Hadoop 回收站Trash知識點

第二章 IoC容器和Bean配置

bean是一個對象，它是由Spring

運算裡不得不說的python模塊—math

Help

Devops度量--DevOps 現狀快速檢查表

今天主要分享一個DevOps

SOP是什麼（解讀）

SOP不是單個的，是一個體系，雖然我們可以單獨地定義每一個SOP，但真正從企業管理來看，SOP不可能只是單個的，必然是一個整體和體系，也是企業不可或缺的。

還不知道交換機上如何配置DHCP，趕緊過來圍觀吧，一分鐘包你學會

隨著終端設備的越來越多，人工干預配置IP地址，不僅工作效率低，而且，還很容易導致IP衝突，影響正常的網絡訪問。到此已經完成了，DHCP服務的配置了，我們可以在終端驗證。

還在手動配置IP地址嗎？太Low了，一分鐘教會您如何配置DHCP

Python爬蟲自學筆記：分析頭條文章網頁源文件

這兩天分析了一下頭條文章網頁的源文件，現在將分析的結果分享給大家。首先以一篇文章為例，其網址如下：https://www.toutiao.com/i6822245428176617998/如上圖網頁所示，文章中包含文字和圖片。

DNS偵查工具

我們只需要打開瀏覽器輸入例如:www.baidu.com就可以解析到該網站.為了便於記住不需要輸入長長的IP地址去訪問這就是DNS域名解析.關於域名域名的層次劃分用點來分割這時DNS把相對應的域名解析成IP地址高的在右邊.例如:www. NS簡介訪問某網站的時候最低在左邊

國人開源的異步 Python ORM：GINO

程序測評：Create React App 3.3中有哪些酷炫新功能？

Create

“明學”的魅力？我只要我覺得：駕馭終端，提高生產力

最後一個要介紹的命令是

（必收藏系列）Linux面試題——命令集

關注，後臺私信【Linux】分享Linux入門到進階電子書、Linux入門到精通視頻教程（免費）。文件管理命令cat

五分鐘學會如何在 IPFS 上部署網站

原文標題:五分鐘學會如何在

「正點原子NANO STM32F103開發板資料連載」第29章內存管理實驗

1）實驗平臺：【正點原子】

小白怎麼學Web前端開發如何成為技術達人

Web前端開發工程師已經成為了很多年輕人心中的理想工作，不僅入行門檻低、而且薪資待遇和發展前景都不錯，自然吸引了大批人加入行業。

如何開發一個web靜態服務器

我們都知道如今的web服務器有很多，比如著名的有apache，有nginx，有tomcat，有resin服務器，有sphere，有iis服務器等等，這些服務器都能提供web服務，並且幾乎都能和多種語言進行搭配使用，那麼一個web服務器都需要那些功能，開發一個web服務器都需要那些

學Java編程還有前景嗎如何才能拿到高薪

需求大、薪資高似乎是Java開發人員的標籤，不過學Java編程還有前景嗎？它架構在操作系統之上，屏蔽了底層的差異，真正實現了“Writeonce run

Python網絡爬蟲之配置篇（一）

pip

SpringBoot 整合SpringSecurity示例實現前後分離權限註解+JWT登錄認證

serverTimezone=UTC&useUnicode=true&characterEncoding=utf-8&zeroDateTimeBehavior=convertTo&useSSL=falseusername:rootpassword:

Python的運行效率太低？幾行代碼快速提升！

return的就是是你所需要的結果2.3、運行這一步就是最後一步了，只要像下面一樣輸入上述函數名，賦予參數值，點擊運行Run，就能得到你想要的結果arg1=5

python的優點是什麼？最新Python400集視頻（附教程）

2020，最新Python零基礎到精通資料教材，乾貨分享，新基礎Python教材，穩穩找到過萬工作，看這裡，這裡有你想要的所有資源哦，最強筆記，教你怎麼入門提升！獲取方式：私信小編“

MySQL中OOM故障應如何下手-愛可生

作者：孫祚龍愛可生南區分公司交付服務部成員，實習工程師。負責公司產品問題排查及日常運維工作。本文來源：原創投稿*愛可生開源社區出品，原創內容未經授權不得隨意使用，轉載請聯繫小編並註明來源。

像專家一樣使用 panic

|go

30種不同的編程語言怎麼寫“Hello, World”

printfn

percona QAN 介紹

一、背景QAN慢查詢日誌分析工具是PMM

面試官：你可以用純CSS判斷鼠標進入的方向嗎？

雖然沒什麼軟用，但是對付面試官應該是夠用了。感謝面試官提出的問題，讓我實現了這個功能，對CSS

網絡工程師職業生涯中，哪兩點是最重要的？

網絡工程師最重要的技能是紮實的基礎和非常開放的思維，微觀知識紮實、宏觀能力突出。項目經驗也會讓網絡工程師基礎更牢靠，網絡工程師是要實戰的，要避免紙上談兵，我認為對基礎理論的理解，比你清楚配置更重要。

交換機中相關術語代表什麼意思，有必要弄清楚

由淺入深瞭解以太坊 2.0：最常見問題和最全學習清單

有關以太坊2.0

【Linux簡單實用小命令001】CentOS 7、8的防火牆端口開放

yuminstall

吃透這些IPFS硬核知識點，日後搶頭礦隨時“彎道超車”

今天的你捉住IPFS機遇了嗎？我們都知道在Filecoin網絡中作為一名存儲礦工，信譽對於我們是非常重要的——信譽越高，爆塊幾率越大。那麼信譽系統現在怎麼樣了呢？

Hive分桶表

fieldsterminated

Spring中資源的加載原來是這麼一回事啊！

自己動手搭建郵件系統：怎樣讓Exchange Server 發出第一封郵件？

編輯Exchange

$【MySQL】RDS物理備份文件(.idb\.frm)恢復到MySQL自建數據庫$

【MySQL】RDS物理備份文件(.idb\.frm)恢復到MySQL自建數據庫

在阿里雲控制檯，我們能下載的文件是一個壓縮包，解壓之後，是.idb和.frm文件，你可能要問了，我可以直接把解壓好的問題件覆蓋到MySQL的data目錄下嗎？

NLP算法入門系列：隱含馬爾可夫鏈(HMM)模型的簡單介紹

即，最大化

第一章 Spring Framework概述

您可以在任何web

opencv人工智能深度學習這樣實現人臉的年齡檢測

前期的文章我們分享了人臉的識別以及如何進行人臉數據的訓練，本期文章我們結合人臉識別的模型進行人臉年齡的檢測人臉年齡的檢測步驟1、首先需要進行人臉的檢測2、把檢測到的人臉數據給年齡檢測模型去檢測3、把檢測結果呈現到圖片上人臉年齡檢測import

嵌入式linux網絡編程之——5年程序員給你深度講解socket套接字

圖8-1

深入瞭解ProcessFunction的狀態操作(Flink-1.10)

先反思為何會有上述疑惑上述疑惑產生的原因，應該是受到平時使用HashMap的影響，HashMap獲取值就是在調用get方法時指定key，設置值也是在put時指定key，所以看到state.value，看懂了這些，其實也是在瞭解DataStream/DataSetAPI的設計思路：

Redis內存分析工具--rdr安裝與使用

分析Redis

資深架構師教你源碼講解zookeeper實現分佈式鎖以及集群搭建步驟

//getData發現前一個子節點被刪除，拋出異常

一行代碼提升遷移性能

論文原址：https://arxiv.org/pdf/2003.12237.pdf開源地址：https://github.com/cuishuhao/BNM在發表在CVPR2020

利用相似幾何信息，做可泛化3D形狀分割模型

更具體的有以下三種典型的分割方案：FullyConvolutional-Like

這麼好用的開源計算器SpeedCrunch，沒有不嘗試一下的道理

介紹SpeedCrunch是一款高精度科學計算器，具有快速，鍵盤驅動的用戶界面。獲取方式在GitHub上搜索SpeedCrunch，就可以去到

分佈式緩存，真香

他是前易寶支付架構師、阿里雲MVP、騰訊雲

特徵工程的力量

在本文中，我希望教給您一些有關特徵工程的知識，以及如何使用它來對非線性決策邊界進行建模。為了說明這一點，假設恢復時間與身高和體重具有以下關係：Y=β₀+β₁+β2+β₃+noise從第三項來看，我們可以看到Y與身高和體重沒有線性關係。

java架構：天天寫面向接口編程，你考慮過性能嗎？大神都是這麼寫

public

SpringBoot如何優雅的使用RocketMQ

源碼編譯需要Maven3.2x，JDK8在根目錄進行打包:Copymvn-Prelease-all

css代碼規範工具stylelint

"mixin"

大數據 Hadoop（中） 筆記大全 收藏加關注