hadoopとは コンピュータの人気・最新記事を集めました - はてな (original) (raw)
(
コンピュータ
)
【
はどぅーぷ
】
Apacheプロジェクトが開発している大規模データを分散処理するオープンソースソフトウェアである。Googleが開発したGFS(Google File System)とMapReduceの論文がベースとなっている。
大規模データを分散処理するためのMapReduce、大規模データを保存するための分散ファイルシステムの2つのシステムから構成されている。
YahooやFacebook, Amazonなど多数の企業で採用されており、多数の実績を積んでいる。
名前の由来は，開発者の子供の黄色い象のぬいぐるみの名前らしい
http://weblogs.java.net/blog/tomwhite/archive/2006/02/hadoop.html
このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
関連ブログ
はじめに マイクロアドのシステム開発部でインフラエンジニアをしているキガワです。現在マイクロアドではデータプラットフォーム事業を支える大規模な基盤（以下データ基盤）を移行計画中です。 現在のデータ基盤はHadoopエコシステムで実現されており、次期データ基盤ではコンピューティングとストレージを分離する構成を検討中です。 コンピューティング部分についてはマイクロアドで書かれた以前のブログ記事があるので、興味がある方はそちらをご覧ください。 ストレージ部分についてはS3互換のストレージ製品を検討しており、今回はその中で検証したApache Ozoneについて概要をご紹介します。 はじめに Apac…ネットで話題
1895ブックマークNTTデータのHadoop報告書がすごかった - 科学と非科学の迷宮
818ブックマーク「Hadoopの時代は終わった」の意味を正しく理解する - 科学と非科学の迷宮
756ブックマークいまさら聞けないHadoopとテキストマイニング入門
520ブックマークHadoopで、かんたん分散処理 (Yahoo! JAPAN Tech Blog)
470ブックマーク機械学習、どこから手を付ける？ ～初期コストゼロで試せるBigInsightsで、Hadoop＆Sparkのエコシステムをフル活用～ - はてなニュース
442ブックマークグーグル発「Hadoop」、日本企業も利用へ
405ブックマーククックパッドとHadoop - クックパッド開発者ブログ
404ブックマークHadoopの解析資料オープンソース分散システム「Hadoop」に関する解析資料を公開させて頂いております。この調査はNTTレゾナント株式会社様と共同で行いました(プレスリリース)。 Hadoop解析資料(PDF), 最終更新: 2008/08/25, 公開: 2008/08/25 Hadoopの実際のインストール方法などにつきましては、弊社太田による以下の記事もご参考下さ...
400ブックマーク『モバゲーの大規模データマイニング基盤におけるHadoop活用』－Hadoop Conference Japan 2011－ #hcj2011
関連ブログ
この記事は MicroAd Advent Calendar 2022 と Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2022 の25日目の記事です。 今年のアドカレも最終日になりました。 とは言え、Distributed computing Advent Calendar 2022 の方はエントリが結構残ってるので、引き続き空いてる枠への参加をお待ちしてます！ qiita.com qiita.com 今回は、Hadoopクラスタ管理者の視点で、データ基盤としてTiDBの使い所について考えてみ…
先日行われたTreasure Dataのイベントにて登壇させていただきました。タイトルは『Hive Distributed Profiling System in Treasure Data』。
この記事は Distributed computing Advent Calendar 2022 の5日目の記事です1。 qiita.com 今回は、今年の5月にApache Software Foundation (ASF)のTop-Level Project (TLP)2になった Apache YuniKorn について紹介します。 yunikorn.apache.org YuniKornの概要 YuniKornの由来と読み方 なぜYuniKornが必要なのか？ どこが使ってるのか？ リリース状況 YuniKornの特徴 アプリを考慮したスケジューリング 階層型のリソースキュー ジョブオー…
+ 案件でHadoopを扱う事になりそうなので、勉強のためにDockerコンテナでHadoop + Spark環境を構築してみました。擬似分散モードでの起動を想定しています。 ソースコードはgit hubに上げてあります。 github.com Hadoopのインストール 公式サイトからファイルをダウンロードする必要があります。 配布されているHadoopのバージョンは以下URLから確認できます。 ftp.kddilabs.jp Sparkのインストール Sparkも公式サイトからダウンロードします。 ダウンロードするHadoopのバージョンと同じ物をChoose a package type…
はじめに 前提知識（Amazon EMR） Amazon EMR Serverlessとは？ Amazon EMR Serverlessをさわってみた 事前準備 関連AWSリソースの準備 データの準備 クエリの準備 EMR ServerlessでHiveアプリケーションを作成して実行する EMRアプリケーションの作成 ジョブの実行 さいごに はじめに こんにちは！クラウドプラットフォーム部の土井です。 今年6月にAmazon EMR ServerlessがGAとなったので遅ればせながらですが、既存のAmazon EMRサービスとの違いにも簡単に触れつつ触ってみたいと思います。 前提知識（Ama…#Amazon EMR#Amazon EMR Serverless
はじめに 初めまして。マイクロアド21年新卒インフラ担当の森( id:bosq )と申します。 7月に新卒研修を終えてからは、基盤開発グループにて日々勉強しています。 配属後は新しいことのインプットが多いため、今回は学んだことの整理とアウトプットを兼ねて、マイクロアドのデータ基盤で利用しているHadoopについて紹介したいと思います。 はじめに 分散処理基盤 Hadoop / CDH とは Hadoop エコシステム データストレージ (HDFS) と リソース管理 (YARN) HDFS (Hadoop Distributed File System) YARN (Yet Another R…
qiita.com 1日遅れになってしまいましたが、、、 この記事は MicroAd (マイクロアド) Advent Calendar 2020 - Qiita の20日目の記事です。 昨日は dai08srhg - Qiita のEmbulkの話でした。 （´-`）.｡oO（EmbulkはHiveやHDFS系のプラグインがアップデートあると嬉しいなぁと思う今日この頃） qiita.com さて、本題ですが、今回はHueとDockerを使った話です。 Cloudera Hueは、 CDHに含まれているコンポーネントの一つ ですが、Hueは他のコンポーネントに比べて他のコンポーネントと協調して動…
この記事は Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2020 の11日目の記事です。 qiita.com クラスタ間でHDFSファイルを移動したいというのは割とよくある話です。 そこでHDFSファイルを大量に移動する際は、DistCpを使うことになります。 ただ、移動元も移動先にも所属していないクライアントから通常DistCpは使えません（クラスタの設定情報がないので）。 設定をどうにかして渡せば、多分出来るだろうなぁと思いつつも「まぁ移動先のクラスタクライアントにSSHしたらいいか。」で…
AWS Glue Jobによるicebergテーブル操作 AWS Glueではicebergテーブルフォーマットがサポートされています。 AWS Glue での Iceberg フレームワークの使用 - AWS Glue iceberg形式は大規模なデータセットを効率的に処理を行うことができる、データレイクに保存されてるデータ処理に向いたテーブル形式です。 iceberg形式の主要な特徴として以下が挙げられます Apache Iceberg - Apache Iceberg™ SQL操作 データの追加・更新・削除をSQLコマンドで実行可能 スキーマ進化 テーブルスキーマの柔軟な変更が可能 隠れ…
www.itmedia.co.jp 米AppleのAI研究者らは10月7日（現地時間）、「GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models」（LLMにおける数学的推論の限界を理解する）という論文を発表した。 「現在のLLMに真の推論は困難」──Appleの研究者らが論文発表 - ITmedia NEWS この論文は、LLM（大規模言語モデル）が、本当に人間のように論理的に考えて問題を解けるのか、という疑問を検証している。結論としては、LLMは今のところ、表…
Azure HDInsightは、パブリックネットワークからのアクセス許可を前提とした構成が既定の構成とされています。一方で、実運用では外部からインターネット経由での通信を許可せず、プライベート通信に限定するようなケースも存在するかと思います。今回は、Azure HDInsightへのインバウンド通信をプライベートネットワークに限定する場合の、リソース構成について説明します。 Azure HDInsightの構成 Inboundの場合 Outboundの場合 Outbound選択時の通信について 留意点 検証 事前準備 HDInsightクラスター作成 プライベートDNSゾーン作成 「＜HDI…
Current 2024 のセッション「Change Data Capture & Kafka How Slack Transitioned to CDC with Debezium & Kafka Connect」を日本語でまとめます。 可能な限り正確に内容を拾えるようにリスニングに努めたつもりですが、もし誤りがあればご指摘ください。 Current とは？ Leveraging Iceberg Puffin Files to Accelerate Queries スピーカー セッションまとめ Viteess から Debezium, Kafka までのアーキテクチャ Debezium 運用…
グローバル市場調査レポート出版社であるGlobaI Info Researchがリリースされました「Hadoop-as-a-Service (HaaS)の世界市場2024年：メーカー、地域別、タイプ、用途別、2030年までの予測」レポートには、世界市場、主要地域、主要国におけるHadoop-as-a-Service (HaaS)の販売量と販売収益を調査しています。同時に、Hadoop-as-a-Service (HaaS)の世界主要メーカー（ブランド）、市場シェア、売上、価格、収入、および収入の競争状況にも焦点を当てています。日本語タイトル：Hadoop-as-a-Service (HaaS)…
こんにちは！ネットワールド西日本技術部の小川です。今回は、AWSのElastic Load Balancing (ELB)アクセスログを AWS Athena を利用してログを見やすく方法を紹介します。 S3バケットの作成 ELBのアクセスログ設定 S3 URI のコピー AWS Athena 設定 ログのフィルタリング方法 S3バケットの作成 アクセスログを保管するS3バケットを作成します。 S3バケット作成前に、コンソール画面がELB と同じリージョンであることを確認します。(※ELBは同じリージョンのS3バケットにアクセスログを出力します。) S3 を検索して、[S3]をクリックします。…
コインチェック株式会社（以下、コインチェック） データ基盤グループの岩瀬です。今回は、暗号資産交換業者であるコインチェックで実施したデータ基盤のリプレイス事例と、そこから連続するデータ基盤拡充の取り組み、データドリブンな組織への貢献についてご紹介します。 TL; DR 暗号資産取引所を運営するコインチェックでは、運用されていたデータ基盤を、限られた技術リソースと短期限でモダンにリプレイスし、結果 インフラコスト90%削減 を実現しました。 Treasure Data で構築されていたデータ基盤の移行先として Google Cloud を選定し、3ヶ月で既存と同等のシステムを構築 して並列運用を…