「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全809件中 1 - 15件目
MySQL のテーブル構成を Liam ERD で可視化してみた
2025/06/17
ブックマーク
目次 はじめに Liam ERD とは 主な特徴 サポート状況 導入 手順 1. Liam ERD のビルドをさせるための Dockerfile を用意する 2. Docker Compose ファイルを用意する 3. テーブル構成を出力するためのコマンドを用意する 4. テーブル構成を出力する 使い勝手 まとめ 最後に はじめに こんにちは、開発本部開発1部トモニテグループのエンジニアの rymiyamoto です。 プロダクトを開発している
BigQueryからCloud StorageのCSVを読み込む際に日付列がUnable to parse
2025/06/17
ブックマーク
G-gen の杉村です。BigQuery では、Cloud Storage 上の CSV 形式や JSON 形式のファイルをテーブルに読み込ん（ロード）だり、外部テーブル定義によって直接クエリすることができます。日付を含むファイルをロードしたりクエリしようとした際に発生したエラーについて、対処法を解説します。 前提 事象 1. LOAD の際のエラー 2. 外部テーブルへのクエリの際のエラー 原因 対処法 1
BigQuery Data Transfer Serviceでイベントドリブンにデータを取り込む方法
2025/06/16
ブックマーク
G-genの福井です。BigQuery Data Transfer Service のイベントドリブン機能の設定手順を紹介します。 イベントドリブン転送の概要 BigQuery Data Transfer Service とは ユースケース アーキテクチャ 制限事項 料金 事前準備 API の有効化 サービスアカウントの作成とロールを付与 設定手順 データの格納先をCloud Storageに作成 データの転送先をBigQueryに作成 BigQuery Data Transfer Serviceで転送構成
メルペイインターンで機能の改修・設計からLLM AgentベースのSlack Bot開発まで色々やった話
2025/06/13
ブックマーク
はじめに こんにちは！メルペイのBalanceチームの中にあるSettlementチームでインターンをしていました、somaです。 この記事は、 Merpay ＆ Mercoin Tech Openness Month 2025 の10日目の記事です。 本記事では、インターンでやったことやその感想などを書いていこうと思います。 チームについて Settlementチームは、主にメルペイの加盟店さまの売り上げを集計し、振り込みの指示を行う
Application Integration で FTP サーバから BigQuery への連携を構築してみた
2025/06/13
ブックマーク
はじめに こんにちは、クラウドエースのベアです。 今回は Application Integration を使用して FTP サーバーから CSV ファイルをダウンロードし、Cloud Storage を経由して BigQuery に格納するデータ連携を行いたいと思います。 Application Integration について Application Integration とは、Google Cloud が提供する iPaaS (Integration Platform as a Service) で様々なアプリケーションやサービスを連携させ、
Fivetranを使用して、メールから送られてくるデータをBigQueryに格納してみた
2025/06/10
ブックマーク
こんにちは、SCSKの齋藤です。 本記事では、クラウド型データ連携サービスであるFivetranを活用し、BigQueryに効率的にデータを格納する方法について解説します。データエンジニアリングの知識がなくても、Fivetranを使えば、簡単にデータ連携パイプラインを構築することができます。 Fivetranとは Fivetran（ファイブトラン）は、クラウドベースのデータ連携（ETL/ELT）パイプ
Professional Cloud Database Engineer 認定試験範囲の解説
2025/06/09
ブックマーク
こんにちは。クラウドエース株式会社で Google Cloud 認定トレーナーをしている廣瀬 隆博です。 みなさんは夏休みの宿題が「油断していたら期限ギリギリだった」ということはありませんか。 私は先日、かなり観たかったバンドの来日公演チケットが発売されるタイミングを見逃してしまい、気づいたら完売していたということがありました。 本当に悔しくて、その日は
【Google Cloud】Generative AI Leader 受験前レポート
2025/06/09
ブックマーク
こんにちは。SCSKの山口です。 今回は、Google Cloud認定資格の受験レポート その①です。 はじめに 先日、Google Cloudの認定資格として、下記の認定資格が追加されました。 ・ Generative AI Leader 最近立て続けに認定資格が増えていますが、ついに生成AI関連の資格が追加されました。 せっかく受験するので、今回も [受験前] ・対策内容 ・抑えておく要点 [受験後] ・合否 ・出題
Pub/SubのSingle Message Transforms (SMTs) を使ってみた
2025/06/05
ブックマーク
G-gen の佐々木です。当記事では Pub/Sub の Single Message Transforms（SMTs） 機能によるメッセージの変換処理について解説します。 前提知識 : Pub/Sub とは Single Message Transforms（SMTs）とは SMTs の基本 SMTs のユースケース UDF による定義 SMTs の注意事項 当記事の構成 宛先 BigQuery テーブルの作成 SMTs を設定した Pub/Sub トピックの作成 SMTs を設定した Pub/Sub サブスクリプションの作成 user
メルペイにおけるAI活用の取り組み
2025/06/02
ブックマーク
はじめに こんにちは。メルペイVPoEの @keigow です。 この記事は、 Merpay & Mercoin Tech Openness Month 2025 の初日の記事です。 これまでもメルペイ及びメルカリグループでは、社内向けChatGPTとも言える Ellie の取り組みや、LLMをプロダクトや業務効率化に活かすためのハッカソンイベント ぐげん会議 の開催、プロダクトへのLLM利用も含め、AI/LLMの活用を推進してきました。 AI/LLM
【Google Cloud】BigQuery の外部テーブル機能
2025/06/02
ブックマーク
こんにちは。SCSKの山口です。 今回はBigQuery の外部テーブル機能についてのブログです。 BigQuery の外部テーブルとは？ 概要 外部テーブル機能は、簡単に言うと、Google Cloud Storage (GCS) や Google ドライブなどの 外部データソースに保存されているデータを、BigQuery のテーブルであるかのように直接クエリできる機能 です。 実際のデータは BigQuery の管理下に置かず、外部のス
【Google Cloud】BigQueryのビュー機能まとめ
2025/06/02
ブックマーク
こんにちは。SCSKの山口です。 BigQueryのビュー機能、皆さん使いこなせていますか？？？ BigQueryは優れた処理能力と柔軟性を持ち、大量のデータ分析を効率的に使用できるDWHサービスです。 そんな BigQuery をさらに便利にする機能の一つが 「ビュー (View)」 です。ビューは、データベースに存在する仮想的なテーブルのように振る舞いますが、 実際にはデータを物理的に保
2025年5月のイチオシGoogle Cloudアップデート
2025/06/02
ブックマーク
G-gen の杉村です。2025年5月のイチオシ Google Cloud（旧称 GCP）アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに Vertex AI Search が値下げ Gemini 1.5 Pro/Flash の廃止日に注意 Gemini API（Vertex AI）でグローバルエンドポイントが利用可能に Gemini API（Vertex AI）で Elasticsearch を使ったグラウンディング Cloud Composer 1（Airflow 2）か
Google Cloud Data ＆ AI Summit ’25 Spring 参加レポート
2025/05/30
ブックマーク
こんにちは。SCSKの松渕です。 Google Cloud Data & AI Summit ’25 Springに参加してきたので、イベントの内容と感想を投稿します。 セッションはピックアップしてお届けいたします！ Google Cloud Data & AI Summit ’25 Springとは このイベントは、Google Cloudが主催するデータ分析と人工知能に関するイベントです。最新のGoogle CloudのデータおよびAIテクノロジーの発表、成功事例
VPC ネットワーク徹底解説！Google Cloudの「Private 3兄弟」
2025/05/29
ブックマーク
はじめに クラウドエースの梶田、小貫です。 セキュリティの観点からリソースをなるべく外部に晒すのは避けたいですよね。Google Cloud では、リソースに外部 IP アドレスを付与せずにサービス接続する「プライベート接続」という機能があります。 本記事では、その主要な方法である Private Google Access（PGA）、 Private Service Access（PSA）、 Private Service Connect（PSC）、通称「Pri