Azure のデータの移動速度が向上

執筆者: Harish Kumar Agarwal (Sr. Program Manager, Azure Data Factory) このポストは、5 月 12 日に投稿された Data movement made faster in Azure の翻訳です。   Azure Data Factory では、各種データ ストアやエンドポイントへの接続の拡充 (現在利用可能なサービスはこちら) やさまざまなデータ形式への対応 (現在 Text、Avro、JSON に対応) のほかに、データの移動速度の向上にも積極的に取り組んでいます。今回、Azure Data Factory のスループットを増大させることで速度向上を実現しました。これにより、Azure Data Factory のコピー機能が以下のように強化されました。 Azure Blob Storage がオンプレミスのファイル システムや Azure Blob Storage から 1 TB のデータを取得するのにかかる時間が約 3 時間に (転送速度 100…


Azure SQL Data Warehouse の 2016 年 1 月の更新

このポストは、2 月 8 日に投稿された Azure SQL Data Warehouse: January 2016 Updates の翻訳です。 SQL Data Warehouse の 1 月の更新では、安定性と信頼性を向上させる機能強化が実装されました。 読み込み 外部テーブルに対して Polybase クエリを実行すると、場合によっては JVM のメモリ不足を示すエラー メッセージが表示されて失敗するという問題がありましたが、これが修正されました。この問題は、多数の日付/時刻データ型の値が含まれるフラット ファイルを読み込むときに発生することがあります。 一括読み込み処理の実行時間が非常に長くなる、あるいは処理が停止して最終的に失敗するという問題がありましたが、これが修正されました。この問題は特に、同時に実行されている読み込み処理の対象テーブルが同一だった場合に発生することがあります。これは、Azure Data Factory を使用して Azure SQL Data Warehouse にデータを読み込む場合に多いパターンです。 監視 sys.dm_pdw_exec_requests (英語) の動的管理ビューでセッションに関連付けられていない行が意図せず表示される問題がありましたが、これが修正されました。 安定性 Azure SQL DW サービス チームによって開始され、ユーザーの操作が関係していないアップグレードの処理中にデータ ウェアハウスのインスタンスが断続的に使用できなくなる問題がありましたが、これが修正されました。サービス チームは、全世界に存在するすべてのデータ ウェアハウスの正常性を監視し、サービスの正常性に関する問題を事前に検出して解決しています。この問題が修正されたことで、特定の問題の発生が防止されました。 ご意見をお寄せください 製品を改良して、皆様にとってより使いやすいものをご提供するためには、何よりも皆様のご協力が欠かせません。今後ともぜひフィードバックをお寄せください。機能のご要望は feedback.azure.com (英語) で受け付けています。また、ご不明な点がある場合やサンプルをお求めの場合は StackOverflow (英語)…


Azure SQL Data Warehouse: 2015 年 11 月の更新

このポストは、11 月 30 日に投稿された Azure SQL Data Warehouse: November 2015 Updates の翻訳です。 ここでは 11 月に行われた Azure SQL Data Warehouse の機能強化点についてお知らせします。前回の更新からさらに Data Auditing と Transparent Data Encryption が追加されました。 PolyBase 非リレーショナル データを処理する PolyBase に新機能が追加されました。 Azure Storage の BLOB からの読み取り、書き込み、Parquet ファイルのクエリを実行できるようになりました。 削除した列の詳細情報が取得できるようになりました。たとえば、読み込みに成功したものの、一部の列が削除された場合には、以下のようなメッセージが表示されます。   Query completed. Rows were rejected while reading from external source(s). 10 rows rejected from FactSalesExternal…


SQL Data Warehouse で Power BI を使用する

このポストは、11 月 12 日に投稿された Using Power BI with SQL Data Warehouse の翻訳です。 Power BI と SQL Data Warehouse を使用すると、テラバイト規模のスケールでも、リレーショナル データと非リレーショナル データの両方が含まれている場合でも、すばやく簡単にデータを視覚化することができます。 直接接続と呼ばれる Power BI のテクノロジでは、データを移動してから分析する代わりに、Power BI で実行する全操作を対象の T-SQL に変換してプロセスを簡素化します。このコードを SQL Data Warehouse 上で直接実行するため、そのコンピューティング能力と非常に強力なアーキテクチャを活用することができます。SQL Data Warehouse に接続する場合、Power BI は視覚化に必要な最低限のデータのみを移動すればよいのです。このとき、並列処理アーキテクチャとコンピューティング リソースのメリットが発揮され、ほぼすべての処理は SQL Data Warehouse 内で完結します。 Power BI は、PowerBI.com にアクセスするか、Azure ポータルの SQL Data Warehouse のメイン ページで [Open in…


Azure SQL Data Warehouse の 10 月の更新

このポストは、10 月 20 日に投稿された October update for Azure SQL Data Warehouse の翻訳です。 今回、Azure SQL Data Warehouse の機能強化が初めてリリースされました。この更新では、早期からご利用いただいた皆様のフィードバックのうち重要なものに対応しています。 データ エクスポートの並列化 今回のリリースでは、SQL Data Warehouse の完全な並列処理ローダーである PolyBase がさらに拡張され、インポートに加えてエクスポートも可能になりました。また、新たに CREATE EXTERNAL TABLE AS SELECT (CETAS) ステートメントがサポートされ、PolyBase を使用して SQL Data Warehouse から Azure Blob ストレージにデータをエクスポートできるようになりました。これにより、複数のファイルをインポートして処理を行い、その結果をエクスポートすることが可能です。 新しい CETAS ステートメントは現在の PolyBase を使用したデータの読み込みのパターンを踏襲し、資格情報、データ ソース、ファイル形式を作成または再利用してから外部テーブルの作成を行うため、使用が簡単です。たとえば、次のステートメントを使用してクエリの結果をエクスポートできます。 CREATE EXTERNAL TABLE Weblogs2014 WITH ( LOCATION='wasbs://mycontainer@test.blob.core.windows.net/', DATA_SOURCE=AzureStorage, FILE_FORMAT=TextFile…