BigTable

Эта статья содержит незавершённый перевод с иностранного языка. Вы можете помочь проекту, переведя её до конца.

BigTable — проприетарная высокопроизводительная база данных, построенная на основе Google File System (GFS), Chubby Lock Service и некоторых других продуктах Google. В настоящий момент не распространяется и не используется за пределами Google, хотя Google предлагает использовать её как часть Google App Engine.

История создания

Работа над BigTable была начата в 2004 году^[1] и сейчас СУБД используется в различного рода приложениях Google, таких как MapReduce, которое часто используется для создания и модификации данных хранящихся в BigTable^[2], Google Reader,^[3] Google Maps,^[4] Google Book Search, Search_History, Google Earth, Blogger.com, Google Code hosting, Orkut^[4] и YouTube^[5]. Причины, побудившие Google к созданию собственной базы данных — масштабируемость и больший контроль над производительностью.^[6]

Другие реализации

Открытое ПО

• HBase — система написана на Java, добавляет функциональность, аналогичную BigTable, в ядро Hadoop.^[7]
• Hypertable — система предназначена для управления хранением данных и обработки информации в больших кластерах серверов.^[8]
• Apache Accumulo — клон Bigtable созданный в Агентстве национальной безопасности США.
• Apache Cassandra — основанная на модели данных BigTable распределённая система хранения данных Facebook.
• Project Voldemort — распределённая система хранения данных используемая LinkedIn.
• Neptune (сайт больше не поддерживается) — система написана на Java, использует компоненты Hadoop: ZooKeeper и HDFS.
• KDI — клон BigTable созданный в Kosmix.

Google Fusion Tables

• Google Fusion Tables была выпущена 9 июня 2009 года как экспериментальная система для управления данными в облаке.^[9][10]

См. также

• MapReduce
• Hadoop
• Amazon SimpleDB
• Большие Данные

Ссылки

• Bigtable: A Distributed Storage System for Structured Data -(official paper; PDF)
• BigTable: A Distributed Structured Storage System (video)
  • more video
  • Google’s BigTable -(notes on the official presentation)
• «How Google Works»
• Is the Relational Database Doomed ?

Примечания

1. ↑ «First an overview. BigTable has been in development since early 2004 and has been in active use for about eight months (about February 2005).» Google’s BigTable
2. ↑ «Bigtable can be used with MapReduce, a framework for running large-scale parallel computations developed at Google. We have written a set of wrappers that allow a Bigtable to be used both as an input source and as an output target for MapReduce job». pg 3 of «Bigtable: A Distributed Storage System for Structured Data», 2006
3. ↑ «Reader is using Google’s BigTable in order to create a haven for what is likely to be a massive trove of items.» Official Google Reader blog.
4. ↑ ^{1 2} «There are currently around 100 cells for services such as Print, Search History, Maps, and Orkut.» Google’s BigTable
5. ↑ «Their new solution for thumbnails is to use Google’s BigTable, which provides high performance for a large number of rows, fault tolerance, caching, etc. This is a nice (and rare?) example of actual synergy in an acquisition.» YouTube Scalability Talk
6. ↑ «We have described Bigtable, a distributed system for storing structured data at Google….Our users like the performance and high availability provided by the Bigtable implementation, and that they can scale the capacity of their clusters by simply adding more machines to the system as their resource demands change over time…Finally, we have found that there are significant advantages to building our own storage solution at Google. We have gotten a substantial amount of flexibility from designing our own data model for Bigtable.» from the Conclusion of «Bigtable: A Distributed Storage System for Structured Data», 2006
7. ↑ Hadoop CoreHBase — Hadoop Wiki, Background section
8. ↑ About Hypertable
9. ↑ Google Fusion Tables
10. ↑ Google Fusion Tables — Research Blog