Timeline of information theory (original) (raw)

About DBpedia

A timeline of events related to information theory, quantum information theory and statistical physics, data compression, error correcting codes and related subjects. * 1872 – Ludwig Boltzmann presents his H-theorem, and with it the formula Σpi log pi for the entropy of a single gas particle * 1878 – J. Willard Gibbs defines the Gibbs entropy: the probabilities in the entropy formula are now taken as probabilities of the state of the whole system * 1924 – Harry Nyquist discusses quantifying "intelligence" and the speed at which it can be transmitted by a communication system * 1927 – John von Neumann defines the von Neumann entropy, extending the Gibbs entropy to quantum mechanics * 1928 – Ralph Hartley introduces Hartley information as the logarithm of the number of possible

thumbnail

Property Value
dbo:abstract Questa voce contiene una cronologia di eventi legati alla teoria dell'informazione, alla informazione quantistica, alla compressione dei dati, ai codici di correzione degli errori e argomenti correlati. * 1872 – Ludwig Boltzmann presenta il suo , e con esso la formula Σpi log pi per l'entropia di una singola particella di gas. * 1878 – J. Willard Gibbs definisce l'entropia di Gibbs: le probabilità nella formula dell'entropia sono assunte ora come probabilità dello stato dell'intero sistema. * 1924 – Harry Nyquist discute la quantificazione dell'"informazione" e la velocità alla quale essa può essere trasmessa da un sistema di comunicazione. * 1927 – John von Neumann definisce l', estendendo l'entropia di Gibbs alla meccanica quantistica. * 1928 – Ralph Hartley introduce l' come il logaritmo del numero dei possibili messaggi, con l'informazione che è comunicata quando il ricevente può distinguere una sequenza di simboli da una qualsiasi altra (indipendentemente da qualsiasi significato associato). * 1929 – Leó Szilárd analizza il diavoletto di Maxwell, mostrando come un può talvolta trasformare l'informazione nell'estrazione di lavoro utile. * 1940 – Alan Turing introduce il come misura delle informazioni dedotte sulle impostazioni del cifratore tedesco Enigma mediante il processo di . * 1944 – La teoria dell'informazione di Claude Shannon è sostanzialmente completa. * 1947 – Richard W. Hamming inventa i codici di Hamming per la rilevazione e correzione d'errore. Per ragioni di brevetto, il risultato non è pubblicato fino al 1950. * 1948 – Claude E. Shannon pubblica Una teoria matematica della comunicazione. * 1949 – Claude E. Shannon pubblica La comunicazione in presenza di rumore – Teorema del campionamento di Nyquist-Shannon e . * 1949 – La teoria della comunicazione nei sistemi crittografici di Claude E. Shannon è declassificata. * 1949 – Robert M. Fano pubblica Transmission of Information. M.I.T. Press, Cambridge, Mass. – Codifica di Shannon-Fano. * 1949 – Leon G. Kraft scopre la disuguaglianza di Kraft, che mostra i limiti dei codici prefissi. * 1949 – introduce i per la correzione degli errori inoltrati. * 1951 – e introducono la . * 1951 – David A. Huffman inventa la codifica di Huffman, un metodo per trovare codici prefissi ottimali per la compressione dati lossless. * 1953 – e escogitano l', una procedura per decidere se un determinato è univocamente decodificabile. * 1954 – e propongono i . * 1955 – Peter Elias introduce i codici convoluzionali. * 1957 – discute per la prima volta i codici di ridondanza ciclica. * 1959 – , e indipendentemente l'anno successivo Raj Chandra Bose e , scoprono i . * 1960 – e Gustave Solomon propongono i codici di Reed-Solomon. * 1962 – propone i ; sono inutilizzati per 30 anni a causa di limitazioni tecniche. * 1965 – discute i . * 1967 – Andrea Viterbi inventa l'algoritmo di Viterbi, rendendo praticabile la decodifica dei codici convoluzionali. * 1968 – Elwyn Berlekamp inventa l'; la sua applicazione alla decodifica dei codici BCH e di Reed-Solomon è messa in evidenza da l'anno seguente. * 1968 – Chris Wallace e David M. Boulton pubblicano il primo di molti studi sull'inferenza statistica e induttiva della (minimum message length, MML). * 1970 – introduce i . * 1972 – propone i , un miglioramento dei codici di Reed-Solomon. * 1973 – e scoprono e provano i limiti della per la codifica della sorgente distribuita. * 1976 – presenta il primo studio sulla modulazione con codifica a griglia (Trellis Coded Modulation, TCM); un'esposizione più dettagliata nel 1982 porta a un innalzamento delle velocità POTS dei modem analogici da 9,6 kbit/s a 33,6 kbit/s. * 1976 – R. Pasco e sviluppano tecniche efficaci per la codifica aritmetica. * 1977 – Abraham Lempel e Jacob Ziv sviluppano la compressione di Lempel-Ziv (LZ77). * 1989 – Phil Katz pubblica il formato .zip che include DEFLATE (LZ77 + codifica di Huffman), destinato a diventare il più utilizzato contenitore archivio e algoritmo di compressione lossless (senza perdita di dati). * 1993 – Claude Berrou, Alain Glavieux e introducono i codici Turbo. * 1994 – e David Wheeler pubblicano la trasformata di Burrows-Wheeler, che doveva in seguito trovare uso in bzip2. * 1995 – conia il termine qubit e prova il . (it) A timeline of events related to information theory, quantum information theory and statistical physics, data compression, error correcting codes and related subjects. * 1872 – Ludwig Boltzmann presents his H-theorem, and with it the formula Σpi log pi for the entropy of a single gas particle * 1878 – J. Willard Gibbs defines the Gibbs entropy: the probabilities in the entropy formula are now taken as probabilities of the state of the whole system * 1924 – Harry Nyquist discusses quantifying "intelligence" and the speed at which it can be transmitted by a communication system * 1927 – John von Neumann defines the von Neumann entropy, extending the Gibbs entropy to quantum mechanics * 1928 – Ralph Hartley introduces Hartley information as the logarithm of the number of possible messages, with information being communicated when the receiver can distinguish one sequence of symbols from any other (regardless of any associated meaning) * 1929 – Leó Szilárd analyses Maxwell's Demon, showing how a Szilard engine can sometimes transform information into the extraction of useful work * 1940 – Alan Turing introduces the deciban as a measure of information inferred about the German Enigma machine cypher settings by the Banburismus process * 1944 – Claude Shannon's theory of information is substantially complete * 1947 – Richard W. Hamming invents Hamming codes for error detection and correction (to protect patent rights, the result is not published until 1950) * 1948 – Claude E. Shannon publishes A Mathematical Theory of Communication * 1949 – Claude E. Shannon publishes Communication in the Presence of Noise – Nyquist–Shannon sampling theorem and Shannon–Hartley law * 1949 – Claude E. Shannon's Communication Theory of Secrecy Systems is declassified * 1949 – Robert M. Fano publishes Transmission of Information. M.I.T. Press, Cambridge, Massachusetts – Shannon–Fano coding * 1949 – Leon G. Kraft discovers Kraft's inequality, which shows the limits of prefix codes * 1949 – Marcel J. E. Golay introduces Golay codes for forward error correction * 1951 – Solomon Kullback and Richard Leibler introduce the Kullback–Leibler divergence * 1951 – David A. Huffman invents Huffman encoding, a method of finding optimal prefix codes for lossless data compression * 1953 – and George W. Patterson devise the Sardinas–Patterson algorithm, a procedure to decide whether a given variable-length code is uniquely decodable * 1954 – Irving S. Reed and David E. Muller propose Reed–Muller codes * 1955 – Peter Elias introduces convolutional codes * 1957 – Eugene Prange first discusses cyclic codes * 1959 – Alexis Hocquenghem, and independently the next year Raj Chandra Bose and Dwijendra Kumar Ray-Chaudhuri, discover BCH codes * 1960 – Irving S. Reed and Gustave Solomon propose Reed–Solomon codes * 1962 – Robert G. Gallager proposes low-density parity-check codes; they are unused for 30 years due to technical limitations * 1965 – Dave Forney discusses concatenated codes * 1966 – Fumitada Itakura (Nagoya University) and Shuzo Saito (Nippon Telegraph and Telephone) develop linear predictive coding (LPC), a form of speech coding * 1967 – Andrew Viterbi reveals the Viterbi algorithm, making decoding of convolutional codes practicable * 1968 – Elwyn Berlekamp invents the Berlekamp–Massey algorithm; its application to decoding BCH and Reed–Solomon codes is pointed out by James L. Massey the following year * 1968 – Chris Wallace and David M. Boulton publish the first of many papers on Minimum Message Length (MML) statistical and inductive inference * 1970 – Valerii Denisovich Goppa introduces Goppa codes * 1972 – proposes Justesen codes, an improvement of Reed–Solomon codes * 1972 – Nasir Ahmed proposes the discrete cosine transform (DCT), which he develops with T. Natarajan and K. R. Rao in 1973; the DCT later became the most widely used lossy compression algorithm, the basis for multimedia formats such as JPEG, MPEG and MP3 * 1973 – David Slepian and Jack Wolf discover and prove the Slepian–Wolf coding limits for distributed source coding * 1976 – Gottfried Ungerboeck gives the first paper on trellis modulation; a more detailed exposition in 1982 leads to a raising of analogue modem POTS speeds from 9.6 kbit/s to 33.6 kbit/s * 1976 – Richard Pasco and Jorma J. Rissanen develop effective arithmetic coding techniques * 1977 – Abraham Lempel and Jacob Ziv develop Lempel–Ziv compression (LZ77) * 1989 – Phil Katz publishes the .zip format including DEFLATE (LZ77 + Huffman coding); later to become the most widely used archive container * 1993 – Claude Berrou, Alain Glavieux and Punya Thitimajshima introduce Turbo codes * 1994 – Michael Burrows and David Wheeler publish the Burrows–Wheeler transform, later to find use in bzip2 * 1995 – Benjamin Schumacher coins the term qubit and proves the quantum noiseless coding theorem * 2003 – David J. C. MacKay shows the connection between information theory, inference and machine learning in his book. * 2006 – first Asymmetric numeral systems entropy coding: since 2014 popular replacement of Huffman and arithmetic coding in compressors like Facebook Zstandard, Apple LZFSE, CRAM or JPEG XL * 2008 – Erdal Arıkan introduces polar codes, the first practical construction of codes that achieves capacity for a wide array of channels (en) Хронология событий, связанных с теорией информации, сжатием данных, кодами коррекции ошибок и смежных дисциплин: * 1872 — Людвиг Больцман представляет свою H-теорему, а вместе с этим формулу Σpi log pi для энтропии одной частицы газа. * 1878 — Джозайя Уиллард Гиббс, определяет энтропию Гиббса: вероятности в формуле энтропии теперь взяты как вероятности состояния целой системы. * 1924 — Гарри Найквист рассуждает о квантификации «Интеллекта» и скорости, на которой это может быть передано системой коммуникации. * 1927 — Джон фон Нейман определяет , расширяя Гиббсовскую энтропию в квантовой механике. * 1928 — Ральф Хартли представляет формулу Хартли как логарифм числа возможных сообщений, с информацией, передаваемой, когда приёмник (получатель, ресивер) может отличить одну последовательность символов от любой другой (независимо от любого связанного значения). * 1929 — Лео Силард анализирует демона Максвелла, показывают, как двигатель Szilard может иногда преобразовывать информацию в извлечение полезной работы. * 1940 — Алан Тьюринг представляет deciban как единицу измерения информации в немецкой машине Энигма с настройками, зашифрованными процессом Banburismus. * 1944 — теория информации Клода Шеннона в основном завершена. * 1947 — Ричард Хемминг изобретает Код Хемминга для обнаружения ошибок и их исправления, но не публикует их до 1950 года. * 1948 — Клод Шеннон публикует Математическую теорию связи * 1949 — Клод Шеннон публикует Передачу Информации в виде шумов, в которой описаны Теорема отсчётов и Теорема Шеннона — Хартли. * 1949 — Рассекречена Теория связи в секретных системах Клода Шеннона. * 1949 — Роберт Фано опубликовал отчет, в котором независимо от Клода Шеннона описан Алгоритм Шеннона — Фано. * 1949 — опубликовано Неравенство Крафта — Макмиллана. * 1949 — Марсель Голей вводит коды Голея для исправления ошибок методом упреждения. * 1950 — Ричард Хемминг публикует коды Хемминга для исправления ошибок методом упреждения. * 1951 — Соломон Кульбак и вводят понятие расстояния Кульбака-Лейблера. * 1951 — Дэвид Хаффман изобретает кодирование Хаффмана, метод нахождения оптимальных префиксных кодов для сжатия данных без потерь. * 1953 — опубликован . * 1954 — и вводит коды Рида-Мюллера. * 1955 — вводит свёрточные коды. * 1957 — первый обсуждает циклический избыточный код. * 1959 — , и самостоятельно в следующем году и , представляют коды Боуза-Чоудхури-Хоквингема (БЧХ-коды). * 1960 — и вводят коды Рида-Соломона. * 1962 — Роберт Галлагер предлагает код с малой плотностью проверок на чётность; их не использовали в течение 30 лет из-за технических ограничений. * 1966 — опубликована статья . * 1967 — Эндрю Витерби открывает алгоритм Витерби, делающий возможным декодирование свёрточных кодов. * 1968 — Элвин Берлекэмп изобретает алгоритм Берлекэмпа — Мэсси; его применение к расшифровке БЧХ-кодов и кода Рида-Соломона, указанный Джеймсом Мэсси в последующем году. * 1968 — и Дэвид М. Бутон издают первый из многих докладов о Сообщениях минимальной длины (СМД) — их статистический и индуктивный вывод. * 1972 — опубликована статья о . * 1973 — и открывают и доказывают , кодирующего пределы распределённого источника кодирования. * 1976 — публикует первую статью о Треллис-модуляции. * 1976 — Йорма Риссанен разрабатывает и позднее патентует арифметическое кодирование для IBM. * 1977 — Абрахам Лемпель и Яаков Зив разрабатывают алгоритм сжатия Лемпеля-Зива (LZ77) * 1982 — публикует более подробное описание Треллис-модуляции, что приводит к увеличению скорости аналогового модема старой обычной телефонной службы от 9.6 кбит/сек до 36 кбит/сек. * 1989 — Фил Кац создаёт .zip формат, включая формат сжатия DEFLATE (LZ77 + Huffman кодирование); позже это становится наиболее широко используемым алгоритмом сжатия без потерь. * 1993 — , и вводят понятие Турбо-кодов. * 1994 — и публикуют теорию преобразования Барроуза-Уилера, которая далее найдет своё применение в bzip2. * 1995 — предложил термин Кубит. * 1998 — предложен . * 2001 — описан алгоритм . * 2008 — предложил Полярные коды. (ru)
dbo:thumbnail wiki-commons:Special:FilePath/Red_pog.svg?width=300
dbo:wikiPageID 3475938 (xsd:integer)
dbo:wikiPageLength 8720 (xsd:nonNegativeInteger)
dbo:wikiPageRevisionID 1082231999 (xsd:integer)
dbo:wikiPageWikiLink dbr:Quantum_information_theory dbr:Qubit dbr:Dave_Forney dbr:David_A._Huffman dbr:David_E._Muller dbr:David_J._C._MacKay dbr:David_Slepian dbr:David_Wheeler_(computer_scientist) dbr:John_von_Neumann dbr:Peter_Elias dbr:Richard_Leibler dbr:Robert_G._Gallager dbr:Cyclic_code dbr:Von_Neumann_entropy dbr:Maxwell's_Demon dbr:Low-density_parity-check_code dbr:Claude_Shannon dbr:Alexis_Hocquenghem dbr:Elwyn_Berlekamp dbr:Enigma_machine dbr:Goppa_code dbr:N._Ahmed dbr:Nagoya_University dbr:Convolutional_code dbr:Erdal_Arıkan dbc:Science_timelines dbr:Andrew_Viterbi dbr:Arithmetic_coding dbr:Benjamin_Schumacher dbr:Berlekamp–Massey_algorithm dbr:Ludwig_Boltzmann dbr:MP3 dbr:MPEG dbr:Communication_Theory_of_Secrecy_Systems dbr:ZIP_(file_format) dbr:Zstandard dbr:Fumitada_Itakura dbr:Gibbs_entropy dbr:Viterbi_algorithm dbr:BCH_code dbr:Bzip2 dbr:Data_compression dbr:H-theorem dbr:Justesen_code dbr:Linear_predictive_coding dbr:Punya_Thitimajshima dbr:Abraham_Lempel dbr:Alan_Turing dbc:Information_theory dbr:Alain_Glavieux dbr:DEFLATE dbr:Error_correcting_code dbr:Banburismus dbr:Nippon_Telegraph_and_Telephone dbr:Forward_error_correction dbr:Gottfried_Ungerboeck dbr:Source_coding dbr:Marcel_J._E._Golay dbr:Gustave_Solomon dbr:Hamming_code dbr:Harry_Nyquist dbr:Asymmetric_numeral_systems dbr:Irving_S._Reed dbr:JPEG dbr:JPEG_XL dbr:Jacob_Ziv dbr:A_Mathematical_Theory_of_Communication dbr:K._R._Rao dbr:LZ77 dbr:LZFSE dbr:Trellis_modulation dbr:Turbo_code dbr:Discrete_cosine_transform dbr:Burrows–Wheeler_transform dbr:CRAM_(file_format) dbr:Phil_Katz dbr:Plain_old_telephone_service dbr:Polar_code_(coding_theory) dbr:Solomon_Kullback dbr:Speech_coding dbr:Claude_Berrou dbr:Huffman_coding dbr:Golay_code_(disambiguation) dbr:Information_theory dbr:Kullback–Leibler_divergence dbr:Michael_Burrows dbr:Minimum_Message_Length dbr:Nyquist–Shannon_sampling_theorem dbr:Raj_Chandra_Bose dbr:Ralph_Hartley dbr:Reed–Muller_code dbr:Chris_Wallace_(computer_scientist) dbr:Lossy_compression dbr:Variable-length_code dbr:Kraft's_inequality dbr:Sardinas–Patterson_algorithm dbr:Eugene_Prange dbr:Shannon–Fano_coding dbr:Slepian–Wolf_coding dbr:Statistical_physics dbr:Leó_Szilárd dbr:Jorma_J._Rissanen dbr:J._Willard_Gibbs dbr:Valerii_Denisovich_Goppa dbr:Dwijendra_Kumar_Ray-Chaudhuri dbr:Huffman_encoding dbr:Reed–Solomon_code dbr:Hartley_information dbr:Szilard_engine dbr:Claude_E._Shannon dbr:Lossless dbr:James_Lee_Massey dbr:Concatenated_code dbr:Richard_W._Hamming dbr:Deciban dbr:Jack_Keil_Wolf dbr:Prefix_codes dbr:Shannon–Hartley_law dbr:Robert_M._Fano dbr:File:Red_pog.svg dbr:August_Albert_Sardinas dbr:Jørn_Justesen dbr:File:Green_pog.svg dbr:File:Orange_pog.svg dbr:File:Purple_pog.svg
dbp:wikiPageUsesTemplate dbt:Reflist dbt:Short_description
dcterms:subject dbc:Science_timelines dbc:Information_theory
rdf:type yago:WikicatScienceTimelines yago:Abstraction100002137 yago:Chronology106503224 yago:Communication100033020 yago:Evidence106643408 yago:Indication106797169 yago:Record106647206 yago:WrittenRecord106502378 yago:Timeline106504965
rdfs:comment A timeline of events related to information theory, quantum information theory and statistical physics, data compression, error correcting codes and related subjects. * 1872 – Ludwig Boltzmann presents his H-theorem, and with it the formula Σpi log pi for the entropy of a single gas particle * 1878 – J. Willard Gibbs defines the Gibbs entropy: the probabilities in the entropy formula are now taken as probabilities of the state of the whole system * 1924 – Harry Nyquist discusses quantifying "intelligence" and the speed at which it can be transmitted by a communication system * 1927 – John von Neumann defines the von Neumann entropy, extending the Gibbs entropy to quantum mechanics * 1928 – Ralph Hartley introduces Hartley information as the logarithm of the number of possible (en) Questa voce contiene una cronologia di eventi legati alla teoria dell'informazione, alla informazione quantistica, alla compressione dei dati, ai codici di correzione degli errori e argomenti correlati. (it) Хронология событий, связанных с теорией информации, сжатием данных, кодами коррекции ошибок и смежных дисциплин: * 1872 — Людвиг Больцман представляет свою H-теорему, а вместе с этим формулу Σpi log pi для энтропии одной частицы газа. * 1878 — Джозайя Уиллард Гиббс, определяет энтропию Гиббса: вероятности в формуле энтропии теперь взяты как вероятности состояния целой системы. * 1924 — Гарри Найквист рассуждает о квантификации «Интеллекта» и скорости, на которой это может быть передано системой коммуникации. * 1927 — Джон фон Нейман определяет , расширяя Гиббсовскую энтропию в квантовой механике. * 1928 — Ральф Хартли представляет формулу Хартли как логарифм числа возможных сообщений, с информацией, передаваемой, когда приёмник (получатель, ресивер) может отличить одну последов (ru)
rdfs:label Cronologia della teoria dell'informazione (it) Хронология развития теории информации (ru) Timeline of information theory (en)
owl:sameAs yago-res:Timeline of information theory wikidata:Timeline of information theory dbpedia-it:Timeline of information theory dbpedia-ru:Timeline of information theory https://global.dbpedia.org/id/3R5FQ
prov:wasDerivedFrom wikipedia-en:Timeline_of_information_theory?oldid=1082231999&ns=0
foaf:depiction wiki-commons:Special:FilePath/Green_pog.svg wiki-commons:Special:FilePath/Orange_pog.svg wiki-commons:Special:FilePath/Red_pog.svg wiki-commons:Special:FilePath/Purple_pog.svg
foaf:isPrimaryTopicOf wikipedia-en:Timeline_of_information_theory
is dbo:wikiPageWikiLink of dbr:List_of_timelines dbr:Timeline_of_thermodynamics dbr:History_of_information_theory dbr:Coding_theory dbr:Information_theory dbr:Sardinas–Patterson_algorithm dbr:Slepian–Wolf_coding
is foaf:primaryTopic of wikipedia-en:Timeline_of_information_theory