Unicode

Exempel på Unicode-tecken

Latinskt alfabetiskt tecken "A" (U+0041).

Devanagari stavelse "Aum" (ॐ) (U+0950).

Kinesiskt tecken "yue" (月)(U+6708).

Unicode är en teckenkodningsstandard utformad för att underlätta bearbetning, överföring och visning av texter från många språk och tekniska discipliner, såväl som klassiska texter från döda språk . Termen Unicode kommer från de tre mål som eftersträvas: universalitet, enhetlighet och unikhet. ]

Unicode definierar varje tecken eller symbol med ett namn och en numerisk identifierare , kodpunkten . Den innehåller också annan information för korrekt användning av varje tecken, såsom skrivsystem, kategori, riktning, versaler och andra attribut. Unicode behandlar alfabetiska tecken, ideografiska tecken och symboler på samma sätt, vilket innebär att de kan blandas i samma text utan att använda märken eller kontrolltecken. ]

Denna standard underhålls av Unicode Technical Committee (UTC), integrerad i Unicode Consortium , av vilka företag som: Microsoft , Apple , Adobe , IBM , Oracle , SAP , Google eller Facebook , institutioner som Berkeley University , eller Indiens regering och enskilda utövare och forskare. Unicode-konsortiet upprätthåller en nära relation med ISO/IEC , med vilken man sedan 1991 har upprätthållit avtalet att synkronisera sina standarder som innehåller samma tecken och kodpunkter. ]

Skapandet av Unicode har varit ett ambitiöst projekt för att ersätta befintliga teckenkodningsscheman , av vilka många var kraftigt begränsade i storlek och inkompatibla med flerspråkiga miljöer. Unicode har blivit det mest omfattande och kompletta teckenkodningsschemat, och är det dominerande i internationaliseringen och den lokala anpassningen av datorprogramvara . Standarden har accepterats i ett stort antal nyare teknologier, såsom XML , Java och moderna operativsystem .

Den fullständiga beskrivningen av standarden och teckentabellerna finns på den officiella Unicode-webbplatsen. Den fullständiga referensen publiceras också i bokform varje gång en ny större version färdigställs. Den digitala versionen av denna bok är tillgänglig gratis. Revisioner och tillägg publiceras fristående.

Standardens omfattning

Unicode innehåller alla tecken som används idag. Version 15.0 innehåller 149 186 tecken från alfabet, ideografiska system och samlingar av symboler (matematiska, tekniska, musikaliska, ikoner...). Antalet växer med varje version. ]

Unicode inkluderar moderna skrivsystem som: Latin ; utdöda historiska skrifter, för akademiska ändamål, till exempel: kilskrift , och run . Bland de icke-alfabetiska karaktärerna som ingår i Unicode finns musikaliska och matematiska symboler, spelpjäser som dominobrickor, pilar, ikoner, etc.

Dessutom innehåller Unicode diakritiska tecken som oberoende tecken som kan kombineras med andra tecken och har fördefinierade versioner av de flesta bokstäver med diakritiska symboler som används idag, till exempel betonade vokaler på spanska.

Unicode är en standard i ständig utveckling och nya tecken läggs till hela tiden. Vissa alfabet, föreslagna av olika skäl, såsom det klingonska alfabetet, har förkastats . ]

Förhållande till andra standarder

Som redan nämnts är Unicode synkroniserad med ISO/IEC-standarden känd som UCS eller Universal Character Set. Ur teknisk synvinkel inkluderar eller är den kompatibel med tidigare kodningar som ASCII7 eller ISO 8859-1 , nationella standarder ANSI Z39.64, KS X 1001, JIS X 0208, JIS X 0212, JIS X 0213, GB 2312, GB 18030, HKSCS och CNS 11643 , särskilda kodningar från programvarutillverkare som Apple, Adobe, Microsoft, IBM, etc. Unicode reserverar också utrymme för programvarutillverkare som kan skapa tillägg för eget bruk. ]

Karaktärsrepertoar

Det grundläggande elementet i Unicode-standarden är tecknet . En karaktär anses vara den minsta delen av ett meningsfullt skriftsystem. Unicode-standarden kodar de väsentliga tecknen - grafem - genom att definiera dem abstrakt och överlåta den visuella representationen (storlek, dimension, teckensnitt eller stil) till programvara som hanterar det, såsom ordbehandlare eller webbläsare . Bokstäver, diakritiska tecken, skiljetecken, ideogram, stavelsetecken, kontrolltecken och andra symboler ingår. Tecken är grupperade i alfabet eller skriftsystem. Karaktärer från olika alfabet anses vara olika, även om de delar form och betydelse.

Tecken identifieras med ett nummer eller kodpunkt och deras namn eller beskrivning. När en kod har tilldelats ett tecken, sägs det tecknet vara kodat. Kodutrymmet har 1 114 112 möjliga positioner (0x10FFFF). Kodpunkter representeras med hexadecimal notation genom att lägga till prefixet U+. Det hexadecimala värdet är utfyllt med nollor upp till 4 hexadecimala siffror vid behov; om den är längre än 4 siffror läggs inga nollor till.

Teckentyper

Olika versioner av ångström- karaktären (föredragen version), som en diakritisk karaktär och som en bokstavssymbol.

Kodutrymmesblock innehåller punkter med följande information: ]

• Grafiska tecken: bokstäver, diakritiska tecken, siffror, skiljetecken, symboler och mellanslag.
• Formatera tecken: Osynliga tecken som påverkar behandlingen av närliggande text. Exempel: U+2028 radbrytning , U+2029 styckebrytning , U+00A0 hårt mellanslag osv.
• Kontrollkoder: 65 koder definierade för kompatibilitet med ISO/IEC 2022. De är tecknen mellan intervallen [U+0000,U+001F], U+007F och [U+0080..U+009F]. Att tolka dem är ansvaret för högre protokoll.
• Privata tecken: reserverade för icke-standardiserad användning av mjukvarutillverkare.
• Reserverade tecken: Koder reserverade för användning av Unicode. De är otilldelade positioner.
• Lägre eller högre surrogat: Unicode reserverar kodpunkterna från U+D800 till U+DFFF för användning som surrogatkoder i UTF-16 , i representationen av tilläggstecken.
• Icke-tecken: Dessa är koder permanent reserverade för internt bruk av Unicode. De två sista punkterna i varje plan U+FFFE och U+FFFF.

Sammansättning av karaktärer och sekvenser

Sammansättningen av tecknet "ñ". Det första är ett oberoende tecken, det andra ett n plus en kombinerbar tilde .

Unicode inkluderar en teckenbildande mekanism för att utöka repertoaren av stöd för befintliga symboler. Ett bastecken kompletteras med tecken: diakritiska tecken, skiljetecken eller ramar. Varje karaktärs typ och attribut definierar vilken roll de kan spela i en kombination. Av denna anledning kan det finnas flera alternativ som representerar samma karaktär. För enkel kompatibilitet med tidigare kodningar tillhandahålls förkomponerade tecken; i definitionen av dessa karaktärer anges vilka karaktärer som är inblandade i kompositionen.

En grupp av på varandra följande tecken, oavsett deras typ, bildar en sekvens. Om flera sekvenser representerar samma uppsättning väsentliga tecken, definierar standarden inte en av dem som "korrekt", utan betraktar dem som likvärdiga. För att identifiera dessa ekvivalenser definierar Unicode de kanoniska ekvivalens- och kompatibilitetsekvivalensmekanismerna baserat på att erhålla normaliserade former av strängarna som ska jämföras.

Enad kinesisk, koreansk och japansk repertoar

I Unicode-standarden kallas östasiatiska ideogram (i folkmun kallade "kinesiska tecken") för "han-ideogram". Dessa ideogram utvecklades i Kina och anpassades av närliggande kulturer för eget bruk. Japan , Korea och Vietnam utvecklade alla sina egna alfabetiska eller syllabiska system för användning i kombination med kinesiska symboler: hiragana och katakana (i Japan), hangul (i Korea) och yi (i Vietnam). Den naturliga utvecklingen av skriftsystem och de olika ögonblicken då karaktärer kommer in i olika kulturer har markanta skillnader i de ideogram som används. Unicode betraktar de olika versionerna av ideogrammen som varianter av samma abstrakta karaktär, det vill säga som ett resultat av tillämpningen av olika typsnitt i varje fall, och anser att de nationella varianterna tillhör samma skriftsystem. Den ursprungliga versionen av standarden utvecklades utifrån befintliga industristandarder i de berörda länderna.

Det organ som ansvarar för att utveckla karaktärsrepertoaren är Ideographic Rapporteur Group (IRG). IRG är en integrerad arbetsgrupp i ISO/IEC JTC1/SC2/WG2, inklusive Kina , Hongkong , Macao , Taipei Computer Association , Singapore , Japan , Sydkorea , Nordkorea , Vietnam och USA . ]

CJK-teckendatabasen heter Unihan och innehåller även hjälpinformation om betydelser, omvandlingar, data som krävs för att använda dem på de olika språken som använder dem. Blocken som beskriver denna repertoar visas nedan. IRG definierar karaktärerna för de sju enade grupperna; de följande två grupperna innehåller tecken för kompatibilitet med tidigare standarder.

Blockera	kodintervall	Kommentarer
CJK förenade ideogram	4E00-9FFF	Vanligt använda ideogram. Kodstorlek: 2 byte.
CJK Unified Ideograms - Extension A	3400-4DFF	Sällan använda ideogram. Kodstorlek: 2 byte.
CJK Unified Ideograms - Extension B	20000-2A6DF	Sällan använda och historiska ideogram.
CJK Unified Ideograms - Extension C	2A700-2B73F	Sällan använda och historiska ideogram.
CJK Unified Ideograms - Extension D	2B740-2B81F	Sällan använda och historiska ideogram.
CJK Unified Ideograms - Extension E	2B820-2CEAF	Sällan använda och historiska ideogram.
CJK Unified Ideograms - Extension F	2CEB0-2EBEF	Sällan använda och historiska ideogram.
kompatibilitetsideogram	F900-FAFF	Dubletter, enhetliga varianter och företagskaraktärer. Kodstorlek: 2 byte.
Tillägg för kompatibilitetsideogram	2F800-2FA1F	enhetliga varianter.

Ideografiska beskrivningssekvenser

Det medges att uppgiften att inkludera ideogram i standarden aldrig kommer att avslutas, främst på grund av att skapandet av nya ideogram fortsätter. För att fylla eventuella brister erbjuder Unicode en mekanism som tillåter representation av de saknade symbolerna som kallas "ideografiska beskrivningssekvenser". Den bygger på att i praktiken kan alla ideogram brytas ner i mindre bitar som i sin tur är ideogram. Även om representation av en symbol med hjälp av en sekvens är möjlig, specificerar standarden att närhelst en kodad version existerar, måste dess användning föredras. Det finns ingen metod för "kanonisk nedbrytning" av ideogram eller ekvivalensalgoritmer, så operationer på texten, som sökning eller sortering, kan misslyckas.

Unicode definierar 12 kontrolltecken för beskrivningen av ideogram som representerar olika möjligheter för rumslig kombination av andra tecken.

Element i Unicode-standarden

Designprinciper

Standarden utformades med följande syften:

• Universalitet : En repertoar som är tillräckligt bred för att rymma alla karaktärer som sannolikt förekommer i flerspråkigt textutbyte.
• Effektivitet : De genererade sekvenserna måste vara lätta att hantera.
• Ingen tvetydighet : En given kod representerar alltid samma tecken.

Teckendatabas

Den uppsättning tecken som kodas av Unicode är Unicode Character Database (UCD). Förutom namn och kodpunkt innehåller den mer information: alfabet som den tillhör, namn, klassificering, versaler, orientering och andra användningsformer, standardiserade varianter, kombinationsregler etc.

Formellt är databasen indelad i plan och dessa i sin tur i områden och block . Med undantag grupperas kodade tecken i kodutrymmet efter kategorier som alfabet eller skriftsystem, så att relaterade tecken återfinns nära varandra i kodningstabeller.

Planer

För enkelhetens skull har kodutrymmet delats upp i stora grupper som kallas plan . Varje plan innehåller maximalt 65 536 tecken. Givet en kodpunkt uttryckt i hexadecimal, bestämmer de sista 4 siffrorna positionen för tecknet i planet.

• Grundläggande flerspråkigt plan: BMP eller plan 0. Det innehåller de flesta av de moderna alfabeten, inklusive de vanligaste tecknen i CJK-systemet, andra historiska eller ovanliga tecken och 64 reserverade för privat bruk.
• Flerspråkig tilläggsplan: SMP eller Plan 1. Historiska alfabet av mindre användning och system för teknisk användning eller annan användning.
• Ideografiskt tilläggsplan: SIP eller plan 2. Det innehåller tecken i CJK-systemet som inte ingår i plan 0. De flesta är mycket sällsynta karaktärer eller karaktärer av historiskt intresse.
• Specialplan: SSP eller Plan 14. Område för kontrolltecken som inte har matats in i Plan 0.
• Planer för privat bruk: plan 15 och 16. Reserverade för privat bruk av mjukvarutillverkare.

Områden och block

De olika planerna är indelade i adresseringsområden baserat på de generella typer som de omfattar. Denna uppdelning är konventionell, inte reglerad och kan variera över tiden. Ytorna är i sin tur indelade i block. Blocken är normativt definierade och är konsekutiva intervall av kodutrymmet. Blocken används för att bilda de utskrivna teckentabellerna men bör inte tas som definitioner av meningsfulla grupper av tecken.

Informationsbehandling

Kodningsformulär

Unicode-kodpunkter identifieras av ett heltal. Beroende på dess arkitektur kommer en dator att använda enheter på 8, 16 eller 32 bitar för att representera dessa heltal. Unicodes kodningsformulär reglerar hur kodpunkter kommer att omvandlas till maskinövergripande enheter.

Unicode definierar tre former av kodning under namnet UTF (Unicode transformation format: Unicode transformation format): ]

• UTF-8 – Byte-orienterad kodning med symboler med variabel längd.
• UTF-16 – 16-bitars kodning med variabel längd optimerad för Basic Multilingual Plane (BMP) representation.
• UTF-32 : 32-bitars kodning med fast längd, och den enklaste av de tre.

Kodningsformulär är begränsade till att beskriva hur kodpunkter representeras i maskinläsbart format. Från de 3 identifierade formulären definieras 7 kodningsscheman.

Kodningsscheman

Kodningsscheman handlar om hur kodad information serialiseras. Säkerheten i informationsutbyte mellan heterogena system kräver implementering av system som gör det möjligt att bestämma den korrekta ordningen av bitar och bytes och som garanterar att rekonstruktionen av informationen är korrekt. En grundläggande skillnad mellan processorer är den ordning i vilken bytes är ordnade i 16-bitars och 32-bitars ord, vilket kallas endianness . Kodningsscheman måste säkerställa att slutet av en kommunikation vet hur den mottagna informationen ska tolkas. Från de 3 formerna av kodning definieras 7 scheman. Även om de delar namn, bör kodningsscheman och formulär inte förväxlas.

kodningsschema	Endianness	BOM stöds
UTF-8	Inte tillämpbar	Ja
UTF-16	Big Endian eller Little Endian	Ja
UTF-16BE	big-endian	Nej
UTF-16LE	liten endian	Nej
UTF-32	Big Endian eller Little Endian	Ja
UTF-32BE	big-endian	Nej
UTF-32LE	liten endian	Nej

Unicode definierar ett speciellt märke, Byte Order Mark (BOM ), i början av en fil eller en kommunikation för att göra byteordning explicit. När ett överordnat protokoll specificerar byteordningen, krävs inte flaggan och kan utelämnas, vilket resulterar i att ovan angivna scheman suffixeras med BE eller LE . I UTF-16- och UTF-32-scheman, som stöder BOM, om detta inte är specificerat antas byteordningen vara big-endian .

Kodningsenheten i UTF-8 är byten så du behöver ingen indikation på byteordningen. Standarden varken kräver eller rekommenderar användning av BOM, men stöder det som ett tecken på att texten är Unicode eller som ett resultat av konvertering från andra scheman.

Historik

Unicode-projektet började i slutet av 1987, efter diskussioner mellan Joe Becker, Lee Collins och Mark Davis (ingenjörer från Apple- och Xerox- företagen ). Som ett resultat av deras samarbete publicerades det första utkastet till Unicode i augusti 1988 under namnet Unicode88. I denna första version ansågs det att endast de tecken som behövs för modern användning skulle kodas, så 16-bitarskoder användes.

Under 1989 anslöt sig medarbetare från andra företag som Microsoft eller Sun Microsystems . Den 3 januari 1991 bildades Unicode Consortium och i oktober 1991 publicerades den första versionen av standarden. Den andra versionen, som redan inkluderade det han ideografiska skriptet , publicerades i juni 1992. Nedan finns en tabell med de olika versionerna av Unicode-standarden med deras viktigaste tillägg eller modifieringar.

Version	Datum	Offentliggörande	Tillhörande ISO/IEC 10646- utgåva	skrifterna	tecken
					#	Anmärkningsvärda tillägg
1.0	oktober 1991	ISBN 0-201-56788-1 (Vol. 1).		24	7161	Den initiala repertoaren täcker alfabeten: arabiska , armeniska , bengaliska , bopomofo , kyrilliska , devanagari , georgiska , grekiska/koptiska , gujarati , gurmukhi , hangul , hebreiska , hiragana , kannada , katakana , iya or , malaya , latin , lao , ugu , latin , thailändska och tibetanska . ]
1.0.1	juni 1992	ISBN 0-201-60845-6 (Vol.2).		25	28,359	Definierade den första uppsättningen av 20 902 förenade CJK- ideogram. ]
1.1	juni 1993		ISO/IEC 10646-1:1993	24	34 233	4 306 Hangul-tecken läggs till, fler till den ursprungliga uppsättningen på 2 350. Det tibetanska alfabetet tas bort. ]
2.0	juli 1996	ISBN 0-201-48345-9	ISO/IEC 10646-1:1993 med tillägg 5, 6 och 7	25	38 950	Tog bort den ursprungliga uppsättningen av hangul-tecken; en ny uppsättning med 11 172 hangul-tecken läggs till på en ny plats. Det tibetanska alfabetet återställs på en ny plats och med en annan teckenuppsättning. Systemet med subrogerade koder definieras och plan 15 och 16 med tecken skapas för privat bruk. ]
2.1	maj 1998		ISO/IEC 10646-1:1993 med tillägg 5, 6 och 7, och två tecken från tillägg 18	25	38,952	Eurosymbolen läggs till . ]
3.0	september 1999	ISBN 0-201-61633-5	ISO/IEC10646-1:2000	38	49 259	Cherokee ideogram . Etiopiska , Khmer , Mongoliska , Myanmar , Ogham , Runic , Sinhala , Syriac , Thaana , Unified Syllabary of Canadian Indians , och Yi , förutom punktskriftsmönster . ]
3.1	mars 2001		ISO/IEC10646-1:2000 ISO/IEC 10646-2:2001	41	94 205	Lade till deseret- , gotiska och etruskiska alfabet och symboler för modern notskrift , bysantinsk musik och 42 711 förenade CJK- ideogram . ]
3.2	mars 2002		ISO/IEC 10646-1:2000 med tillägg 1 ISO/IEC 10646-2:2001	Fyra fem	95 221	Lade till filippinska manus : Buhid , Hanunó'o , Tagalog och Tagbanwa . ]
4.0	april 2003	ISBN 0-321-18578-1	ISO/IEC 10646:2003	52	96 447	Lade till cypriotiska , Limbu , Linjära B , Osmanya , Shavian , Tai Le och Ugaritiska syllabaries , och I Ching hexagram . ]
4.1	mars 2005		ISO/IEC 10646:2003 med tillägg 1	59	97 720	Buginesiska , glagolitiska , Kharoshthi , New Tai Lue , Old Persian , Syloti Nagri och Nifinagh aggregat . Koptiskt är skilt från det grekiska alfabetet. Forntida grekiska symboler för musik och numrering. ]
5.0	juli 2006	ISBN 0-321-48091-0	ISO/IEC 10646:2003 med tillägg 1 och 2 och fyra tecken från tillägg 3	64	99 089	Aggregat: balinesiska , kilskrift , n'ko (Mandé), phags-pa och feniciska . ]
5.1	april 2008		ISO/IEC 10646:2003 plus tillägg 1, 2, 3 och 4	75	100 713	Lade till: Carian script , Cham , Kayah li , Lepcha script , Lycian alfabet , Lydian alfabet , Ol Chiki alfabet , Rejang , Saurashtra , Sundanese och Vai syllabary . Hieroglyferna på Phaistos - skivan , mahjong och dominobrickor . Viktiga tillägg till burmesiska , amanuensbokstäver och förkortningar som används i medeltida manuskript , och tillägget av versalen ß . ]
5.2	oktober 2009	ISBN 978-1-936213-00-9	ISO/IEC 10646:2003 plus tillägg 1 till 6	90	107 361	Aggregat: Bamúm , Javanese , Lisu , Meetei Mayek , Samaritan , Tai Tham och Tai Viet . Devanagari har utökats med tillägget av sanskritalfabetet . Viktiga tillägg för Abkhaz , Unified Syllabary of Indigenous Canadians, Coptic, Khamti Shan , Malay, Myanmar. Historiska symboler och karaktärer som Gardiners egyptiska hieroglyfer , kejserliga arameiska , avestan , kaithi , gammal sydarabiska och gammalturkiska läggs också till . ]
6,0	oktober 2010	ISBN 978-1-936213-01-6	ISO/IEC 10646:2011	93	109 449	Version 6.0 är den första större versionen av standarden som publiceras exklusivt i elektroniska medier. Lade till Mandaean , Batak och Brahmi , förlängningar av afrikanska språk som Tifinagh , Ethiopic och Bamúm . Andra viktiga tillägg är: 222 CJK-ideogram, 1000 symboler inklusive emoji- piktogram , den nya officiella symbolen för rupier och alkemiska symboler samt tillägg till karaktärsattribut och andra normativa och algoritmiska modifieringar. ]
6.1	2012	ISBN 978-1-936213-02-3	ISO/IEC10646:2012		110 116	Innehåller tillägg till flera befintliga alfabet; Betydande tillägg till det arabiska alfabetet inkluderar 143 alfabetiska matematiska symboler, och Pollard Miao -alfabeten , Sorang Sompeng , Meroitic script , Chakma , Sharada-alfabetet och 13 uttryckssymboler.
6.2	2012	ISBN 978-1-936213-07-8	ISO/IEC 10646:2012 plus symbol för turkisk lira.		110 117	Särskild publikation för införandet av den turkiska liran
6.3	2013	ISBN 978-1-936213-08-5	ISO/IEC 10646:2012 med tillägg		110 122	Revidering av den dubbelriktade textalgoritmen med tillägg av 5 specialtecken. Den nya dubbelriktade algoritmen förbättrar den gemensamma representationen av texter från olika källor med respekt för teckenernas korrekta ordning.
7,0	2014	ISBN 978-1-936213-09-2	ISO/IEC 10646:2012 med tillägg och rubeltecken		112 956	Lägger till 23 nya skrivsystem.
8,0	2015	ISBN 978-1-936213-10-8
9,0	2016	ISBN 978-1-936213-13-9
10,0	2017	ISBN 978-1-936213-16-0		139	136 690	Bland annat läggs Bitcoin- symbolen till , 56 emoji-tecken och skrivsystemen: Masaram Gondi , Nü Shu , Soyombo och Zanabazar-torget mongoliska skriften . CJK enhetliga teckentillägg F introduceras.
11.0	5 juni 2018	ISBN 978-1-936213-19-1			137 374	Dogra, versaler i georgiska Mtavruli, Gunjala Gondi, Hanifi Rohingya, Makassar, Medefaidrin, Old Sogdian, Sogdian och olika symboler (5 nya CJK förenade ideogram, 66 extra emoji, copyleft, halv stjärna, ytterligare astrologiska och kinesiska schacksymboler Xiangqi )
12,0	5 mars 2019	ISBN 978-1-936213-22-1		150	137 928	Elimaic ]
12.1	7 maj 2019	ISBN 978-1-936213-25-2			137 929	Lägger till en enda karaktär för Reiwa-eran ]
13,0	10 mars 2020	ISBN 978-1-936213-26-9		154	143 859	Lägger till 4 nya korasmiska alfabet , Dhives Akuru , Kitan språk ]

Se även

• Skrivsystem
• skrivandets historia

Externa länkar

• Unicode Consortium , på webbplatsen Unicode.org.
• Han Unification History , på webbplatsen Unicode.org.
• Catalogue of Writing Systems and Character Sheets , på Unicode.org-webbplatsen.
• Emojis och deras Unicode
• Alla Unicode-tecken, emoji och typsnitt i Windows 10