Modele și algoritmi
Unde se poate, folosim algoritmi clasici de procesare a semnalului: sunt mai preciși și mai ușori decât AI-ul. Pentru recunoaștere folosim modele mici, existente, fără antrenare proprie. Un rezultat apare doar peste un prag testat.
Acordor: McLeod Pitch Method
Detecție de înălțime cu pitchy (McLeod Pitch Method), urmată de o rafinare pe mai multe perioade. Rulează într-un Web Worker.
Cum
- Fereastra se adaptează instrumentului: 2048 de eșantioane la vioară, 4096 la chitară, 8192 la bas (la 48 kHz).
- Citirea apare doar la claritate ≥ 0,9, cu mediană pe 5 citiri și protecție la erori de octavă (un salt de octavă trebuie să se repete de 4 ori).
- „Acordat” = în ±3 cenți timp de 0,5 s.
Ce am testat
- Tonuri sinus și dinte de fierăstrău sintetice, 40 Hz – 2 kHz, la 44,1 și 48 kHz: toate în ±1 cent.
- Cu zgomot de fond (SNR ≈ 20 dB): în ±1 cent.
- Pe sunetele de instrument sintetizate (chitară, bas, ukulele, vioară, cu dezacord cunoscut): toate citirile netezite în ±1 cent.
Limite
- Testat pe semnale sintetice, nu pe înregistrări reale cu acordaj măsurat.
- Corzile joase de pian (inarmonice) și camerele zgomotoase reduc precizia.
- Un singur sunet odată: acordorul nu e pentru acorduri.
Licență: pitchy: MIT. Rafinarea: cod Sonoro.
Acorduri: cromă și șabloane
Energia pe cele 12 note (cromă) din vârfurile spectrului, mediată pe ~0,35 s, comparată prin similaritate cosinus cu 108 acorduri: major, minor, 7, maj7, m7, sus2, sus4, dim, aug pe toate cele 12 fundamentale.
Cum
- Șabloanele includ armonicile fiecărei note (ce produce un instrument real).
- Basul e votat în timp, pentru acorduri cu bas (ex. D/F♯). Acordurile cu aceleași note (Csus2 = Gsus4) se numesc după bas.
- Arătăm acordul doar dacă bate locul doi cu ≥ 0,03 și rămâne stabil 300 ms.
Ce am testat
- Pe 108 acorduri sintetizate (pian și chitară), cu pragul ales: ~95 % corecte când se afișează un acord, afișat pe ~75 % din cadre.
- Progresia demo de pian: fiecare acord recunoscut corect.
Limite
- Pe chitara sintetică: Do după Mi minor nu apare, iar D/F♯ e citit ca Dmaj7/F♯; basul poate alterna pe coarde joase slabe.
- Confuzii tipice: sus2 / m7, dim / minor.
- Nu am măsurat încă precizia pe înregistrări reale adnotate.
Licență: Cod Sonoro; fft.js (MIT); denumiri cu tonal (MIT). Meyda (MIT) e folosit pentru măsurătorile din Vizualizare.
Ce se aude: YAMNet
Model Google antrenat pe AudioSet (521 de clase). Rulează în browser cu TensorFlow.js, într-un Web Worker, pe sunet reeșantionat la 16 kHz.
Cum
- Ferestre de 0,975 s la fiecare 0,48 s (~50 % suprapunere); media pe ultimele ~3 s.
- 17 clase alese (instrumente, voce, fluierat, aplauze) + „altceva / nesigur”.
- Fiecare clasă are pragul ei, ales pe un set de evaluare. Sub prag: „încă nu sunt sigur”.
Limite
- Setul de evaluare e mic (~6 clipuri pe clasă). Pragurile sunt un punct de plecare, nu o garanție.
- Confunde claviatura cu pianul și cântatul cu vorbirea. Distincția acustică / electrică la chitară e slabă.
- Pe sunetele sintetizate din demo e adesea nesigur.
YAMNet: rezultate pe setul de evaluare
114 clipuri cu licență deschisă (CC0, domeniu public, CC BY, CC BY-SA) de pe Wikimedia Commons. Când apare o etichetă, e corectă în 92 % din cazuri; 27 % din timp spune „nesigur”; pe sunete non-muzicale (ploaie, trafic, păsări) greșește în 3 %. Diferența medie float16 vs. original: 0.0007.
| Clasă | Prag | Precizie | Recall | Clipuri detectate | Țintă 90 % |
|---|---|---|---|---|---|
| Chitară acustică | 0.10 | 100 % | 85 % | 100 % / 6 | da |
| Chitară electrică | 0.10 | 100 % | 74 % | 83 % / 6 | da |
| Chitară bas | 0.10 | 100 % | 77 % | 83 % / 6 | da |
| Vioară | 0.17 | 97 % | 67 % | 83 % / 6 | da |
| Violoncel | 0.10 | 100 % | 83 % | 83 % / 6 | da |
| Pian | 0.10 | 71 % | 83 % | 83 % / 6 | nu |
| Claviatură / orgă / synth | 0.49 | 90 % | 38 % | 50 % / 6 | da |
| Flaut | 0.14 | 91 % | 100 % | 100 % / 6 | da |
| Trompetă | 0.19 | 91 % | 100 % | 100 % / 6 | da |
| Saxofon | 0.24 | 100 % | 40 % | 50 % / 6 | da |
| Tobe | 0.23 | 94 % | 67 % | 83 % / 6 | da |
| Cântat (voce) | 0.10 | 100 % | 33 % | 33 % / 6 | da |
| Vorbire | 0.79 | 76 % | 100 % | 100 % / 6 | nu |
| Fluierat | 0.11 | 91 % | 65 % | 67 % / 6 | da |
| Aplauze / bătăi din palme | 0.10 | 100 % | 71 % | 83 % / 6 | da |
| Muzicuță | 0.11 | 100 % | 21 % | 33 % / 6 | da |
| Acordeon | 0.19 | 91 % | 67 % | 67 % / 6 | da |
Licență: Apache-2.0 (Google). Greutăți stocate ca float16: 8,0 MB (din 16 MB).
Transcriere: Basic Pitch
Model Spotify care găsește notele (inclusiv mai multe simultan) într-o înregistrare. Opțional, rulează pe dispozitiv, la 22,05 kHz.
Cum
- Prag de atac 0,5, prag de cadru 0,3, durată minimă 11 cadre (~128 ms).
- Acordurile în timp vin din același algoritm de cromă ca mai sus.
- Export MIDI cu @tonejs/midi.
Ce am testat
- Gamă de pian sintetizată (8 note): cel puțin 7 note găsite la înălțimea și momentul corect, cu cel mult 3 note în plus.
Limite
- Merge cel mai bine pe un singur instrument. Pe mixuri dense sau tobe ratează note.
- Maximum 30 s pe înregistrare.
Licență: Apache-2.0 (Spotify). 0,9 MB.
Biblioteci
| Bibliotecă | Folosită pentru | Licență |
|---|---|---|
| Next.js 16, React 19 | Site-ul | MIT |
| TensorFlow.js 4.22 | Rulează YAMNet și Basic Pitch | Apache-2.0 |
| pitchy 4.1 | Detecție de înălțime | MIT |
| Meyda 5.6 | Nivel, strălucire, planeitate spectrală | MIT |
| tonal 6.5 | Notele din acorduri | MIT |
| fft.js 4.0 | Spectrul pentru cromă | MIT |
| three.js 0.187, @react-three/fiber 9.8 | Placa Chladni, spectrul 3D | MIT |
| @tonejs/midi 2.0 | Export MIDI | MIT |
| zustand, zod, idb-keyval | Setări, validare, stocare locală | MIT / MIT / Apache-2.0 |
| framer-motion, lucide-react | Animații, iconițe | MIT / ISC |
Fonturi: Inter, Manrope, JetBrains Mono (SIL Open Font License 1.1), găzduite local.
Sunete demo
Sunetele „Chitară: cele 6 corzi”, „Pian: acorduri” etc. sunt sintetizate de Sonoro (știm exact ce note și ce dezacord au). Înregistrările reale sunt fragmente de 7 s de pe Wikimedia Commons:
| Sunet | Original | Autor | Licență |
|---|---|---|---|
| Pian (înregistrare) | C major, Middle C, I-IV-V-I-I-V-I chord progression.ogg (sursa) | CuriousC3301 | CC0 |
| Chitară (înregistrare) | Audio files of spanish guitar chords 01.wav (sursa) | Wilfredor | CC0 |
| Vioară (înregistrare) | Minstrel Boy 2.ogg (sursa) | Endersslay | CC0 |
| Flaut (înregistrare) | Joachim Andersen - Etude 3 for Solo Flute.oga (sursa) | Scott Goff (flute) | CC BY-SA 2.0 |
| Voce (înregistrare) | Twinkle Twinkle Little Star - sung with full lyrics.ogg (sursa) | Dcoetzee | CC0 |
| Fluierat (înregistrare) | Whistling la donna a mobile.ogg (sursa) | Stanislav Kozlovskiy | CC BY-SA 4.0 |
| Palme (înregistrare) | Palmas sevillanas (flamenco clapping), 160 BPM.ogg (sursa) | Santiago Sanchez Cifuentes | CC0 |
| Tobe (înregistrare) | Rock beat.ogg (sursa) | Krol111 | CC BY-SA 3.0 |
| Vorbire (înregistrare) | IMF Spoken Word.ogg (sursa) | John Bilkey | CC0 |