Sari la conținut

Modele și algoritmi

Unde se poate, folosim algoritmi clasici de procesare a semnalului: sunt mai preciși și mai ușori decât AI-ul. Pentru recunoaștere folosim modele mici, existente, fără antrenare proprie. Un rezultat apare doar peste un prag testat.

Acordor: McLeod Pitch Method

Detecție de înălțime cu pitchy (McLeod Pitch Method), urmată de o rafinare pe mai multe perioade. Rulează într-un Web Worker.

Cum

  • Fereastra se adaptează instrumentului: 2048 de eșantioane la vioară, 4096 la chitară, 8192 la bas (la 48 kHz).
  • Citirea apare doar la claritate ≥ 0,9, cu mediană pe 5 citiri și protecție la erori de octavă (un salt de octavă trebuie să se repete de 4 ori).
  • „Acordat” = în ±3 cenți timp de 0,5 s.

Ce am testat

  • Tonuri sinus și dinte de fierăstrău sintetice, 40 Hz – 2 kHz, la 44,1 și 48 kHz: toate în ±1 cent.
  • Cu zgomot de fond (SNR ≈ 20 dB): în ±1 cent.
  • Pe sunetele de instrument sintetizate (chitară, bas, ukulele, vioară, cu dezacord cunoscut): toate citirile netezite în ±1 cent.

Limite

  • Testat pe semnale sintetice, nu pe înregistrări reale cu acordaj măsurat.
  • Corzile joase de pian (inarmonice) și camerele zgomotoase reduc precizia.
  • Un singur sunet odată: acordorul nu e pentru acorduri.

Licență: pitchy: MIT. Rafinarea: cod Sonoro.

Acorduri: cromă și șabloane

Energia pe cele 12 note (cromă) din vârfurile spectrului, mediată pe ~0,35 s, comparată prin similaritate cosinus cu 108 acorduri: major, minor, 7, maj7, m7, sus2, sus4, dim, aug pe toate cele 12 fundamentale.

Cum

  • Șabloanele includ armonicile fiecărei note (ce produce un instrument real).
  • Basul e votat în timp, pentru acorduri cu bas (ex. D/F♯). Acordurile cu aceleași note (Csus2 = Gsus4) se numesc după bas.
  • Arătăm acordul doar dacă bate locul doi cu ≥ 0,03 și rămâne stabil 300 ms.

Ce am testat

  • Pe 108 acorduri sintetizate (pian și chitară), cu pragul ales: ~95 % corecte când se afișează un acord, afișat pe ~75 % din cadre.
  • Progresia demo de pian: fiecare acord recunoscut corect.

Limite

  • Pe chitara sintetică: Do după Mi minor nu apare, iar D/F♯ e citit ca Dmaj7/F♯; basul poate alterna pe coarde joase slabe.
  • Confuzii tipice: sus2 / m7, dim / minor.
  • Nu am măsurat încă precizia pe înregistrări reale adnotate.

Licență: Cod Sonoro; fft.js (MIT); denumiri cu tonal (MIT). Meyda (MIT) e folosit pentru măsurătorile din Vizualizare.

Ce se aude: YAMNet

Model Google antrenat pe AudioSet (521 de clase). Rulează în browser cu TensorFlow.js, într-un Web Worker, pe sunet reeșantionat la 16 kHz.

Cum

  • Ferestre de 0,975 s la fiecare 0,48 s (~50 % suprapunere); media pe ultimele ~3 s.
  • 17 clase alese (instrumente, voce, fluierat, aplauze) + „altceva / nesigur”.
  • Fiecare clasă are pragul ei, ales pe un set de evaluare. Sub prag: „încă nu sunt sigur”.

Limite

  • Setul de evaluare e mic (~6 clipuri pe clasă). Pragurile sunt un punct de plecare, nu o garanție.
  • Confunde claviatura cu pianul și cântatul cu vorbirea. Distincția acustică / electrică la chitară e slabă.
  • Pe sunetele sintetizate din demo e adesea nesigur.

YAMNet: rezultate pe setul de evaluare

114 clipuri cu licență deschisă (CC0, domeniu public, CC BY, CC BY-SA) de pe Wikimedia Commons. Când apare o etichetă, e corectă în 92 % din cazuri; 27 % din timp spune „nesigur”; pe sunete non-muzicale (ploaie, trafic, păsări) greșește în 3 %. Diferența medie float16 vs. original: 0.0007.

ClasăPragPrecizieRecallClipuri detectateȚintă 90 %
Chitară acustică0.10100 %85 %100 % / 6da
Chitară electrică0.10100 %74 %83 % / 6da
Chitară bas0.10100 %77 %83 % / 6da
Vioară0.1797 %67 %83 % / 6da
Violoncel0.10100 %83 %83 % / 6da
Pian0.1071 %83 %83 % / 6nu
Claviatură / orgă / synth0.4990 %38 %50 % / 6da
Flaut0.1491 %100 %100 % / 6da
Trompetă0.1991 %100 %100 % / 6da
Saxofon0.24100 %40 %50 % / 6da
Tobe0.2394 %67 %83 % / 6da
Cântat (voce)0.10100 %33 %33 % / 6da
Vorbire0.7976 %100 %100 % / 6nu
Fluierat0.1191 %65 %67 % / 6da
Aplauze / bătăi din palme0.10100 %71 %83 % / 6da
Muzicuță0.11100 %21 %33 % / 6da
Acordeon0.1991 %67 %67 % / 6da

Licență: Apache-2.0 (Google). Greutăți stocate ca float16: 8,0 MB (din 16 MB).

Transcriere: Basic Pitch

Model Spotify care găsește notele (inclusiv mai multe simultan) într-o înregistrare. Opțional, rulează pe dispozitiv, la 22,05 kHz.

Cum

  • Prag de atac 0,5, prag de cadru 0,3, durată minimă 11 cadre (~128 ms).
  • Acordurile în timp vin din același algoritm de cromă ca mai sus.
  • Export MIDI cu @tonejs/midi.

Ce am testat

  • Gamă de pian sintetizată (8 note): cel puțin 7 note găsite la înălțimea și momentul corect, cu cel mult 3 note în plus.

Limite

  • Merge cel mai bine pe un singur instrument. Pe mixuri dense sau tobe ratează note.
  • Maximum 30 s pe înregistrare.

Licență: Apache-2.0 (Spotify). 0,9 MB.

Biblioteci

BibliotecăFolosită pentruLicență
Next.js 16, React 19Site-ulMIT
TensorFlow.js 4.22Rulează YAMNet și Basic PitchApache-2.0
pitchy 4.1Detecție de înălțimeMIT
Meyda 5.6Nivel, strălucire, planeitate spectralăMIT
tonal 6.5Notele din acorduriMIT
fft.js 4.0Spectrul pentru cromăMIT
three.js 0.187, @react-three/fiber 9.8Placa Chladni, spectrul 3DMIT
@tonejs/midi 2.0Export MIDIMIT
zustand, zod, idb-keyvalSetări, validare, stocare localăMIT / MIT / Apache-2.0
framer-motion, lucide-reactAnimații, iconițeMIT / ISC

Fonturi: Inter, Manrope, JetBrains Mono (SIL Open Font License 1.1), găzduite local.

Sunete demo

Sunetele „Chitară: cele 6 corzi”, „Pian: acorduri” etc. sunt sintetizate de Sonoro (știm exact ce note și ce dezacord au). Înregistrările reale sunt fragmente de 7 s de pe Wikimedia Commons:

SunetOriginalAutorLicență
Pian (înregistrare)C major, Middle C, I-IV-V-I-I-V-I chord progression.ogg (sursa)CuriousC3301CC0
Chitară (înregistrare)Audio files of spanish guitar chords 01.wav (sursa)WilfredorCC0
Vioară (înregistrare)Minstrel Boy 2.ogg (sursa)EndersslayCC0
Flaut (înregistrare)Joachim Andersen - Etude 3 for Solo Flute.oga (sursa)Scott Goff (flute)CC BY-SA 2.0
Voce (înregistrare)Twinkle Twinkle Little Star - sung with full lyrics.ogg (sursa)DcoetzeeCC0
Fluierat (înregistrare)Whistling la donna a mobile.ogg (sursa)Stanislav KozlovskiyCC BY-SA 4.0
Palme (înregistrare)Palmas sevillanas (flamenco clapping), 160 BPM.ogg (sursa)Santiago Sanchez CifuentesCC0
Tobe (înregistrare)Rock beat.ogg (sursa)Krol111CC BY-SA 3.0
Vorbire (înregistrare)IMF Spoken Word.ogg (sursa)John BilkeyCC0