Nirpy Research avocado Whittaker smoothing NIR. v2.0 standardized NIRS package: 3 spectral source(s), 0 declared target(s). Auto-generated from dataset_card.json (verify before publication).
| Intégrité | 0.01 |
|---|---|
| Artefacts locaux | 0.67 |
| Bruit | 0.17 |
| Outliers PCA | 0.26 |
| Distance à la référence | 0.21 |
| Répétabilité | 0.00 |
| Baseline / forme | 0.78 |
| Structure multi-régimes | 0.35 |
| Diagnostic | Score | Force | Signaux | Interprétation probable |
|---|---|---|---|---|
| Splice / raccord détecteursX_absorbance | 0.63 | moyenne | Spike rate 1.00, Jump rate 1.00, SNR non dégradé 0.59 | Rupture aux jonctions de détecteurs, calibration locale ou sonde différente. |
| Erreur calibration / référence blancheX_absorbance | 0.58 | moyenne | Baseline/mean/area 1.00, artefacts locaux 1.00, RMS/SAM référence 0.49 | Décalage systématique entre campagnes, instruments ou référence blanche. |
| Fond différentX_sample_signal | 0.52 | moyenne | Baseline/mean/area 1.00, Mahalanobis / T2 0.40 | Effet systématique du support, blanc/noir, transflectance ou environnement de mesure. |
| Erreur interpolation / rééchantillonnageX_absorbance | 0.50 | moyenne | Spike rate 1.00, Jump rate 1.00, Noise RMS faible 0.80 | Artefacts numériques ou traitement spectral incorrect. |
| Signature VERA25-likeX_absorbance | 0.44 | moyenne | Spike rate 1.00, Jump rate 1.00, RMS/SAM référence 0.49 | Combinaison possible changement de sonde + splice, amplifiée par géométrie, fond ou calibration. |
| Différence de sonde / géométrieX_absorbance | 0.42 | moyenne | Baseline/mean/area 1.00, RMS/SAM référence 0.49, Mahalanobis / T2 0.39 | Modification de l'illumination, collecte, angle ou distance sonde-échantillon. |
| Spectre saturé / clippingX_reference_signal | 0.42 | moyenne | Clip fraction 0.88, Baseline/mean/area 0.35 | Détecteur saturé ou dynamique insuffisante. |
| Spectre hors domaine valideX_sample_signal | 0.39 | faible | artefacts faibles 0.69, Structure PCA 0.49, Mahalanobis / T2 0.40 | Variété, espèce, lot ou condition différente mais physiquement plausible. |
| Wavelengths | 228 |
|---|---|
| Axis range | 901.8–1701 nm |
| Mean spacing | 3.52 nm |
| Grid | irregular |
| Observations | 100 |
| Value range | 0.998 – 3.59 |
|---|---|
| Mean range | 1.06 – 2.11 |
| Mean level | 1.492 |
| Area | 1173 |
| PTP | 1.046 |
| Noise RMS | 0.015185 |
| SNR | 98 |
| SNR dB | 4e+01 dB |
| Dynamic range | 1.05 |
| Saturated | 0.0% |
| X-outliers | 36 |
| NaN ratio | 0.14% |
|---|---|
| Inf count | 0 |
| Zero ratio | 0.00% |
| Spike count | 480 |
| Spike rate | 2.12% |
| Jump count | 407 |
| Jump rate | 1.79% |
| Clip fraction | 0.01% |
| Baseline slope | 1.0288 |
|---|---|
| Curvature RMS | 0.10808 |
| D1 RMS | 0.066416 |
| RMS to mean | 0.050874 |
| RMS p95 | 0.088381 |
| SAM to mean | 0.032428 |
| SAM p95 | 0.056443 |
| Affine offset p95 | 0.038302 |
| Affine gain p95 Δ | 0.040284 |
| Affine residual p95 | 0.086907 |
| Xcorr lag p95 | 0 |
| PCA Q p95/median | 1.4 |
|---|---|
| Hotelling T2 p95/median | 2.5 |
| Mahalanobis H p95/median | 1.6 |
| Repeat groups | 0 |
| Effective rank | 14 |
|---|---|
| Top-10 cum. var | 78.1% |
| Famille | Métrique calculée | Valeur | Score | Niveau | Interprétation dataset | Causes typiques | Calcul / scoring |
|---|---|---|---|---|---|---|---|
| Intégrité des données | NaN ratiointegrity.nan_ratio | 0.14% | 0.03 | faible | Spectre complet | Erreur acquisition/export | count(isnan(X)) / X.sizealert = min(1, nan_ratio / 0.05) |
| Intégrité des données | Inf countintegrity.inf_count | 0 | 0.00 | faible | Normal | Calculs invalides | count(isinf(X))alert = min(1, inf_count / 1) |
| Intégrité des données | Zero ratiointegrity.zero_ratio | 0% | 0.00 | faible | Normal | Export, saturation | count(X == 0) / count(finite X)alert = min(1, zero_ratio / 0.05) |
| Amplitude globale | Mean reflectanceamplitude.mean_reflectance | 1.4924 | 1.00 | fort | Valeur atypique: Trop clair / fond visible ou Trop sombre | Fond, géométrie | mean(X finite)alert reuses baseline/shape drift because absolute reflectance ranges are technology-dependent |
| Amplitude globale | Area under curveamplitude.area_under_curve | 1173 | 1.00 | fort | Valeur atypique: Différence d'éclairement ou Normal | Distance sonde | trapezoid(mean_spectrum, spectral_axis)alert reuses baseline/shape drift because area scale depends on axis and units |
| Amplitude globale | Peak-to-peak (PTP)amplitude.peak_to_peak | 1.0455 | 0.00 | faible | Variabilité forte | Saturation | max(mean_spectrum) - min(mean_spectrum)alert increases when dynamic range is abnormally flat |
| Amplitude globale | Varianceamplitude.variance | 0.13161 | 0.00 | faible | Normal ou hétérogène | Mauvais contact | var(X finite)alert increases when variance/dynamic range is abnormally flat |
| Bruit | Noise RMSnoise.noise_rms | 0.015185 | 0.20 | faible | Stable | Lampe, détecteur | median MAD(second derivative) * 1.4826 / sqrt(6)alert = noise_rms / signal_scale, saturated at 5% |
| Bruit | SNRnoise.snr | 98.278 | 0.00 | faible | Bon signal | Acquisition | mean(abs(X)) / noise_rmsalert decreases with SNR dB; >=40 dB is treated as low alert |
| Bruit | Bandwise SNRnoise.bandwise_snr_min | 6.5054 | 0.54 | moyen | Zone problématique | Détecteur | min(abs(mean_spectrum) / local second-derivative noise)alert decreases with worst-band SNR dB; >=35 dB is treated as low alert |
| Artefacts locaux | Spike countartefacts.spike_count | 480 | 1.00 | fort | Artefacts | Cosmic rays, splice | count robust outliers in second derivativealert follows spike_rate, saturated at 1% |
| Artefacts locaux | Spike rateartefacts.spike_rate | 2.12% | 1.00 | fort | Spectre suspect | Interpolation | spike_count / (n_samples * (n_features - 2))alert = min(1, spike_rate / 0.01) |
| Artefacts locaux | Jump countartefacts.jump_count | 407 | 1.00 | fort | Raccord détecteur | Splice | count robust outliers in first derivativealert follows jump_rate, saturated at 1% |
| Artefacts locaux | Jump rateartefacts.jump_rate | 1.79% | 1.00 | fort | Problème spectral | Calibration | jump_count / (n_samples * (n_features - 1))alert = min(1, jump_rate / 0.01) |
| Artefacts locaux | Clip fractionartefacts.clip_fraction | 0.00878% | 0.01 | faible | Normal | Détecteur saturé | fraction of finite cells equal to repeated min/max extremaalert = min(1, clip_fraction / 0.01) |
| Forme spectrale | Baseline slopeshape.baseline_slope | 1.0288 | 1.00 | fort | Dérive | Éclairement | linear slope of mean_spectrum over normalized axisalert = abs(slope / signal_scale), saturated at 0.5 |
| Forme spectrale | Curvature RMSshape.curvature_rms | 0.10808 | 1.00 | fort | Forme inhabituelle | Fond, splice | median RMS(second derivative per spectrum)alert = curvature_rms / signal_scale, saturated at 1% |
| Forme spectrale | D1 RMSshape.d1_rms | 0.066416 | 0.89 | fort | Spectre structuré | Biologie ou artefact | median RMS(first derivative per spectrum)alert = d1_rms / signal_scale, saturated at 5% |
| Outliers multivariés | PCA Q (SPE)outliers.pca_q_ratio | 1.3958 | 0.17 | faible | Conforme | Artefact, mélange | p95(Q/SPE residual) / median(Q/SPE residual)alert = min(1, pca_q_ratio / 8) |
| Outliers multivariés | Hotelling T²outliers.hotelling_t2_ratio | 2.472 | 0.31 | faible | Central | Variabilité naturelle | p95(Hotelling T2) / median(Hotelling T2)alert = min(1, hotelling_t2_ratio / 8) |
| Outliers multivariés | Mahalanobis Houtliers.mahalanobis_h_ratio | 1.5722 | 0.39 | faible | Population normale | Domaine différent | p95(sqrt(T2)) / median(sqrt(T2))alert = min(1, mahalanobis_h_ratio / 4) |
| Comparaison à référence | RMS to mean spectrumreference.rms_to_mean_spectrum_p95 | 0.088381 | 0.24 | faible | Typique | Domain shift | p95 RMS distance to dataset mean spectrumalert = RMS_p95 / signal_scale, saturated at 25% |
| Comparaison à référence | Spectral Angle Mapper (SAM)reference.sam_to_mean_spectrum_p95 | 0.056443 | 0.16 | faible | Similaire | Fond, géométrie | p95 spectral angle to dataset mean spectrumalert = min(1, SAM_p95 / 0.35 rad) |
| Répétabilité | RMS intra-IDrepeatability.rms_intra_id | — | 0.00 | faible | Stable | Positionnement | median RMS distance to repeated-sample centroidalert = RMS_intra_ID / signal_scale, saturated at 10% |
| Répétabilité | SAM intra-IDrepeatability.sam_intra_id | — | 0.00 | faible | Stable | Acquisition | median SAM to repeated-sample centroidalert = min(1, SAM_intra_ID / 0.15 rad) |
| Répétabilité | CV intra-IDrepeatability.cv_intra_id | — | 0.00 | faible | Stable | Opérateur | median within-ID band CValert = min(1, CV_intra_ID / 0.25) |
| Structure du dataset | PCA score densitystructure.pca_score_density | 1.7282 | 0.56 | moyen | Sous-populations | Lots différents | 1 / median kNN distance in PCA score spacealert follows density_cv/profile structure complexity, not raw density alone |
| Structure du dataset | Local Outlier Factor (LOF)structure.local_outlier_factor_p95 | 1.6697 | 0.33 | faible | Population normale | Cas rares | p95 approximate LOF from PCA-score kNN distancesalert = min(1, max(0, LOF_p95 - 1) / 2) |
| Structure du dataset | Isolation Forest scorestructure.isolation_forest_score_p95 | 0.51578 | 0.56 | moyen | Spectre atypique | Diverses causes | p95 IsolationForest anomaly score on PCA scoresalert follows structure complexity; raw score is implementation-dependent |
| Wavelengths | 228 |
|---|---|
| Axis range | 901.8–1701 nm |
| Mean spacing | 3.52 nm |
| Grid | irregular |
| Observations | 100 |
| Value range | 32,073 – 645,669 |
|---|---|
| Mean range | 32,073 – 645,669 |
| Mean level | 4.484e+05 |
| Area | 3.603e+08 |
| PTP | 613,596 |
| Noise RMS | 232.12 |
| SNR | 1.9e+03 |
| SNR dB | 7e+01 dB |
| Dynamic range | 613,596 |
| Smoothness | 1226 |
| Saturated | 0.4% |
| X-outliers | 0 |
| NaN ratio | 0.00% |
|---|---|
| Inf count | 0 |
| Zero ratio | 0.00% |
| Spike count | 300 |
| Spike rate | 1.33% |
| Jump count | 0 |
| Jump rate | 0.00% |
| Clip fraction | 0.88% |
| Baseline slope | -1667.4 |
|---|---|
| Curvature RMS | 1225.6 |
| D1 RMS | 6958.4 |
| RMS to mean | 0 |
| RMS p95 | 0 |
| SAM to mean | 0 |
| SAM p95 | 0 |
| Affine offset p95 | 0 |
| Affine gain p95 Δ | 0 |
| Affine residual p95 | 0 |
| Xcorr lag p95 | 0 |
| Repeat groups | 0 |
|---|
| Famille | Métrique calculée | Valeur | Score | Niveau | Interprétation dataset | Causes typiques | Calcul / scoring |
|---|---|---|---|---|---|---|---|
| Intégrité des données | NaN ratiointegrity.nan_ratio | 0% | 0.00 | faible | Spectre complet | Erreur acquisition/export | count(isnan(X)) / X.sizealert = min(1, nan_ratio / 0.05) |
| Intégrité des données | Inf countintegrity.inf_count | 0 | 0.00 | faible | Normal | Calculs invalides | count(isinf(X))alert = min(1, inf_count / 1) |
| Intégrité des données | Zero ratiointegrity.zero_ratio | 0% | 0.00 | faible | Normal | Export, saturation | count(X == 0) / count(finite X)alert = min(1, zero_ratio / 0.05) |
| Amplitude globale | Mean reflectanceamplitude.mean_reflectance | 4.484e+05 | 0.35 | faible | Trop sombre | Fond, géométrie | mean(X finite)alert reuses baseline/shape drift because absolute reflectance ranges are technology-dependent |
| Amplitude globale | Area under curveamplitude.area_under_curve | 3.6027e+08 | 0.35 | faible | Normal | Distance sonde | trapezoid(mean_spectrum, spectral_axis)alert reuses baseline/shape drift because area scale depends on axis and units |
| Amplitude globale | Peak-to-peak (PTP)amplitude.peak_to_peak | 613,596 | 0.00 | faible | Variabilité forte | Saturation | max(mean_spectrum) - min(mean_spectrum)alert increases when dynamic range is abnormally flat |
| Amplitude globale | Varianceamplitude.variance | 2.4603e+10 | 0.00 | faible | Normal ou hétérogène | Mauvais contact | var(X finite)alert increases when variance/dynamic range is abnormally flat |
| Bruit | Noise RMSnoise.noise_rms | 232.12 | 0.01 | faible | Stable | Lampe, détecteur | median MAD(second derivative) * 1.4826 / sqrt(6)alert = noise_rms / signal_scale, saturated at 5% |
| Bruit | SNRnoise.snr | 1931.8 | 0.00 | faible | Bon signal | Acquisition | mean(abs(X)) / noise_rmsalert decreases with SNR dB; >=40 dB is treated as low alert |
| Bruit | Bandwise SNRnoise.bandwise_snr_min | — | — | non calculable | Pas assez d'information pour scorer cette métrique sur ce dataset. | Détecteur | min(abs(mean_spectrum) / local second-derivative noise)alert decreases with worst-band SNR dB; >=35 dB is treated as low alert |
| Artefacts locaux | Spike countartefacts.spike_count | 300 | 1.00 | fort | Artefacts | Cosmic rays, splice | count robust outliers in second derivativealert follows spike_rate, saturated at 1% |
| Artefacts locaux | Spike rateartefacts.spike_rate | 1.33% | 1.00 | fort | Spectre suspect | Interpolation | spike_count / (n_samples * (n_features - 2))alert = min(1, spike_rate / 0.01) |
| Artefacts locaux | Jump countartefacts.jump_count | 0 | 0.00 | faible | Continu | Splice | count robust outliers in first derivativealert follows jump_rate, saturated at 1% |
| Artefacts locaux | Jump rateartefacts.jump_rate | 0% | 0.00 | faible | Normal | Calibration | jump_count / (n_samples * (n_features - 1))alert = min(1, jump_rate / 0.01) |
| Artefacts locaux | Clip fractionartefacts.clip_fraction | 0.877% | 0.88 | fort | Clipping | Détecteur saturé | fraction of finite cells equal to repeated min/max extremaalert = min(1, clip_fraction / 0.01) |
| Forme spectrale | Baseline slopeshape.baseline_slope | -1667.4 | 0.01 | faible | Stable | Éclairement | linear slope of mean_spectrum over normalized axisalert = abs(slope / signal_scale), saturated at 0.5 |
| Forme spectrale | Curvature RMSshape.curvature_rms | 1225.6 | 0.20 | faible | Lisse | Fond, splice | median RMS(second derivative per spectrum)alert = curvature_rms / signal_scale, saturated at 1% |
| Forme spectrale | D1 RMSshape.d1_rms | 6958.4 | 0.23 | faible | Plat | Biologie ou artefact | median RMS(first derivative per spectrum)alert = d1_rms / signal_scale, saturated at 5% |
| Outliers multivariés | PCA Q (SPE)outliers.pca_q_ratio | — | 0.00 | faible | Conforme | Artefact, mélange | p95(Q/SPE residual) / median(Q/SPE residual)alert = min(1, pca_q_ratio / 8) |
| Outliers multivariés | Hotelling T²outliers.hotelling_t2_ratio | — | 0.00 | faible | Central | Variabilité naturelle | p95(Hotelling T2) / median(Hotelling T2)alert = min(1, hotelling_t2_ratio / 8) |
| Outliers multivariés | Mahalanobis Houtliers.mahalanobis_h_ratio | — | 0.00 | faible | Population normale | Domaine différent | p95(sqrt(T2)) / median(sqrt(T2))alert = min(1, mahalanobis_h_ratio / 4) |
| Comparaison à référence | RMS to mean spectrumreference.rms_to_mean_spectrum_p95 | 0 | 0.00 | faible | Typique | Domain shift | p95 RMS distance to dataset mean spectrumalert = RMS_p95 / signal_scale, saturated at 25% |
| Comparaison à référence | Spectral Angle Mapper (SAM)reference.sam_to_mean_spectrum_p95 | 0 | 0.00 | faible | Similaire | Fond, géométrie | p95 spectral angle to dataset mean spectrumalert = min(1, SAM_p95 / 0.35 rad) |
| Répétabilité | RMS intra-IDrepeatability.rms_intra_id | — | 0.00 | faible | Stable | Positionnement | median RMS distance to repeated-sample centroidalert = RMS_intra_ID / signal_scale, saturated at 10% |
| Répétabilité | SAM intra-IDrepeatability.sam_intra_id | — | 0.00 | faible | Stable | Acquisition | median SAM to repeated-sample centroidalert = min(1, SAM_intra_ID / 0.15 rad) |
| Répétabilité | CV intra-IDrepeatability.cv_intra_id | — | 0.00 | faible | Stable | Opérateur | median within-ID band CValert = min(1, CV_intra_ID / 0.25) |
| Structure du dataset | PCA score densitystructure.pca_score_density | — | 0.00 | faible | Homogène | Lots différents | 1 / median kNN distance in PCA score spacealert follows density_cv/profile structure complexity, not raw density alone |
| Structure du dataset | Local Outlier Factor (LOF)structure.local_outlier_factor_p95 | — | — | non calculable | Pas assez d'information pour scorer cette métrique sur ce dataset. | Cas rares | p95 approximate LOF from PCA-score kNN distancesalert = min(1, max(0, LOF_p95 - 1) / 2) |
| Structure du dataset | Isolation Forest scorestructure.isolation_forest_score_p95 | — | 0.00 | faible | Normal | Diverses causes | p95 IsolationForest anomaly score on PCA scoresalert follows structure complexity; raw score is implementation-dependent |
| Wavelengths | 228 |
|---|---|
| Axis range | 901.8–1701 nm |
| Mean spacing | 3.52 nm |
| Grid | irregular |
| Observations | 100 |
| Value range | -663 – 38,566 |
|---|---|
| Mean range | 575 – 3.65e+04 |
| Mean level | 1.847e+04 |
| Area | 1.547e+07 |
| PTP | 3.588e+04 |
| Noise RMS | 562.6 |
| SNR | 33 |
| SNR dB | 3e+01 dB |
| Dynamic range | 3.59e+04 |
| Smoothness | 1413 |
| Saturated | 0.0% |
| X-outliers | 36 |
| NaN ratio | 0.00% |
|---|---|
| Inf count | 0 |
| Zero ratio | 0.00% |
| Spike count | 1 |
| Spike rate | 0.00% |
| Jump count | 1 |
| Jump rate | 0.00% |
| Clip fraction | 0.01% |
| Baseline slope | -32435 |
|---|---|
| Curvature RMS | 1383.6 |
| D1 RMS | 978.08 |
| RMS to mean | 592.3 |
| RMS p95 | 778.97 |
| SAM to mean | 0.025329 |
| SAM p95 | 0.029793 |
| Affine offset p95 | 377.7 |
| Affine gain p95 Δ | 0.012575 |
| Affine residual p95 | 642.53 |
| Xcorr lag p95 | 0 |
| PCA Q p95/median | 1.2 |
|---|---|
| Hotelling T2 p95/median | 2.5 |
| Mahalanobis H p95/median | 1.6 |
| Repeat groups | 0 |
| Effective rank | 21 |
|---|---|
| Top-10 cum. var | 35.4% |
| Famille | Métrique calculée | Valeur | Score | Niveau | Interprétation dataset | Causes typiques | Calcul / scoring |
|---|---|---|---|---|---|---|---|
| Intégrité des données | NaN ratiointegrity.nan_ratio | 0% | 0.00 | faible | Spectre complet | Erreur acquisition/export | count(isnan(X)) / X.sizealert = min(1, nan_ratio / 0.05) |
| Intégrité des données | Inf countintegrity.inf_count | 0 | 0.00 | faible | Normal | Calculs invalides | count(isinf(X))alert = min(1, inf_count / 1) |
| Intégrité des données | Zero ratiointegrity.zero_ratio | 0.00439% | 0.00 | faible | Normal | Export, saturation | count(X == 0) / count(finite X)alert = min(1, zero_ratio / 0.05) |
| Amplitude globale | Mean reflectanceamplitude.mean_reflectance | 18474 | 1.00 | fort | Valeur atypique: Trop clair / fond visible ou Trop sombre | Fond, géométrie | mean(X finite)alert reuses baseline/shape drift because absolute reflectance ranges are technology-dependent |
| Amplitude globale | Area under curveamplitude.area_under_curve | 1.5474e+07 | 1.00 | fort | Valeur atypique: Différence d'éclairement ou Normal | Distance sonde | trapezoid(mean_spectrum, spectral_axis)alert reuses baseline/shape drift because area scale depends on axis and units |
| Amplitude globale | Peak-to-peak (PTP)amplitude.peak_to_peak | 35882 | 0.00 | faible | Variabilité forte | Saturation | max(mean_spectrum) - min(mean_spectrum)alert increases when dynamic range is abnormally flat |
| Amplitude globale | Varianceamplitude.variance | 1.5774e+08 | 0.00 | faible | Normal ou hétérogène | Mauvais contact | var(X finite)alert increases when variance/dynamic range is abnormally flat |
| Bruit | Noise RMSnoise.noise_rms | 562.6 | 0.31 | faible | Stable | Lampe, détecteur | median MAD(second derivative) * 1.4826 / sqrt(6)alert = noise_rms / signal_scale, saturated at 5% |
| Bruit | SNRnoise.snr | 32.838 | 0.24 | faible | Bon signal | Acquisition | mean(abs(X)) / noise_rmsalert decreases with SNR dB; >=40 dB is treated as low alert |
| Bruit | Bandwise SNRnoise.bandwise_snr_min | 1.7018 | 0.87 | fort | Zone problématique | Détecteur | min(abs(mean_spectrum) / local second-derivative noise)alert decreases with worst-band SNR dB; >=35 dB is treated as low alert |
| Artefacts locaux | Spike countartefacts.spike_count | 1 | 0.00 | faible | Spectre propre | Cosmic rays, splice | count robust outliers in second derivativealert follows spike_rate, saturated at 1% |
| Artefacts locaux | Spike rateartefacts.spike_rate | 0.00442% | 0.00 | faible | Normal | Interpolation | spike_count / (n_samples * (n_features - 2))alert = min(1, spike_rate / 0.01) |
| Artefacts locaux | Jump countartefacts.jump_count | 1 | 0.00 | faible | Continu | Splice | count robust outliers in first derivativealert follows jump_rate, saturated at 1% |
| Artefacts locaux | Jump rateartefacts.jump_rate | 0.00441% | 0.00 | faible | Normal | Calibration | jump_count / (n_samples * (n_features - 1))alert = min(1, jump_rate / 0.01) |
| Artefacts locaux | Clip fractionartefacts.clip_fraction | 0.00877% | 0.01 | faible | Normal | Détecteur saturé | fraction of finite cells equal to repeated min/max extremaalert = min(1, clip_fraction / 0.01) |
| Forme spectrale | Baseline slopeshape.baseline_slope | -32435 | 1.00 | fort | Dérive | Éclairement | linear slope of mean_spectrum over normalized axisalert = abs(slope / signal_scale), saturated at 0.5 |
| Forme spectrale | Curvature RMSshape.curvature_rms | 1383.6 | 1.00 | fort | Forme inhabituelle | Fond, splice | median RMS(second derivative per spectrum)alert = curvature_rms / signal_scale, saturated at 1% |
| Forme spectrale | D1 RMSshape.d1_rms | 978.08 | 0.55 | moyen | Spectre structuré | Biologie ou artefact | median RMS(first derivative per spectrum)alert = d1_rms / signal_scale, saturated at 5% |
| Outliers multivariés | PCA Q (SPE)outliers.pca_q_ratio | 1.2168 | 0.15 | faible | Conforme | Artefact, mélange | p95(Q/SPE residual) / median(Q/SPE residual)alert = min(1, pca_q_ratio / 8) |
| Outliers multivariés | Hotelling T²outliers.hotelling_t2_ratio | 2.5302 | 0.32 | faible | Central | Variabilité naturelle | p95(Hotelling T2) / median(Hotelling T2)alert = min(1, hotelling_t2_ratio / 8) |
| Outliers multivariés | Mahalanobis Houtliers.mahalanobis_h_ratio | 1.5907 | 0.40 | faible | Population normale | Domaine différent | p95(sqrt(T2)) / median(sqrt(T2))alert = min(1, mahalanobis_h_ratio / 4) |
| Comparaison à référence | RMS to mean spectrumreference.rms_to_mean_spectrum_p95 | 778.97 | 0.09 | faible | Typique | Domain shift | p95 RMS distance to dataset mean spectrumalert = RMS_p95 / signal_scale, saturated at 25% |
| Comparaison à référence | Spectral Angle Mapper (SAM)reference.sam_to_mean_spectrum_p95 | 0.029793 | 0.09 | faible | Similaire | Fond, géométrie | p95 spectral angle to dataset mean spectrumalert = min(1, SAM_p95 / 0.35 rad) |
| Répétabilité | RMS intra-IDrepeatability.rms_intra_id | — | 0.00 | faible | Stable | Positionnement | median RMS distance to repeated-sample centroidalert = RMS_intra_ID / signal_scale, saturated at 10% |
| Répétabilité | SAM intra-IDrepeatability.sam_intra_id | — | 0.00 | faible | Stable | Acquisition | median SAM to repeated-sample centroidalert = min(1, SAM_intra_ID / 0.15 rad) |
| Répétabilité | CV intra-IDrepeatability.cv_intra_id | — | 0.00 | faible | Stable | Opérateur | median within-ID band CValert = min(1, CV_intra_ID / 0.25) |
| Structure du dataset | PCA score densitystructure.pca_score_density | 0.00021791 | 0.49 | moyen | Sous-populations | Lots différents | 1 / median kNN distance in PCA score spacealert follows density_cv/profile structure complexity, not raw density alone |
| Structure du dataset | Local Outlier Factor (LOF)structure.local_outlier_factor_p95 | 1.469 | 0.23 | faible | Population normale | Cas rares | p95 approximate LOF from PCA-score kNN distancesalert = min(1, max(0, LOF_p95 - 1) / 2) |
| Structure du dataset | Isolation Forest scorestructure.isolation_forest_score_p95 | 0.54006 | 0.49 | moyen | Spectre atypique | Diverses causes | p95 IsolationForest anomaly score on PCA scoresalert follows structure complexity; raw score is implementation-dependent |
| Famille | Métrique | Ce qu’elle détecte | Forte valeur = | Faible valeur = | Causes typiques | Calcul / score |
|---|---|---|---|---|---|---|
| Intégrité des données | NaN ratio | Données manquantes | Spectre corrompu | Spectre complet | Erreur acquisition/export | count(isnan(X)) / X.sizealert = min(1, nan_ratio / 0.05) |
| Intégrité des données | Inf count | Valeurs infinies | Corruption | Normal | Calculs invalides | count(isinf(X))alert = min(1, inf_count / 1) |
| Intégrité des données | Zero ratio | Colonnes ou cellules nulles | Spectre tronqué | Normal | Export, saturation | count(X == 0) / count(finite X)alert = min(1, zero_ratio / 0.05) |
| Amplitude globale | Mean reflectance | Niveau moyen | Trop clair / fond visible | Trop sombre | Fond, géométrie | mean(X finite)alert reuses baseline/shape drift because absolute reflectance ranges are technology-dependent |
| Amplitude globale | Area under curve | Intensité globale | Différence d'éclairement | Normal | Distance sonde | trapezoid(mean_spectrum, spectral_axis)alert reuses baseline/shape drift because area scale depends on axis and units |
| Amplitude globale | Peak-to-peak (PTP) | Dynamique | Variabilité forte | Spectre plat | Saturation | max(mean_spectrum) - min(mean_spectrum)alert increases when dynamic range is abnormally flat |
| Amplitude globale | Variance | Variabilité spectrale | Normal ou hétérogène | Spectre plat | Mauvais contact | var(X finite)alert increases when variance/dynamic range is abnormally flat |
| Bruit | Noise RMS | Bruit haute fréquence | Bruité | Stable | Lampe, détecteur | median MAD(second derivative) * 1.4826 / sqrt(6)alert = noise_rms / signal_scale, saturated at 5% |
| Bruit | SNR | Qualité signal | Bon signal | Mauvais signal | Acquisition | mean(abs(X)) / noise_rmsalert decreases with SNR dB; >=40 dB is treated as low alert |
| Bruit | Bandwise SNR | Bruit localisé | Zone fiable | Zone problématique | Détecteur | min(abs(mean_spectrum) / local second-derivative noise)alert decreases with worst-band SNR dB; >=35 dB is treated as low alert |
| Artefacts locaux | Spike count | Pics étroits | Artefacts | Spectre propre | Cosmic rays, splice | count robust outliers in second derivativealert follows spike_rate, saturated at 1% |
| Artefacts locaux | Spike rate | Densité de pics | Spectre suspect | Normal | Interpolation | spike_count / (n_samples * (n_features - 2))alert = min(1, spike_rate / 0.01) |
| Artefacts locaux | Jump count | Discontinuités | Raccord détecteur | Continu | Splice | count robust outliers in first derivativealert follows jump_rate, saturated at 1% |
| Artefacts locaux | Jump rate | Fréquence de sauts | Problème spectral | Normal | Calibration | jump_count / (n_samples * (n_features - 1))alert = min(1, jump_rate / 0.01) |
| Artefacts locaux | Clip fraction | Saturation | Clipping | Normal | Détecteur saturé | fraction of finite cells equal to repeated min/max extremaalert = min(1, clip_fraction / 0.01) |
| Forme spectrale | Baseline slope | Pente globale | Dérive | Stable | Éclairement | linear slope of mean_spectrum over normalized axisalert = abs(slope / signal_scale), saturated at 0.5 |
| Forme spectrale | Curvature RMS | Courbure | Forme inhabituelle | Lisse | Fond, splice | median RMS(second derivative per spectrum)alert = curvature_rms / signal_scale, saturated at 1% |
| Forme spectrale | D1 RMS | Variabilité locale | Spectre structuré | Plat | Biologie ou artefact | median RMS(first derivative per spectrum)alert = d1_rms / signal_scale, saturated at 5% |
| Outliers multivariés | PCA Q (SPE) | Non expliqué par PCA | Spectre atypique | Conforme | Artefact, mélange | p95(Q/SPE residual) / median(Q/SPE residual)alert = min(1, pca_q_ratio / 8) |
| Outliers multivariés | Hotelling T² | Extrême dans PCA | Extrême mais cohérent | Central | Variabilité naturelle | p95(Hotelling T2) / median(Hotelling T2)alert = min(1, hotelling_t2_ratio / 8) |
| Outliers multivariés | Mahalanobis H | Distance au nuage | Outlier global | Population normale | Domaine différent | p95(sqrt(T2)) / median(sqrt(T2))alert = min(1, mahalanobis_h_ratio / 4) |
| Comparaison à référence | RMS to mean spectrum | Distance moyenne | Spectre différent | Typique | Domain shift | p95 RMS distance to dataset mean spectrumalert = RMS_p95 / signal_scale, saturated at 25% |
| Comparaison à référence | Spectral Angle Mapper (SAM) | Différence de forme | Forme différente | Similaire | Fond, géométrie | p95 spectral angle to dataset mean spectrumalert = min(1, SAM_p95 / 0.35 rad) |
| Répétabilité | RMS intra-ID | Reproductibilité | Mauvaise répétabilité | Stable | Positionnement | median RMS distance to repeated-sample centroidalert = RMS_intra_ID / signal_scale, saturated at 10% |
| Répétabilité | SAM intra-ID | Variation de forme | Instable | Stable | Acquisition | median SAM to repeated-sample centroidalert = min(1, SAM_intra_ID / 0.15 rad) |
| Répétabilité | CV intra-ID | Variabilité interne | Mauvais contrôle | Stable | Opérateur | median within-ID band CValert = min(1, CV_intra_ID / 0.25) |
| Structure du dataset | PCA score density | Clusters | Sous-populations | Homogène | Lots différents | 1 / median kNN distance in PCA score spacealert follows density_cv/profile structure complexity, not raw density alone |
| Structure du dataset | Local Outlier Factor (LOF) | Anomalie locale | Spectre isolé | Population normale | Cas rares | p95 approximate LOF from PCA-score kNN distancesalert = min(1, max(0, LOF_p95 - 1) / 2) |
| Structure du dataset | Isolation Forest score | Anomalie globale | Spectre atypique | Normal | Diverses causes | p95 IsolationForest anomaly score on PCA scoresalert follows structure complexity; raw score is implementation-dependent |
| Technologie | Adaptations / métriques | Anomalies ciblées | Commentaire pratique |
|---|---|---|---|
| UV-Vis 300-1000 nm | Baseline, pente globale, dérive aux bords 300-350 et 900-1000; métriques par zones | Lumière parasite, mauvais blanc, saturation, faible signal aux extrémités | Les bords sont souvent instables; calculer aussi des scores edge/middle. |
| UV-Vis 300-1000 nm | Saturation / clipping proche absorbance max ou réflectance max | Signal écrêté | Très important si absorption forte. |
| UV-Vis 300-1000 nm | Red-edge, position de maximum, ratios de bandes si végétal | Décalage biologique ou artefact optique | Aide à distinguer changement réel et problème d'acquisition. |
| UV-Vis 300-1000 nm | Smoothness / roughness index | Bruit haute fréquence | Souvent plus informatif que le SNR seul. |
| MIR / ATR-FTIR | ATR contact quality index: intensité globale, aire totale, profondeur des bandes clés | Mauvais contact cristal-échantillon | Crucial: beaucoup d'anomalies viennent du contact ATR. |
| MIR / ATR-FTIR | CO2 / H2O atmospheric bands | Mauvaise correction atmosphérique | Pics parasites fréquents. |
| MIR / ATR-FTIR | Baseline curvature / rubber-band residual | Diffusion, contact, dérive baseline | Très utile avant PCA. |
| MIR / ATR-FTIR | Peak position shift | Mauvais alignement spectral / calibration | Important en FTIR car de petits shifts comptent. |
| MIR / ATR-FTIR | Band area ratios sur bandes connues | Spectre chimiquement incohérent | À adapter par matrice: polysaccharides, protéines, lipides, etc. |
| HS-MS | Total Ion Current (TIC), Base Peak Intensity (BPI) | Injection faible, ionisation instable | Équivalent MS du niveau global spectral. |
| HS-MS | Nombre de pics détectés | Spectre pauvre ou trop bruité | Trop peu = mauvais signal; trop = bruit/contamination. |
| HS-MS | Mass accuracy / m/z drift | Problème calibration masse | Fondamental en HRMS. |
| HS-MS | Retention time drift si LC/GC-MS | Dérive chromatographique | À suivre sur standards/QC pools. |
| HS-MS | Blank contamination score | Contaminants / carry-over | Comparer échantillons vs blancs. |
| HS-MS | Internal standard CV | Variabilité instrumentale | Très robuste si standards disponibles. |
| HS-MS | Missingness par feature | Instabilité de détection | Crucial pour filtrer les variables. |
| Avec répétitions | RMS intra-échantillon | Répétabilité globale | Applicable à toutes les technologies. |
| Avec répétitions | SAM / corrélation intra-échantillon | Répétabilité de forme | Très utile pour spectres. |
| Avec répétitions | CV intra-échantillon par bande / feature | Répétabilité locale | Détecte les zones instables. |
| Avec répétitions | ICC ou variance components | Part variance échantillon vs technique | Très utile si plusieurs répétitions par sample. |
| Avec répétitions | Distance au centroïde intra-ID | Répétition aberrante | Permet de flagger la mauvaise répétition plutôt que le sample entier. |
| Famille de bug potentiel | Méthodes à ajouter | Ce que ça détecte | État dans l’explorateur |
|---|---|---|---|
| Shift spectral global | Corrélation spectre moyen inter-dataset, DTW, cross-correlation, comparaison positions de pics | Décalage en longueur d'onde, mauvais alignement, interpolation différente | Partiellement calculé: cross-correlation lag et dispersion des positions de pics vs spectre moyen. |
| Baseline / offset / gain | Régression chaque spectre vs spectre moyen: x = a + b ref + residual; suivi de a, b, RMS résiduel | Offset additif, effet multiplicatif, dérive de baseline | Calculé dans reference.affine_*. |
| Mélange de lignes / mauvais appariement X-M-Y | Vérification index, hash des lignes, duplication ID, distance spectrale intra-ID, labels incohérents | Lignes mélangées, metadata mal alignées, Y attribué au mauvais spectre | Partiellement couvert par répétabilité intra-ID; checks index/hash à ajouter au pipeline canonical. |
| Fuite d'information / répétitions mal splitées | GroupKFold par sample_id vs StratifiedKFold random; audit des partitions par sample_id | Performance artificiellement bonne due aux répétitions | Nécessite splits et benchmark modèle; non calculé par la carte descriptive. |
| Label bugs | Échantillons proches en X mais Y différents, confident learning, erreurs systématiques FP/FN | Y inversés, erreurs de saisie, classes ambiguës | Nécessite Y et/ou modèle; recommandé pour l'explorateur supervisé. |
| Sous-domaines cachés | PCA/UMAP/t-SNE + clustering non supervisé + association avec dataset/Y/date/operator | Lots, campagnes, sondes, backgrounds non renseignés | Partiellement calculé par structure PCA/LOF; UMAP/t-SNE hors carte statique. |
| Artefacts localisés inconnus | Carte wavelength x dataset: différence moyenne, différence variance, KS par longueur d'onde | Régions spectrales anormales non anticipées | À calculer au niveau banque quand plusieurs datasets partagent un axe spectral. |
| Ruptures instrumentales | Discontinuités dans dérivées, changepoint detection | Splice, raccord détecteur, saut local non prévu | Calculé par jump/spike rates; changepoint plus avancé à ajouter. |
| Mélange / contamination spectrale | NMF / unmixing / reconstruction par convex hull | Composante externe: fond, plastique, sol | Non calculé automatiquement; nécessite hypothèses de composants ou grande bibliothèque. |
| Features instables mais prédictives | Importance modèle vs instabilité QC par variable | Modèle qui apprend un artefact plutôt qu'un signal biologique | Nécessite modèle supervisé; recommandé pour rapports de benchmark. |
| n / missing | 100 / 0 |
|---|---|
| Classes | 100 |
| Balance (entropy) | 1 |
| Imbalance ratio | 1 |
| Top class | 10/9/21 @ 14:36:23 (1) |
| n / missing | 100 / 0 |
|---|---|
| Mean ± SD | 28.46 ± 0.691 |
| Median | 28.43 |
| Range | 27.37 – 29.57 |
| CV | 0.0243 |
| Skew / kurtosis | -0.056 / -1.4 |
| Normal? | no |
| n / missing | 100 / 0 |
|---|---|
| Mean ± SD | 24.9 ± 0.226 |
| Median | 24.88 |
| Range | 24.21 – 25.3 |
| CV | 0.00907 |
| Skew / kurtosis | -0.39 / 0.61 |
| Normal? | yes |
| n / missing | 100 / 0 |
|---|---|
| Mean ± SD | 24.17 ± 0.788 |
| Median | 24.27 |
| Range | 22.54 – 25.62 |
| CV | 0.0326 |
| Skew / kurtosis | -0.23 / -0.88 |
| Normal? | no |
| n / missing | 100 / 0 |
|---|---|
| Mean ± SD | 3780 ± 1.92 |
| Median | 3,780 |
| Range | 3,778 – 3,785 |
| CV | 0.000508 |
| Skew / kurtosis | 0.76 / -0.3 |
| Normal? | no |
| n / missing | 100 / 0 |
|---|---|
| Mean ± SD | 1.618 ± 0.0267 |
| Median | 1.636 |
| Range | 1.582 – 1.653 |
| CV | 0.0165 |
| Skew / kurtosis | -0.14 / -1.9 |
| Normal? | no |
| n / missing | 100 / 0 |
|---|---|
| Mean ± SD | 0.32 ± 0.566 |
| Median | 0 |
| Range | 0 – 2 |
| CV | 1.77 |
| Skew / kurtosis | 1.6 / 1.6 |
| Normal? | no |
| Alignment level | sample |
|---|---|
| Sample id available | yes |
| Samples | 100 |
| Observations (total) | 300 |
| Reps per sample | min 1 · mean 1 · max 1 |
| Contributor | Nirpy Research NIR_avocado_spectra_nirpy.zip |
|---|---|
| Origin · url [open] | https://github.com/nevernervous78/nirpyresearch/blob/master/data/NIR_avocado_spectra_nirpy.zip — GitHub |
| Origin · url [open] | https://nirpyresearch.com/optimising-regularisation-parameters-whittaker-smoothing/ |
| Origin · url [open] | https://raw.githubusercontent.com/nevernervous78/nirpyresearch/master/LICENSE |
| Origin · script [manual] | source_to_standard.py — standardization script (maintainer-only) |
| Tier | private |
|---|---|
| License | LicenseRef-not-cleared |
| Permitted use | Research and benchmarking. |
| Access policy | Manual download / private-use-only per source. |
| Redistribution | MIT license permits use, copy, modification, publication, distribution, sublicensing and sale with copyright/license notice. |
| Content version | 1.0.0 |
| Schema / protocol | 2.0 |
| Content hash | 95b86e7bf3a5f1d6… |
| Processing hash | 5a9fa7d0b38541f1… |
| Metadata hash | 2ec574afd373f6fc… |
# pip install nirs4all-datasets from nirs4all_datasets import get # private dataset — export requires a Dataverse token ds = get("nirpy_avocado_whittaker_nir", token="…") X, y = ds.x(), ds.y() print(X.shape, y.shape)
Metadata downloads are available for public datasets only. The dataset bytes are never served here — fetch them from the origin / DOI above.